爬虫-豆瓣电影排行榜

获取数据

requests库

获取数据环节需要用到requests库。安装方式也简单

pip install requests

爬取页面豆瓣读书 Top 250

用requests库来访问

import requests
res = requests.get('https://book.douban.com/top250/')

解析：

导入requests库
调用了requests库中的get() 方法，传入URL 发送请求，并把收到的响应保存到变量res中

res长什么样呢？我们打印一下

变量res的值是<Response [418]>，怎么回事呢？

Response对象

这是因为，HTTP 响应内容不单单包括客户端所请求的资源本身，还包含响应状态等信息。因此 requests 库选择将获取的响应打包为 Response 对象，方便我们通过类的属性或方法获取想要的内容。而当我们打印 Response 对象本身时，Python 会按照 requests 库约定好的方式，打印出类名（Response）和本次响应状态码。

<Response [418]>，说明本次响应状态为418，表明本次请求发生了客户端错误

消息头 headers

按照下面的步骤操作一下

点击练习上面的 URL，此时浏览器会在新标签页为你打开豆瓣读书 Top 250 页面；
页面加载完成后，打开网页开发者工具，切换到 Network 面板；
刷新页面；
在 Network 面板请求列表中找到名为 top250 的请求，并在请求详情页找到 Request Headers（请求头） 信息。

无论是浏览器想服务器发送请求，还是服务器想浏览器作出响应，这中间都会通过header传递附加信息。这些附加信息中就包含了我们爬虫程序伪装浏览器的关键。

观察请求列表中每条请求的消息头，我们会发现许多重复出现的名称，其中有一项名为 user-agent。（下面这个是我电脑上的，每个人的应该都有差异）

User-Agent:

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36

我们只需要将需要附上的信息组织成字典的格式，再通过 headers 参数传递给 get() 方法，requests 库帮我们向服务器发送请求时，就会自动带上这些信息了。

import requests

# 定制消息头
headers = {
  # 消息头中有一项附加信息 user-agent
  'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36'
}
# 携带消息头向服务器发送请求
res = requests.get('https://book.douban.com/top250/', headers=headers)

伪装成功了！

requests 库早已把响应内容转换为 字符串 类型，保存到 Response 对象的 text 属性中，我们能很轻松地通过 . 运算符访问到：

import requests

headers = {
  'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'
}
res = requests.get('https://book.douban.com/top250/', headers=headers)
print(res.text)

# 输出：
# <!DOCTYPE html>
# <html lang="zh-cmn-Hans" class="ua-mac ua-webkit book-new-nav">
# <head>
#   <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
#   <title>豆瓣读书 Top 250</title>
# ...

返回的是HTML源代码。

解析数据

BeautifulSoup对象

解析数据我们需要用到BeautifulSoup对象。

安装

pip install bs4

导入

from bs4 import BeautifulSoup

说明文档主要说明两个关键信息：

创建 BeautifulSoup 对象 时，它会把 HTML/XML 文档解析成 树形结构
BeautifulSoup 类继承自 Tag 类，因此 BeautifulSoup 类和 Tag 类有许多共用的方法。

创建

创建BeautifulSoup对象时，需要传入两个参数：

所需解析的 HTML 代码，即响应的文本内容（res.text）；
用于解析 HTML 代码的 解析器，课程内使用的是 Python 内置解析器 html.parser（parser：解析器）。

# 导入 requests 库
import requests
# 从 bs4 库中导入 BeautifulSoup
from bs4 import BeautifulSoup

# 定制消息头
headers = {
  'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'
}
# 发送带消息头的请求
res = requests.get('https://book.douban.com/top250', headers=headers)
# 创建 BeautifulSoup 对象，解析响应的文本内容
soup = BeautifulSoup(res.text, 'html.parser')

执行结果

BeautifulSoup 对象 内部结构像一棵倒着生长的树，树根在上面，枝叶在下面，每个节点都对应着 HTML 代码中的一个元素。顺着这棵 HTML 文档树，我们就能定位到某个或某群具有相同特征的元素，从而提取出元素文本内容——也就是我们所需的数据。

HTML 文档树

<!DOCTYPE html>
<html lang="zh">
<head>
  <meta charset="UTF-8">
  <title>我的网页</title>
  <style> body { background-color: #101324; color: #ffffff; font-family: -apple-system, BlinkMacSystemFont, 'Segoe UI', Roboto, 'Helvetica Neue', Arial, 'Noto Sans', sans-serif, 'Apple Color Emoji', 'Segoe UI Emoji', 'Segoe UI Symbol', 'Noto Color Emoji'; } a { color: #1890ff; } code { background: rgba(255, 255, 255, 0.15); padding: 0 6px; border-radius: 4px; color: rgba(255, 255, 255, 0.87); } img { width: 100%; } </style>
</head>
<body>
  <h2>Web 真好玩！</h2>
  <p>今天我在 <a href="https://web.shanbay.com/codetime-study/pc/uduni">爬虫课第 2 关</a> 学到了这些内容：</p>
  <ol>
    <li>HTML 基本语法</li>
    <li>HTML 文档结构</li>
    <li>Elements 面板 <code>Edit text</code> 功能</li>
  </ol>
  <p>其中常见的 HTML 元素有这些：</p>
  <img src="https://media-image1.baydn.com/storage_media_image/svpyor/ff5185b0ab456965c9f89c7506ed0a9e.bff6930d34f5dca7819b5e571f421b9b.png">
</body>
</html>

该 HTML 文档根节点为 html 元素。它有两个子节点，分别是 head 元素 和 body 元素。再往内推，head 与 body 内也分别包含诸多元素。我们将这些元素按照 根节点 – 子节点 – 子节点的子节点…… 顺序从上至下梳理出的图谱，就是 HTML 文档树。

一棵文档树就像是这些元素的族谱：

html 元素是所有其它元素的祖先，反过来说，其它元素都是 html 的后代；
head 元素和 body 元素的 父节点 是 html 元素，因此它们是 html 的 直接后代；
由于 head 和 body 父节点相同，所以它们互为 兄弟节点；

提取数据

通过css选择器提取

CSS 选择器

CSS 选择器是 CSS 语言中的一部分，能通过 HTML 元素的类型、标识和关系快速选择符合条件的 所有元素。

靠 class 属性值检索的选择器被称为 类选择器，需要写成 .class_name，表示检索所有 class 属性值为 class_name 的元素。靠 id 属性值检索的被称为 ID 选择器，写成 #id_name，表示检索所有 id 属性值为 id_name 的元素。

元素与元素之间的关系可以分为 祖先 – 后代、祖先 – 直接后代、兄弟 – 兄弟 三类，因此两个元素之间的组合关系也分为三种：

A B：检索 A 元素后代中的所有 B 类型元素；
A > B：检索 A 元素 直接后代 中所有 B 类型元素；
A ~ B：检索 A 元素兄弟中所有 B 类型元素。

总结一下，选择器分为两大类：

基本选择器：通过元素的类型、class 属性值、id 属性值 检索；
组合选择器：通过元素和元素之间的关系检索，分为 直接后代组合器、后代组合器 和 兄弟组合器。

我们需要从豆瓣读书 Top 250 页面中提取出每本书的书名、作者和 出版社 信息。通过检查元素我们发现，每本书的结构是一致的，并且书名信息都在 a 元素之中：

根据上面学习的方法，什么样的css选择器可以定位到书名信息所在的a元素呢？

div.pl2 > a 和 div.pl2 a 均可。

select() 方法

BeautifulSoup 对象 有一个名为 select() 的方法，我们将 CSS 选择器 传进去，它会返回一个列表，列表中每个元素都是符合条件的检索结果。

# 前面代码省略，soup 为解析好的 BeautifulSoup 对象
book_name_tags = soup.select('div.pl2 a')
print(book_name_tags)
# 输出：
# [<a href="https://book.douban.com/subject/1007305/" onclick="&quot;moreurl(this,{i:'0'})&quot;" title="红楼梦">
#                 红楼梦                
#               </a>, <a href="https://book.douban.com/subject/4913064/" onclick="&quot;moreurl(this,{i:'1'})&quot;" title="活着">
#                 活着                
#               </a>, <a href="https://book.douban.com/subject/6082808/" onclick="&quot;moreurl(this,{i:'2'})&quot;" title="百年孤独">
#                 百年孤独
#               </a>, ...]

print(type(book_name_tags[0]))
# 输出：<class 'bs4.element.Tag'>

可以看到，所有书名信息所在元素都被我们提取出来了。并且通过打印 book_name_tags 列表第一个元素的数据类型我们发现，它是一个特殊的数据类型，Tag 类。正如我在介绍 BeautifulSoup 对象时说过的，BeautifulSoup 类继承自 Tag 类。我们通过 select() 方法获得的一个个节点，是一个个 Tag 对象。

Tag对象

Tag 类有许多实用的属性和方法，最为常用的是以下三个

tag.text 获取标签的文本内容
tag['属性名'] 获取标签 HTML 属性的值
tag.select() 方法返回被选择器选助攻的所有元素

是的，Tag 类也有 select() 方法——这是因为，BeautifulSoup 类中的 select() 方法就是继承自 Tag 类的。除此之外，我们还能通过 Tag 对象的 text 属性访问到该元素的 元素内容，通过 Tag对象['元素属性名称'] 形式访问到该元素的某个属性的值。

比如对于 book_name_tags 列表中第一个元素来说

book = book_name_tags[0]
print(book)
# 输出：
# <a href="https://book.douban.com/subject/1007305/" onclick="&quot;moreurl(this,{i:'0'})&quot;" title="红楼梦">
#                 红楼梦                
#               </a>

我们可以通过 book.text 获取元素内容，通过 book['href'] 获取图书链接。

print(book['title'])
# 输出：红楼梦

同样的道理，我们可以编写代码提取出每本书作者、出版社信息所在元素

# 前面代码省略，soup 为解析好的 BeautifulSoup 对象
book_info_tags = soup.select('p.pl')
print(book_info_tags)
# 输出：
# [<p class="pl">[清] 曹雪芹 著 / 人民文学出版社 / 1996-12 / 59.70元</p>, <p class="pl">余华 / 作家出版社 / 2012-8-1 / 20.00元</p>, <p class="pl">[哥伦比亚] 加西亚·马尔克斯 / 范晔 / 南海出版公司 / 2011-6 / 39.50元</p>, ...]

可以看到，书籍信息存在于 p 元素的 文本内容 中，我们可以通过 text 属性获取。每条书籍信息则由若干项组成，依次是作者、译者（如果为外文作品）、出版社、出版年份、图书价格，每项中间用 / 分割。因此我们在提取图书作者、出版社信息时可分以下四步：

遍历 book_info_tags 中每个元素；
对每个元素，通过 text 属性获取书籍信息，保存到 info 里；
按 / 分割 info 字符串，得到列表 info_list；
info_list 中 第一项元素 是作者信息，倒数第三项元素 是出版社信息。

# 前面代码省略，soup 为解析好的 BeautifulSoup 对象
book_info_tags = soup.select('p.pl')
# 遍历所有书籍信息元素
for info_tag in book_info_tags:
  # 获取书籍信息
  info = info_tag.text
  # 按“ / ”分割字符串
  info_list = info.split(' / ')
  # 结果列表中第一项为作者信息
  author = info_list[0]
  # 倒数第三项为出版社信息
  publisher = info_list[-3]
  print(author, publisher)

# 输出：
# [清] 曹雪芹 著 人民文学出版社
# 余华 作家出版社
# [哥伦比亚] 加西亚·马尔克斯 南海出版公司
# ...

下面是整体代码

# 导入 requests 库
import requests
# 从 bs4 库导入 BeautifulSoup
from bs4 import BeautifulSoup

# 定制消息头
headers = {
  'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'
}
# 向 https://book.douban.com/top250/ 发送带消息头的请求
# 并将响应结果储存到 res 变量中
res = requests.get("https://book.douban.com/top250/", headers=headers)

# 将响应结果的文本内容解析为 BeautifulSoup 对象
# 并保存到变量 soup 中
soup = BeautifulSoup(res.text, 'html.parser')

# 所有书名所在元素
book_name_tags = soup.select('div.pl2 a')
# 所有书籍信息所在元素
book_info_tags = soup.select('p.pl')
print(book_info_tags)
# 遍历每本图书
for i in range(len(book_name_tags)):
  # 通过元素 title 属性提取书名
    name = book_name_tags[i]['title']
  # 获取书籍信息
    info = book_info_tags[i].text
  # 按“ / ”分割字符串
    info_list = info.split("/")
  # 结果列表中第一项为作者信息
    author = info_list[0]
  # 倒数第三项为出版社信息
    publisher = info_list[-3]
  # 打印书名、作者、出版社信息
    print(name, author, publisher)

下面是返回的结果

[[清] 曹雪芹著 / 人民文学出版社 / 1996-12 / 59.70元, 余华 / 作家出版社 / 2012-8 / 20.00元, [英] 乔治·奥威尔 / 刘绍铭 / 北京十月文艺出版社 / 2010-4-1 / 28.00, J.K.罗琳 (J.K.Rowling) / 苏农 / 人民文学出版社 / 2008-12-1 / 498.00元, 刘慈欣 / 重庆出版社 / 2012-1 / 168.00元, [哥伦比亚] 加西亚·马尔克斯 / 范晔 / 南海出版公司 / 2011-6 / 39.50元, [美国] 玛格丽特·米切尔 / 李美华 / 译林出版社 / 2000-9 / 40.00元, [英] 乔治·奥威尔 / 荣如德 / 上海译文出版社 / 2007-3 / 10.00元, 林奕含 / 北京联合出版公司 / 2018-2 / 45.00元, [明] 罗贯中 / 人民文学出版社 / 1998-05 / 39.50元, [英] 阿·柯南道尔 / 丁钟华等 / 群众出版社 / 1981-8 / 53.00元/68.00元, [日] 东野圭吾 / 刘姿君 / 南海出版公司 / 2013-1-1 / 39.50元, [法] 圣埃克苏佩里 / 马振骋 / 人民文学出版社 / 2003-8 / 22.00元, （丹麦）安徒生 / 叶君健 / 人民文学出版社 / 1997-08 / 25.00元, 金庸 / 生活·读书·新知三联书店 / 1994-5 / 96.00元, 三毛 / 哈尔滨出版社 / 2003-8 / 15.80元, 鲁迅 / 人民文学出版社 / 1973-3 / 0.36元, 【美】傅高义 (Ezra.F.Vogel) / 冯克利 / 生活·读书·新知三联书店 / 2013-1-18 / 88.00元, [德] 赫尔曼·黑塞 / 姜乙 / 天津人民出版社 / 2017-1 / 32.00元, [美] 哈珀·李 / 高红梅 / 译林出版社 / 2012-9 / 32.00元, 当年明月 / 中国海关出版社 / 2009-4 / 358.20元, [意] 埃莱娜·费兰特 / 陈英 / 人民文学出版社 / 2018-7 / 62.00元, [意] 埃莱娜·费兰特 / 陈英 / 人民文学出版社 / 2017-4 / 59.00元, 鲁迅 / 人民文学出版社 / 1973-3 / 0.20元, 王小波 / 中国青年出版社 / 1997-10 / 27.00元]

红楼梦 [清] 曹雪芹著人民文学出版社

活着余华作家出版社

1984 [英] 乔治·奥威尔北京十月文艺出版社

哈利·波特 J.K.罗琳 (J.K.Rowling) 人民文学出版社

三体全集刘慈欣重庆出版社

百年孤独 [哥伦比亚] 加西亚·马尔克斯南海出版公司

飘 [美国] 玛格丽特·米切尔译林出版社

动物农场 [英] 乔治·奥威尔上海译文出版社

房思琪的初恋乐园林奕含北京联合出版公司

三国演义（全二册） [明] 罗贯中人民文学出版社

福尔摩斯探案全集（上中下） [英] 阿·柯南道尔 1981-8

白夜行 [日] 东野圭吾南海出版公司

小王子 [法] 圣埃克苏佩里人民文学出版社

安徒生童话故事集（丹麦）安徒生人民文学出版社

天龙八部金庸生活·读书·新知三联书店

撒哈拉的故事三毛哈尔滨出版社

呐喊鲁迅人民文学出版社

邓小平时代【美】傅高义 (Ezra.F.Vogel) 生活·读书·新知三联书店

悉达多 [德] 赫尔曼·黑塞天津人民出版社

杀死一只知更鸟 [美] 哈珀·李译林出版社

明朝那些事儿（1-9）当年明月中国海关出版社

失踪的孩子 [意] 埃莱娜·费兰特人民文学出版社

新名字的故事 [意] 埃莱娜·费兰特人民文学出版社

野草鲁迅人民文学出版社

沉默的大多数王小波中国青年出版社