1 知识小课堂

1.1 什么是爬虫

爬虫，也叫网络蜘蛛，如果把互联网比喻成一个蜘蛛网，那么蜘蛛就是在网上爬来爬去的蜘蛛。网络爬虫按照系统结构和实现细节，大体可以分为以下几种：

1. 通用网络爬虫：这是一种基本的爬虫程序，通过请求URL地址，根据响应的内容进行解析和采集数据。例如，如果响应内容是HTML，它会分析DOM结构，进行DOM解析或者正则匹配；如果响应内容是XML/JSON数据，它会将数据转换为数据对象，然后对数据进行解析。
2. 聚焦网络爬虫：这是一种针对特定主题和领域的爬虫程序，它只爬取和主题或领域相关的网页。例如，它可以爬取所有的新闻网站，或者所有的电商网站。
3. 增量式网络爬虫：这种爬虫程序会定期爬取互联网上的新内容，而不是重新爬取所有的网页。
4. 深层网络爬虫：这种爬虫程序会爬取互联网上隐藏较深的网页，例如需要登录、填写表单等才能访问的网页。

爬虫的主要作用是利用程序批量爬取网页上的公开信息，也就是前端显示的数据信息。因为这些信息是完全公开的，所以是合法的。其实就像浏览器一样，浏览器解析响应内容并渲染为页面，而爬虫解析响应内容采集想要的数据进行存储。

1.2 爬虫能做什么

爬虫能做的事情非常多，以下是详细介绍：

1. 收集数据：爬虫程序可以用于收集大量数据。由于爬虫程序可以快速地爬取大量网页，因此可以用于收集各种类型的数据，例如新闻、社交媒体、产品价格、股票价格等等。这些数据可以用于各种分析，例如市场调研、商业分析、竞争分析等等。
2. 调研：爬虫程序也可以用于调研。例如，可以爬取某个公司的网站，收集其产品信息、销售情况、客户反馈等等，以便更好地了解该公司的运营情况。此外，爬虫程序还可以用于监测网站的内容变化，以便及时了解该网站的最新动态。
3. 刷流量和秒杀：爬虫程序还可以用于刷流量和秒杀。例如，可以在电商网站上爬取大量的商品信息，然后利用爬虫程序模拟用户的购买行为，从而增加该网站的流量和销售额。此外，爬虫程序还可以用于抢购限时优惠商品，例如秒杀活动等等。
4. 自动化测试：爬虫程序也可以用于自动化测试。例如，可以利用爬虫程序模拟用户的操作行为，对网站进行各种测试，例如登录测试、表单提交测试、页面跳转测试等等。这样可以大大提高测试的效率和准确性。
5. 搜索引擎优化：爬虫程序还可以用于搜索引擎优化。例如，可以利用爬虫程序收集竞争对手的网站信息，分析其关键词使用情况、页面结构等等，从而优化自己的网站，提高在搜索引擎中的排名。

总之，爬虫程序是一个非常强大的工具，可以用于各种领域和用途。但是需要注意的是，在使用爬虫程序时需要遵守网站的规则和法律法规，不得侵犯他人的权益和隐私。

2 代码解析

这里使用Python做爬虫，具体代码解析如下：

2.1 运行环境

6. PyCharm
7. Python3.10

2.2 过程解析

2.2.1 第一步：引入两个模块

requests和re

• request 模块
  requests是一个很实用的Python HTTP客户端库，爬虫和测试服务器响应数据时经常会用到，它是python语言的第三方的库，专门用于发送HTTP请求，使用起来比urllib更简洁也更强大。
• re 模块
  Python的re模块是Python内置的正则表达式处理模块，首先需要导入该模块，然后使用re模块中的函数和方法来进行正则表达式的匹配和处理。它提供了对正则表达式的支持，使得我们可以使用正则表达式来匹配和处理字符串。
  下面是一些常用的re模块函数和方法：

compile()：该函数用于编译正则表达式，返回一个Pattern对象。

import re  
pattern = re.compile(r'\d+')

match()：该方法用于从字符串的开头开始匹配正则表达式，如果匹配成功，返回一个匹配对象，否则返回None。

import re  
pattern = re.compile(r'\d+')  
match = pattern.match('123abc')  
if match:  
    print(match.group())  # 输出: 123

search()：该方法用于在字符串中搜索正则表达式，如果匹配成功，返回一个匹配对象，否则返回None。它会从字符串的开头开始搜索。

import re  
pattern = re.compile(r'\d+')  
match = pattern.search('abc123def')  
if match:  
    print(match.group())  # 输出: 123

findall()：该方法用于在字符串中查找所有与正则表达式匹配的子串，并返回一个包含所有匹配结果的列表。

import re  
pattern = re.compile(r'\d+')  
matches = pattern.findall('abc123def456ghi')  
print(matches)  # 输出: ['123', '456']

除了以上几个常用的函数和方法外，re模块还提供了其他一些功能，如替换、分割字符串等。具体可以参考Python官方文档或相关教程来了解更多内容。

2.2.2 找到网址

https://movie.douban.com/top250

2.2.3 拉去页面全内容

import requests
import re
url = 'https://movie.douban.com/top250'
response = requests.get(url)
print(response.text)

发现没反应，也没报错，这是为什么呢？因为网站有反扒机制，没有获取到网址，被浏览器拦截掉了。那该怎么办呢？小问题，骗过浏览器就行了。
加上一个headers，这行是通用的，可保存留着以后用。

headers = {
    'User-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/1'
}

整合到上面代码再请求一次。

import requests
import re
headers = {
    'User-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/1'
}
url = 'https://movie.douban.com/top250'
response = requests.get(url, headers=headers)
print(response.text)

运行之后，能发现网站页面全部拉去下来了，但是咱们不需要这么多信息，这就需要用到re库来筛选咱们需要的内容。

2.2.4

2.3 完整代码

import requests
import re
'''爬取豆瓣电影top20'''
def top250_crawer(url, sum):
    headers = {
        'User-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/1'
    }
    response = requests.get(url, headers=headers)
    # print(response.text)
    title = re.findall('<span class="title">(.*?)</span>', response.text, re.S)
    new_title = []
    for t in title:
        if '&nbsp;/&nbsp' not in t:
            new_title.append(t)
    data = re.findall('<br>(.*?)</p>', response.text, re.S)
    time = []
    country = []
    for str1 in data:
        str1 = str1.replace(' ', '')
        str1 = str1.replace('\n', '')
        time_data = str1.split('&nbsp;/&nbsp;')[0]
        country_data = str1.split('&nbsp;/&nbsp;')[1]
        time.append(time_data)
        country.append(country_data)
    for j in range(len(country)):
        sum += 1
        print(str(sum) + '.' + new_title[j] + ',' + country[j] + ',' + time[j])


url = 'https://movie.douban.com/top250'
sum = 0
'遍历10页数据，250条结果'
for a in range(10):
    if sum == 0:
        top250_crawer(url, sum)
        sum += 25
    else:
        page = '?start=' + str(sum) + '&filter='
        new_url = url + page
        top250_crawer(new_url, sum)
        sum += 25