Python爬虫如何处理验证码与登录

Python 爬虫在抓取需要登录的网站数据时，通常会遇到两个主要问题：登录验证和验证码处理。这些机制是网站用来防止自动化程序过度抓取数据的主要手段。本文将详细讲解如何使用 Python 处理登录与验证码，以便进行顺利的数据抓取。

在这里插入图片描述

1. 什么是爬虫登录与验证码？

登录验证：许多网站要求用户登录后才能访问某些页面，因此爬虫也需要具备模拟用户登录的功能，提交正确的用户名和密码后才可以继续抓取登录后的数据。
验证码：验证码通常用来防止自动化行为，比如识别出用户是否为真人。验证码常见的形式有图片验证码、滑动验证码、短信验证等。对于爬虫，处理验证码可能会比较复杂，因为它们通常要求图像识别或者第三方服务的协助。

2. 使用 Python 模拟登录

在登录时，爬虫需要向服务器发送用户名和密码等登录信息，通常这些信息以表单的形式提交。我们可以使用 Python 的 requests 库来处理 HTTP 请求，模拟提交登录表单。

示例：模拟登录一个网站

假设我们要登录一个模拟网站，用户名为“username”，密码为“password”。

Step 1：分析登录请求

首先，在浏览器中打开开发者工具（按 F12），并找到登录请求（通常是 POST 请求）。查看登录所需的字段，包括 URL、表单字段（如 username、password）和其他可能的参数（如 csrf_token）。

Step 2：发送登录请求

以下是一个使用 requests 库进行登录的示例代码：

import requests

# 登录 URL
login_url = 'https://example.com/login'

# 提交表单数据
payload = {
    'username': 'your_username',
    'password': 'your_password',
}

# 创建会话
session = requests.Session()

# 提交 POST 请求进行登录
response = session.post(login_url, data=payload)

# 检查是否登录成功
if "Welcome" in response.text:
    print("登录成功！")
else:
    print("登录失败，请检查用户名和密码。")

在登录成功后，我们的会话对象 session 就会持有该网站的登录状态，之后可以继续使用 session.get() 请求获取登录后的页面。

Step 3：获取并处理 Cookies

一些网站会将登录状态存储在 Cookie 中，requests.Session 会自动保存这些 Cookie，以便在后续的请求中继续保持登录状态。我们也可以手动查看和处理 Cookies：

# 打印 Cookies
print(session.cookies)

3. 验证码的处理方法

验证码的出现为爬虫带来了一些挑战，但我们可以通过多种方式处理验证码。

3.1 图片验证码的处理

图片验证码要求用户识别图像中的字符或数字。这类验证码可以通过以下几种方法解决：

方法 1：手动输入验证码

手动输入验证码是一种最简单但最耗时的方法。在爬虫运行时弹出验证码图片，并要求用户手动输入验证码，然后将输入内容发送给服务器。

import requests
from PIL import Image
from io import BytesIO

# 获取验证码图片
captcha_url = 'https://example.com/captcha'
response = session.get(captcha_url)

# 显示验证码图片
image = Image.open(BytesIO(response.content))
image.show()

# 手动输入验证码
captcha_code = input("请输入验证码：")

# 将验证码发送至登录请求中
payload = {
    'username': 'your_username',
    'password': 'your_password',
    'captcha': captcha_code
}
login_response = session.post(login_url, data=payload)

方法 2：使用 OCR 识别验证码

OCR（光学字符识别）是一种自动化识别图像中字符的技术。常用的 OCR 库是 pytesseract，配合 Pillow 库，可以将验证码图片转为文本。

import pytesseract
from PIL import Image

# 下载并保存验证码图片
captcha_image_path = 'captcha.png'
with open(captcha_image_path, 'wb') as f:
    f.write(response.content)

# 使用 pytesseract 识别验证码
captcha_code = pytesseract.image_to_string(Image.open(captcha_image_path))
print("识别到的验证码：", captcha_code)

OCR 的识别准确率不一定很高，尤其是验证码图像具有干扰线或噪点时。如果准确率不高，可能需要使用图像处理技术预处理验证码图片，提高识别效果。

方法 3：调用第三方验证码识别平台

如果 OCR 无法准确识别验证码，可以使用一些第三方验证码识别平台，如超级鹰、若快等。此类平台通常是收费的，但其识别准确率较高。通过 API 请求，爬虫将验证码图片发送给第三方平台识别，然后获取识别结果。

示例代码如下（以超级鹰为例）：

import requests

# 超级鹰 API 接口
api_url = 'http://api.superfastcaptcha.com/api.php'

# API 请求参数
params = {
    'username': 'your_username',
    'password': 'your_password',
    'softid': 'your_softid',
    'codetype': 1902,
    'userfile': open(captcha_image_path, 'rb')
}

# 提交请求
response = requests.post(api_url, files=params)
captcha_code = response.json()['pic_str']
print("验证码识别结果：", captcha_code)

3.2 滑动验证码的处理

滑动验证码的设计目的是判断用户行为，通过滑动来解锁。处理滑动验证码的方法通常涉及模拟鼠标的滑动轨迹，这可以通过 Selenium 库实现。

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
import time

# 启动浏览器
driver = webdriver.Chrome()
driver.get("https://example.com/login")

# 找到滑动验证码元素
slider = driver.find_element_by_id("slider")

# 创建动作链
action = ActionChains(driver)

# 点击滑块并开始拖动
action.click_and_hold(slider)

# 模拟拖动过程
for _ in range(5):
    action.move_by_offset(10, 0)  # 模拟小幅度滑动
    time.sleep(0.2)

# 释放鼠标
action.release().perform()

3.3 短信验证码的处理

短信验证码一般需要将验证码发送至手机。处理此类验证码通常涉及手动输入验证码或配合自动化服务。如果要完成这种任务，通常需要爬虫脚本暂停执行，等待用户手动输入验证码，输入后继续进行登录。

4. 综合案例：登录并处理验证码

假设我们需要抓取一个需要验证码的页面，登录步骤如下：

获取验证码图片并识别；
使用用户名、密码和验证码提交登录请求；
验证是否登录成功。

以下是一个完整的示例代码：

import requests
from PIL import Image
from io import BytesIO
import pytesseract

# 创建会话
session = requests.Session()

# Step 1: 获取验证码图片
captcha_url = 'https://example.com/captcha'
captcha_response = session.get(captcha_url)
captcha_image = Image.open(BytesIO(captcha_response.content))
captcha_image.show()  # 显示验证码，便于用户手动输入

# Step 2: 识别或手动输入验证码
captcha_code = input("请输入验证码：")

# Step 3: 发送登录请求
login_url = 'https://example.com/login'
payload = {
    'username': 'your_username',
    'password': 'your_password',
    'captcha': captcha_code
}
login_response = session.post(login_url, data=payload)

# Step 4: 检查是否登录成功
if "Welcome" in login_response.text:
    print("登录成功！")
else:
    print("登录失败，请检查登录信息。")