PythonScrapy爬虫被ban的一些解决办法

大多数python写爬虫都是当做工具在用，爬虫过程中都会遇到命中反爬导致无法继续访问。访问出现500或者其他服务器禁止错误，像下面这样

在这之前，默认你已经了解python及scrapy。具体selenium的使用方法可以查阅官方文档。

我的处理办法：

使用selenium打开浏览器，不再直接使用request请求url,这样看起来更像真人操作，当然你可以可以选择使用chrome以及chrome的驱动是同样的。
使用fake-userAgent在每次请求前伪造UA
使用代理在每次请求更换代理进行请求

开始

三个处理办法对应着三个中间件，均放在本地爬虫目录的 middlewares.py文件内

1.伪造UA

使用fake_useragent

from fake_useragent import UserAgent
class RandomUserAgentMiddleware:
    def __init__(self):
        self.ua = UserAgent()
    def process_request(self, request, spider):
        # 为每个请求随机设置一个User-Agent
        request.headers.setdefault('User-Agent', self.ua.random)

2.proxy代理

代理可以自己购买，也可使用github上开源的然后在自己本地部署

ProxyPool
proxy_pool

import requests
class ProxyMiddleware(object):
    def process_request(self, request, spider):
        # 设置代理的URL
        request.meta['proxy'] = "这里写你具体使用代理服务器地址如:http://127.0.0.1:1234"

3.使用Selenium

from selenium import webdriver
from scrapy import signals
import random

class SeleniumMiddleware:
    def __init__(self):
        # 你在这可以选择使用chrome 或者 火狐
        # self.driver = webdriver.Chrome()
        self.driver = webdriver.Firefox()

    def process_request(self, request, spider):
        self.driver.get(request.url)
        
        # 随机停顿几秒，你可以不停顿，或者改的更长/更短的时间
        sleepSeconds = random.randint(2,6)
        time.sleep(sleepSeconds) 
        
        body = self.driver.page_source
        return HtmlResponse(url=request.url, body=body, encoding='utf-8', request=request)

    @classmethod
    def from_crawler(cls, crawler):
        middleware = cls()
        crawler.signals.connect(middleware.spider_closed,
                                signal=signals.spider_closed)
        return middleware
    
    # 在爬虫退出时关闭浏览器
    def spider_closed(self):
        self.driver.quit()

最后一步

在settings中设置中间件，并关闭默认的UA中间件。需要注意的是中间件的顺序不要搞错了，后面的值表示中间件运行的顺序，Selenium在这三个里面一定是最后的，因为它就开始访问资源了

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
   "qiuzhi.middlewares.RandomUserAgentMiddleware": 200,
   "qiuzhi.middlewares.ProxyMiddleware": 300,
   "qiuzhi.middlewares.SeleniumMiddleware": 400,
}