如何设置爬虫的IP代理？

在爬虫开发中，设置IP代理是避免被目标网站封禁、提升爬取效率和保护隐私的重要手段。以下是设置爬虫IP代理的详细方法和注意事项：

一、获取代理IP

免费代理IP：

可以通过一些免费的代理IP网站获取代理IP，但这些IP的稳定性和速度通常较差，容易失效。

示例代码：

import requests
free_proxy_url = 'http://www.freeproxylists.net/'
response = requests.get(free_proxy_url)
# 解析HTML获取代理IP（具体实现需根据网站结构进行解析）

付费代理IP：
- 付费代理服务提供商（如ProxyMesh、Luminati等）提供的代理IP质量较高，稳定性和速度更好，适合需要大量数据爬取的场景。
- 示例代码：
```
proxy = {
    'http': 'http://user:password@proxyserver:port',
    'https': 'https://user:password@proxyserver:port'
}
response = requests.get('http://example.com', proxies=proxy)
```
自建代理服务器：
- 可以通过购买云服务器自建代理服务器，这种方式适合对代理IP有特殊需求的用户。

二、在爬虫代码中设置代理

1. 使用Python的`requests`库

import requests

proxies = {
    'http': 'http://your_proxy_ip:port',
    'https': 'https://your_proxy_ip:port'
}
response = requests.get('http://example.com', proxies=proxies)
print(response.text)

如果代理需要身份验证，可以在代理地址中添加用户名和密码：

proxies = {
    'http': 'http://username:password@your_proxy_ip:port',
    'https': 'https://username:password@your_proxy_ip:port'
}

2. 使用Python的`urllib`库

import urllib.request

proxy_handler = urllib.request.ProxyHandler({
    'http': 'http://your_proxy_ip:port',
    'https': 'https://your_proxy_ip:port'
})
opener = urllib.request.build_opener(proxy_handler)
urllib.request.install_opener(opener)
response = urllib.request.urlopen('http://example.com')
print(response.read().decode('utf-8'))

3. 使用Curl命令

curl -x http://your_proxy_ip:port http://example.com

如果使用HTTPS代理：

curl -x https://your_proxy_ip:port https://example.com

三、处理代理失效

检测代理IP有效性：在使用代理IP之前，可以先检测其有效性：

def check_proxy(proxy):
    try:
        response = requests.get('http://example.com', proxies=proxy, timeout=5)
        return response.status_code == 200
    except:
        return False

proxy = {'http': 'http://your_proxy_ip:port'}
if check_proxy(proxy):
    print("Proxy is valid")
else:
    print("Proxy is invalid")

自动切换代理IP：维护一个代理IP池，随机选择代理IP进行请求：

import random

proxy_pool = [
    {'http': 'http://proxy1:port'},
    {'http': 'http://proxy2:port'},
    {'http': 'http://proxy3:port'}
]

def get_random_proxy():
    return random.choice(proxy_pool)

proxy = get_random_proxy()
response = requests.get('http://example.com', proxies=proxy)
print(response.content)