requests库中Session对象超时解决过程

亿牛云IP (2).png

引言

在使用Python进行网络请求时，requests库是一个非常常用的工具。它提供了Session对象来管理和持久化参数，例如cookies、headers等。但是，对于一些需要长时间运行的请求，我们需要设置超时时间来避免长时间等待或者无限期阻塞的情况。本文将在请求库中介绍如何设置Session对象的超时时间，并提供最佳实践。

一、了解requests库和Session对象

在开始讨论超时设置之前，我们首先需要了解requests库和Session对象。requests库是一个简洁而优雅的HTTP库，它允许我们发送各种HTTP请求。而Session对象则提供了一种方式来保持会话状态，包括cookies、headers等信息，使得我们可以在多个请求之间保持一致的会话状态。

二、Session对象设置超

默认情况下，请求库的超时时间未设置，可能导致请求在网络异常或服务器响应缓慢时长时间等待，影响程序性能和稳定性。解决方法对于这个问题，我们可以通过requests库的Session对象设置超时时间，确保在异常情况下及时请求，提高程序的稳定性。合理设置超时时间可以避免长时间等待或无限期阻塞，保证爬虫程序顺利运行。

1、设置超时时间

要设置Session对象的超时时间，我们可以通过timeout参数来实现。timeout参数接受一个元组，分别表示连接超时和读取超时的时间。例如，我们可以将超时时间设置为5秒：

import requests

session = requests.Session()
session.get('https://example.com', timeout=(3.05, 27))

2、习惯重试机制

除了设置超时时间外，我们还可以自定义重试机制来处理一些网络异常。这里，我们可以使用requests库提供的Retry对象，并结合urllib3库中的代理信息来实现：

import requests
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry

proxyHost = "www.16yun.cn"
proxyPort = "5445"
proxyUser = "16QMSOML"
proxyPass = "280651"

session = requests.Session()
retry = Retry(connect=3, backoff_factor=0.5)
adapter = HTTPAdapter(max_retries=retry)
session.mount('http://', adapter)
session.mount('https://', adapter)

proxies = {
    "http": f"http://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}",
    "https": f"http://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}"
}

session.get('https://example.com', proxies=proxies)