python 爬虫之requests 库以及相关函数的详细介绍

在这里插入图片描述

get 函数

当你使用 requests.get 函数时，你可以按照以下步骤来发起一个 GET 请求：

导入 requests 模块：

在你的 Python 脚本或程序中，首先导入 requests 模块。
```
import requests
```
指定目标 URL：

设置你要请求的目标 URL。
```
url = 'https://api.example.com/data'
```
定义查询参数（如果需要的话）：

如果你的请求需要包含查询参数，你可以将它们定义为一个字典，并传递给 params 参数。
```
params = {'key1': 'value1', 'key2': 'value2'}
```
发起 GET 请求：

使用 requests.get 函数发起 GET 请求，传递目标 URL 和查询参数。
```
response = requests.get(url, params=params)
```
处理响应：

通过检查响应对象的属性，你可以获取服务器的响应信息。
- response.status_code: 获取响应的状态码。
- response.headers: 获取响应头信息。
- response.text: 获取响应的文本内容。
- response.json(): 将响应内容解析为 JSON 格式。
```
if response.status_code == 200:
    print(response.json())
else:
    print(f'GET 请求失败，状态码：{response.status_code}')
    print(response.text)
```

其他可选步骤：

根据你的需求，你可以使用其他可选参数来自定义请求。例如，你可以设置请求头、Cookies、认证等。

response = requests.get(
    url,
    params=params,
    headers={'User-Agent': 'my-app'},
    cookies={'session_id': '123456'},
    auth=('username', 'password'),
    timeout=10
)