python～http的请求参数中携带map

背景

调试 http GET请求的 map 参数，链路携带参数一直有问题，最终采用如下方式携带map 解决

user={"demo":"true","info":"王者"}

url encode之后的效果如下所示

user=%7B%22demo%22:%22true%22,%22info%22:%22%E7%8E%8B%E8%80%85%22%7D

最终http的url如下：

http://www.demo.com?user=%7B%22demo%22:%22true%22,%22info%22:%22%E7%8E%8B%E8%80%85%22%7D

代码

方式一

tmp = {"demo":"true","info":"王者"}
json_str = json.dumps(tmp)
encoded_str = urllib.parse.quote(json_str)
url += '&user=%s' % encoded_str

方式二

tmp = {"demo":"true","info":"王者"}
params['user'] = json.dumps(tmp)
r = requests.get(url, headers=headers, params=params, timeout=2)

urllib.parse.quote

URL 中，某些字符具有特殊含义
例如 / 用于分隔 URL 的不同部分，? 用于标识查询字符串的起始，& 用于分隔查询字符串中的不同参数等

当需要在 URL 里包含可能与这些特殊字符冲突的字符（像空格、中文、?、&、=等特殊符号等）时，就必须对这些字符进行 url 编码，以保证 URL 的正确性和完整性
urllib.parse.quote 函数的作用就是把字符串里的特殊字符转换为符合 URL 规范的编码形式

urllib.parse.quote 函数采用的是百分号编码（Percent-encoding）规则，也称作 URL 编码。在此编码规则下，每个特殊字符会被替换成 % 后面跟着两个十六进制数字，这两个数字代表该字符的 ASCII 码值。比如，空格会被编码为 %20，中文等非 ASCII 字符会先转化为 UTF-8 字节序列，然后每个字节再进行百分号编码

urllib.parse.quote(string, safe='/', encoding=None, errors=None)

string：
这是必需参数，指的是需要进行 URL 编码的字符串

safe：
可选，指定哪些字符不需要进行编码，默认值为 /，意味着 / 字符不会被编码
可以根据实际需求修改这个参数，例如 safe=‘’ 表示对所有字符都进行编码

encoding：
可选，指定字符串的编码方式，默认使用 UTF - 8 编码

errors：
可选，指定编码错误的处理方式，默认值为 ‘strict’，表示遇到编码错误时会抛出异常

示例

import urllib.parse

# 包含特殊字符和中文的字符串
string_to_encode = "你好, world! & / ? ="

# 进行 URL 编码
encoded_string = urllib.parse.quote(string_to_encode)

print(encoded_string)

效果

%E4%BD%A0%E5%A5%BD%2C%20world%21%20%26%20/%20%3F%20%3D

编码学习

百分号编码（Percent-encoding）也称为 URL 编码，它将非 ASCII 字符先转换为 UTF-8 字节序列，然后每个字节再用 % 加上对应的两位十六进制数来表示。

如何将汉字 “我” 转换为 %E6%88%91：
字符编码为 UTF-8 字节序列：在 UTF-8 编码中，不同的字符会被编码为不同长度的字节序列。像汉字通常会被编码为 3 个字节。“我” 这个字在 UTF-8 编码下对应的字节序列是 0xE6 0x88 0x91
转换为百分号编码形式：把每个字节转换为 % 加上对应的两位十六进制数。
例如，字节 0xE6 转换为 %E6，字节 0x88 转换为 %88，字节 0x91 转换为 %91。最终 “我” 就被编码为 %E6%88%91

cat demo.py 
# coding: utf-8

# 定义要编码的字符
char = "我"

# 对字符进行 UTF-8 编码，得到字节序列
utf8_bytes = char.encode('utf-8')

# 将字节序列转换为百分号编码形式
percent_encoded = ''.join(f'%{byte:02X}' for byte in utf8_bytes)

# %E6%88%91
print(percent_encoded)

url编码时，为什么有些编码是把空格编码为`+`，有些则编码为`%20`

主要取决于使用的编码规范和具体场景

历史背景与规范差异

`+` 编码（application/x-www-form-urlencoded）

表单提交规范：在 HTML 表单使用 POST 方法提交数据时，如果表单的 enctype 属性设置为 application/x-www-form-urlencoded（这是表单提交的默认编码类型），空格会被编码为 +。这个规范源自早期的互联网实践，是为了在传输数据时能够更紧凑地表示空格，因为 + 比 %20 占用的字符更少

相关标准：这种编码方式在 HTML 表单数据处理和一些老的 CGI（Common Gateway Interface）程序中广泛使用。例如，当在一个 HTML 表单中输入包含空格的内容并提交时，服务器端接收到的数据里空格就会以 + 的形式呈现。

`%20` 编码（通用 URL 编码）

RFC 3986 标准：根据互联网工程任务组（IETF）发布的 RFC 3986 标准，在通用的 URL 编码中，空格应该被编码为 %20。这个标准定义了统一的 URI（Uniform Resource Identifier）语法和编码规则，适用于各种类型的 URL，包括路径、查询参数等。
通用性和兼容性：%20 编码更具通用性和兼容性，因为它遵循了标准的百分号编码规则，可以确保在不同的系统和应用程序中正确解析。在大多数现代的 HTTP 请求库和工具中，默认使用 %20 来编码空格。

不同编程语言和库的处理方式

使用 `+` 编码的情况

Python 的 urllib.urlencode（Python 2）：
在 Python 2 的 urllib 模块中，urlencode 函数默认将空格编码为 +，这是为了与 application/x-www-form-urlencoded 规范保持一致

# coding: utf-8

import urllib

params = {'key': 'hello world'}
encoded_params = urllib.urlencode(params)

# 输出: key=hello+world
print encoded_params

使用 %20 编码的情况

Python 的 urllib.parse.quote（Python 3）：
在 Python 3 的 urllib.parse 模块中，quote 函数遵循 RFC 3986 标准，将空格编码为 %20

# coding: utf-8

import urllib.parse

string = 'hello world'
encoded_string = urllib.parse.quote(string)

# 输出: hello%20world
print(encoded_string)

requests处理时的 params 默认做法

# coding: utf-8

import requests

params = {'key': 'hello world'}
resp = requests.get('http://example.com', params=params)

# http://example.com/?key=hello+world
print(resp.url)
# <Response [200]>
print(resp)

示例

# coding: utf-8

import json
import requests

user= {
    "demo": "true",
    "info": "王者"
}
# {'user': '{"demo": "true", "info": "\\u738b\\u8005"}'} map以这种方式json化有空格
user_str = json.dumps(user)
params = {'user': user_str}
response = requests.get('http://example.com', params=params)

# http://example.com/?user=%7B%22demo%22%3A+%22true%22%2C+%22info%22%3A+%22%5Cu738b%5Cu8005%22%7D
print(response.url)
# <Response [200]>
print(response)

手动挨个编码

# coding: utf-8

import requests
import urllib.parse

# 定义参数
original_params = {
    'key': 'hello world'
}

# 手动编码参数值
encoded_params = {key: urllib.parse.quote(value) for key, value in original_params.items()}

url = 'http://httpbin.org/get'
response = requests.get(url, params=encoded_params)

# http://httpbin.org/get?key=hello%2520world
print(response.url)

编码过度了，编码了两遍

使用`%20`

# coding: utf-8
import requests
import urllib.parse

# 定义参数
original_params = {
    'key': 'hello world'
}

# 手动编码参数值并构建参数字符串
param_list = []
for key, value in original_params.items():
    encoded_value = urllib.parse.quote(value)
    param_list.append(f"{key}={encoded_value}")
param_string = '&'.join(param_list)

base_url = 'http://httpbin.org/get'
full_url = f"{base_url}?{param_string}"

# http://httpbin.org/get?key=hello%20world
response = requests.get(full_url)
print(response.url)