python之爬虫遇到返回内容乱码

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

文章目录

  • 前言
  • 解决思路


前言

提示:这里可以添加本文要记录的大概内容:

问题复现:

import requests

headers = {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
    "Accept-Encoding": "gzip, deflate, br, zstd",
    "Accept-Language": "en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7,en-GB;q=0.6",
    "cache-control": "max-age=0",
    "upgrade-insecure-requests": "1",
}

url = "xxxxxxxxxxxx"

res = requests.get(url=url, headers=headers, timeout=60)

print(res.text)

返回的结果:

��or����_�;��������蔶��p<�_0�+��?=0 ��
�c�M�zU�nT�%��Z7EU��UaT`XT��C��C�QT�C�QH��\3Q(d�U��+m�E1�]c^�b��R%�\y��w�DwՊW��Q�z��^S�*C!rUc*M��B��-rrb�Z�J��5�C�(Hm�E�<H`����"W
���\5*��fV0�W��A������b�\ըj���x��(=%�T�P�����2j_�%��=Zĉ��}��e�"t8>�v��Wb6��i�~'�T��w�@CE�](�I_ƄLȄ���"�aƞ�lJ�"�!��+��`��뿪9�џB�{��&��Dz��Qb���(��������_lFMz�J�F�K��u�η�σ��nMKl��%��q;5���W�ू8�	�a��w�	��������K�o?v�f l�"l��o�e��[~>p����ҏ������Y��ޱ{E�1}��h�t�'�$�S��KpL��:+|F���7 ~/莀N�80 �ׄ��p���4�Í$7��\L����Nahz���.m�Y�l{m�gA�����gl�
c�߷��Ϥ��x���AgA\4�R�Z*r1<3N�;�S�b�`��9��O�����}�_�!�q�@ �/���˔cWT��N����K�E��5-��7�����9�پo��g,Xe��߷�����-�lSe��}@~|��3!�oJkh���P��o����}���g,}~����ok�S|��6����S�r3$,����n��C'sBຼ�{Cs%�l��������!1�OM�&ɟ�����GEk,�:2U1�6��]��ʐu;��z��=ѫ��'�z�"���F�r����=v����y>52����Zu�lv�����rd��rȳ��B���t��U� �V�<�v>�aA`�2&:.��4|l�x�!�������*b�D�^RQ������
��|�ۙϚ�P�a�A�:�z\�GZoM�⋃��s#L��kf}.@�z�J�6�j� I{7���[��W�
��i�HShY�y�Œ<�l:��vN�n���EF�2��N��#��^��0�v{�=�I
�т<�m�&�\��j����


解决思路

“Accept-Encoding’是浏览器发给服务器,声明浏览器支持的编码类,一般有gzip,deflate,br 等等。很多网站都是以gzip的格式来输出页面,此时输出response.content和response.text时会自动解压,但是当以br格式压缩时,却不会自动解压

Brotli是一种由 Google开发的全新压缩算法,可以有效减小传输内容大小,加速分发效果。当客户端的请求携带请求头 Accept-Encoding: br 时,表示客户端希望获取对应资源时进行 Brotli 压缩。当服务端响应携带响应头 Content-Encoding: br 时,表示服务端响应的内容是 Brotli 压缩的资源。需要注意的是,只有在 HTTPS 的情况下,浏览器才会发送 br 这个 Accept-Encoding

解决办法:
直接从请求头的Accept-Encoding中去除编码类型br

Accept-Encoding = “gzip, deflate”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/904074.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

《操作系统真象还原》第3章 完善MBR【3.1 — 3.2】

目录 引用与说明 3.1、地址、section、vstart 浅尝辄止 1、什么是地址 2、什么是 section【汇编】 3、什么是 vstart【汇编】 3.2、CPU 的实模式 1、CPU 工作原理【重要】 2、实模式下的寄存器 4、实模式下 CPU 内存寻址方式 5、栈到底是什么玩意儿 6 ~ 8 无条件转移…

tiktok双旋转验证码识别,利用图像处理技术准确率达97

注意&#xff0c;本文只提供学习的思路&#xff0c;严禁违反法律以及破坏信息系统等行为 如有侵犯&#xff0c;请联系作者下架 该文章模型已经上线ocr识别网站&#xff0c;欢迎测试&#xff01;&#xff01;&#xff0c;地址&#xff1a;https://yxlocr.windy-rain.cn/ocr/othe…

TVM前端研究--Relay

文章目录 深度学习IR梳理1. IR属性2. DL前端发展3. DL编译器4. DL编程语言Relay的主要内容一、Expression in Relay1. Dataflow and Control Fragments2. 变量3. 函数3.1 闭包3.2 多态和类型关系3.3. Call4. 算子5. ADT Constructors6. Moudle和Global Function7. 常量和元组8.…

angular使用http实现get和post请求

说明&#xff1a; angular使用http实现get和post请求 提示&#xff1a;在运行本项目前&#xff0c;请先导入路由router&#xff0c;可以参考我上一篇文章。 效果图&#xff1a; step1:E:\projectgood\ajsix\untitled4\package.json “angular/cdk”: “^18.2.10”, “angula…

虚拟现实辅助工程技术助力航空航天高端制造业破局

在当今竞争激烈的航天产业环境中&#xff0c;高昂的研发成本、复杂的制造流程、繁重的维护任务以及对关键太空资产需求的不断升级&#xff0c;是航空航天高端制造业亟待破解的困境。在此背景下&#xff0c;虚拟现实辅助工程技术正以前所未有的速度渗透至各行各业&#xff0c;成…

LySocket 远程ShellCode注入工具

一款基于C/C开发的远程ShellCode注入工具&#xff0c;通常配合Metasploit一起使用&#xff0c;可实现远程注入反弹代码到指定进程&#xff0c;它由服务端和客户端两部分组成&#xff0c;并使用最少的代码实现了多Socket套接字管理机制&#xff0c;目前主要功能包括&#xff0c;…

【JVM第2课】类加载子系统(类加载器、双亲委派)

类加载系统加载类时分为三个步骤&#xff0c;加载、链接、初始化&#xff0c;下面展开介绍。 文章目录 1 类加载器1.1 引导类加载器&#xff08;BootStrapClassLoader&#xff09;1.2 拓展类加载器&#xff08;ExtClassLoader&#xff09;1.3 应用类加载器&#xff08;AppClas…

进一步认识ICMP协议

在日常工作中&#xff0c;我们经常需要判断网络是否连通&#xff0c;相信大家使用较多的命令就是 ping啦。ping命令是基于 ICMP 协议来实现的&#xff0c;那么什么是 ICMP 协议呢&#xff1f;ping命令又是如何基于 ICMP 实现的呢&#xff1f; 今天这篇文章&#xff0c;我们就来…

计算机网络-MSTP的基础概念

前面我们大致了解了MSTP的由来&#xff0c;是为了解决STP/RSTP只有一根生成树导致的VLAN流量负载分担与次优路径问题&#xff0c;了解MSTP采用实例映射VLAN的方式实现多实例生成树&#xff0c;MSTP有很多的理论概念需要知道&#xff0c;其实与其它的知识一样理论复杂配置还好的…

宠物空气净化器哪个牌子好?有没有噪音低的宠物空气净化器推荐?

如今随着社会竞争越来越激烈&#xff0c;不少人开始焦虑内耗&#xff0c;但为了能更好的生活&#xff0c;养宠物便成为不少人的排忧解乏的方法。 我也不例外&#xff0c;作为一名996社畜&#xff0c;天刚亮就出门&#xff0c;天黑很久才回家&#xff0c;所以选择养猫来陪我度过…

Linux shell编程学习笔记87:blkid命令——获取块设备信息

0 引言 在进行系统安全检测时&#xff0c;我们需要收集块设备的信息&#xff0c;这些可以通过blkid命令来获取。 1 blkid命令的安装 blkid命令是基于libblkid库的命令行工具&#xff0c;可以在大多数Linux发行版中使用。 如果你的Linux系统中没有安装blkid命令&#xff0c;…

华为手机卸载系统应用的方法

摘要&#xff1a; 1.手机环境&#xff1a;手机需要开启开发者模式并使用usb连接电脑&#xff0c;并选择文件传输模式 2.电脑环境&#xff1a;使用鸿蒙工具箱进行傻瓜操作或安装adb工具进行命令卸载 3.鸿蒙工具箱和adb工具本质都是使用adb shell pm uninstall -k --user 0 xx…

聊聊我在新加坡的近况

我是 2022 年 4 月初过来新加坡的&#xff0c;然后两个月后就把老婆孩子们也接了过来。时至今日&#xff0c;已经两年半有余了。 22 年 8 月初的时候&#xff0c;写过一篇文章「聊聊我在新加坡的生活和工作体验」&#xff0c;没想到成了一篇热门文章&#xff0c;在知乎上不知不…

C语言笔记(指针题目)例题+图解

本文分为两部分 &#xff0c;第一部分为数组、字符串、字符指针在sizeof和strlen中的辨析&#xff0c;第二部分是一些笔试题目。若有错误&#xff0c;请批评指正。 目录 1.第一部分 1.1.数组名的使用 1.1.1一维整型数组在sizeof中的使用 1.1.2一维字符数组在sizeof中的使用…

ADC开启

ADC性能参数&#xff1a; 1.分辨率 用LSB表示&#xff1a; LSBVref/2^N 2.失调误差 3.增益误差 4.微分非线性误差 微分非线性&#xff1a;指的是数字输出每增加“1”时&#xff0c;输出模拟量的变化值与LSB的差距。 DNL &#xff08;2.2-1&#xff09;LSB 1.2LSB 5.积分非…

深度学习案例:带有一个隐藏层的平面数据分类

该案例来自吴恩达深度学习系列课程一《神经网络和深度学习》第三周编程作业&#xff0c;作业内容是设计带有一个隐藏层的平面数据分类。作业提供的资料包括测试实例&#xff08;testCases.py&#xff09;和任务功能包&#xff08;planar_utils.py&#xff09;&#xff0c;下载请…

学习threejs,使用粒子实现下雪特效

&#x1f468;‍⚕️ 主页&#xff1a; gis分享者 &#x1f468;‍⚕️ 感谢各位大佬 点赞&#x1f44d; 收藏⭐ 留言&#x1f4dd; 加关注✅! &#x1f468;‍⚕️ 收录于专栏&#xff1a;threejs gis工程师 文章目录 一、&#x1f340;前言1.1 ☘️THREE.Points简介1.11 ☘️…

在Excel中如何快速筛选非特定颜色

Excel中的自动筛选是个非常强大的工具&#xff0c;不仅可以筛选内容&#xff0c;而且可以筛选颜色&#xff0c;例如筛选A列红色单元格。但是有时希望筛选除了红色之外的单元格&#xff08;下图右侧所示&#xff09;&#xff0c;其他单元格的填充色不固定&#xff0c;有几种颜色…

llama.cpp基础知识与原理导读

llama.cpp 是一个轻量化的 C++ 实现,专注于 Meta 的 LLaMA 模型的推理和部署。该项目致力于在不依赖庞大的深度学习框架(如 PyTorch、TensorFlow 等)的情况下,实现对 LLaMA 模型的高效运行,特别是在资源受限的设备上(如个人电脑和手机)。以下是 llama.cpp 的主要工作原理…

【Android14 ShellTransitions】(八)播放动画

书接上回&#xff0c;话说当WMCore部分走到了Transition.onTransactionReady&#xff0c;计算完参与动画的目标&#xff0c;构建出TransitionInfo后&#xff0c;接下来就把这个包含了动画参与者的TransitionInfo发给了WMShell&#xff0c;然后就该播放动画了&#xff0c;这部分…