【网络爬虫】(1) 网络请求，urllib库介绍

各位同学好，今天开始和各位分享一下python网络爬虫技巧，从基本的函数开始，到项目实战。那我们开始吧。

1. 基本概念

这里简单介绍一下后续学习中需要掌握的概念。

（1）http 和 https 协议。http是超文本传输，接收HTML页面的方法，服务器80端口。https是http协议的加密版本，服务端口是443端口。 

（2）URL 统一资源定位符。形如：scheme://host:port/path/?query-string=xxx#anchor

以 https://www.bilibili.com/video/BV1eT4y1Z7NB?p=3 为例

scheme：访问协议，一般为 http 或 https。

host：主机名，域名。上面的 www.bilibili.com

path：查找路径。video/BV1eT4y1Z7NB 就是 path

port：端口号，访问网站时浏览器默认 80 端口

query-string：查询字符串。如上面的 ?p=3，如有多个，用&分隔

anchor：锚点。后台不用管，是前端用来做页面定位的。相当于现在停留的位置是网页的第几个小节。

注：在浏览器中请求一个url，浏览器会对url进行编码。除英文字母，数字和部分符号外，其他全部使用百分号和十六进制码值进行编码。中文字词需要重新编码后再发送给服务器

（3）常用的请求方法

GET 请求。只从服务器获取数据下来（下载文件），并不会对服务器资源产生任何影响的时候使用GET请求。

POST 请求。向服务器发送数据（登录），上传文件等，会对服务器资源产生影响时使用POST请求

2. urllib 库

urllib 库是 python3 中自带的网络请求库，可以模拟浏览器的行为，向服务器发送一个请求，并可以保存服务器返回的数据。

2.1 urlopen 函数

用于打开一个远程的 url 连接，并且向这个连接发出请求，获取响应结果。返回的结果是一个 https 响应对象，这个响应对象中记录了本次 https 访问的响应头和响应体。

使用方法为：

urllib.request.urlopen(url, data=None, [timeout,]*, cafile=None, capath=None, cadefault=False,context=None)

参数：

url： 需要打开的网址

data：字节流编码格式，可以用 urllib.parse.urlencode() 和 bytes() 方法转换参数格式，如果要设置了data参数，则请求方式为POST

timeout： 设置网站的访问超时时间，单位：秒。若不指定，则使用全局默认时间。若请求超时，则会抛出urllib.error.URLError异常。

返回值：

http.client.HTTPResponse对象： 返回类文件句柄对象，有read(size)，readline，readlines，getcode方法。read(size)若不指定size，则全部读出来。readline读取第一行。readlines返回值以多行的形式读出来。

getcode()： 获取响应状态。返回200，表示请求成功，返回404，表示网址未找到。

geturl()： 返回请求的url。

from urllib import request

# 打开网站，返回响应对象resp
resp = request.urlopen('https://www.baidu.com')

# 通过.read()读取这个网页的源代码，相当于在百度页面右键检查
print(resp.read())
# 返回网页信息

print(resp.getcode())  #状态码
# 200

resp.read() 返回类似如下信息，这里只显示部分

b'<html>\r\n<head>\r\n\t<script>\r\n\t\tlocation.replace(location.href.replace("https://","http://"));
\r\n\t</script>\r\n</head>\r\n<body>\r\n\t<noscript><meta http-equiv="refresh" content="0;
url=http://www.baidu.com/"></noscript>\r\n</body>\r\n</html>'

2.2 urlretrieve 函数

直接将远程数据下载到本地，方法如下：

rlretrieve(url, filename=None, reporthook=None, data=None)

参数：

url：下载链接地址

filename：指定了保存本地路径，若参数未指定，urllib 会生成一个临时文件保存数据。

reporthook：是一个回调函数，当连接上服务器、以及相应的数据块传输完毕时会触发该回调，我们可以利用这个回调函数来显示当前的下载进度。

data：指 POST 导服务器的数据，该方法返回一个包含两个元素的( filename，headers ) 元组，filename 表示保存到本地的路径，header 表示服务器的响应头

# 将百度的首页下载到本地
from urllib import request

# 下载某一张图片，传入图像的url和保存路径
request.urlretrieve('https://gimg2.baidu.com/image_search/src=http%3A%2F%2Fnimg.ws.126.net%2F%3Furl%3Dhttp%253A%252F%252Fdingyue.ws.126.net%252F2021%252F1010%252F90f82dafj00r0q72d001jc000hs009uc.jpg%26thumbnail%3D650x2147483647%26quality%3D80%26type%3Djpg&refer=http%3A%2F%2Fnimg.ws.126.net&app=2002&size=f9999,10000&q=a80&n=0&g=0n&fmt=jpeg?sec=1642840179&t=888aee0d4f561d7238b290c9da876362', 
                    'C:/Users/admin/Documents/Downloads/test1.jpg')

# 下载成功后返回：
('C:/Users/admin/Documents/Downloads/test1.jpg',
 <http.client.HTTPMessage at 0x26b86c85a60>)

2.3 urlencode 函数

用浏览器发送请求时，如果 url 中包含了中文或其他特殊字符，那么浏览器会自动进行编码。

如果使用代码发送请求，必须手动进行编码，这时需要 urlencode 函数实现。urlencode 把字典数据转换为url编码的数据

方法如下：

urllib.parse.urlencode( 字典 )

下面，对张三使用%和十六进制重新编码，键和键之间使用&号连接，空格使用+号连接

from urllib import parse
# 自定义一个字典，后续用于重新编码
params = {'name':'张三','age':18, 'greet':'hello world'}
# 对字典编码
result = parse.urlencode(params)
print(result)
# 除英文和数字外都使用 %号和十六进制来编码

# 打印结果
name=%E5%BC%A0%E4%B8%89&age=18&greet=hello+world

实际使用：

如果网址中有中文，需要先将中文从中分割出来，以字典的方式重新编码转换后，再拼接到网址中。

from urllib import parse

# url = 'https://www.baidu.com/s?wd=周杰伦'  # 直接用于网络请求时，ascii码不能识别

# 使用方法
url = 'https://www.baidu.com/s'

# 定义一个字典
params = {'wd':'周杰伦'}
# 对中文编码
qs = parse.urlencode(params)
print(qs)  #打印编码结果

# 拼接到网址url后面
url = url + '?' + qs
print(url)

# 网络请求，得到网页中的数据
resp = request.urlopen(url)
print(resp.read())

打印结果分别为

wd=%E5%91%A8%E6%9D%B0%E4%BC%A6

https://www.baidu.com/s?wd=%E5%91%A8%E6%9D%B0%E4%BC%A6

b'<html>\r\n<head>\r\n\t<script>\r\n\t\tlocation.replace(location.href.replace("https://","http://"));
\r\n\t</script>\r\n</head>\r\n<body>\r\n\t<noscript><meta http-equiv="refresh" content="0;
url=http://www.baidu.com/"></noscript>\r\n</body>\r\n</html>'

2.4 parse_qs 函数

将经过编码后的 url 参数解码，返回字典类型，方法如下：

urllib.parse.urlencode( url )

应用：

from urllib import parse

# 先对中文进行编码
params = {'name:':'张三','age':18,'greet':'hello world'}
qs = parse.urlencode(params)
print('编码后：',qs)

# 对编码后的结果解码
result = parse.parse_qs(qs)
print('解码后：', result)

打印结果如下：

编码后： name%3A=%E5%BC%A0%E4%B8%89&age=18&greet=hello+world

解码后： {'name:': ['张三'], 'age': ['18'], 'greet': ['hello world']}

2.4 urlparse 和 urlsplit 函数

分割 url 中的各个组成部分，分割成 scheme，host，path，params，query-string，anchor，具体含义看最上面。

这两个函数的区别是：urlsplit 不返回 params，但是这个参数params基本用不到。

（1）urlparse 方法

urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)

urlstring： 待解析的URL，必填项

scheme： 默认的协议，如 http 或 https 等。

allow_fragments： 即是否忽略fragment。若设为 False，fragment 部分就会被忽略，它会被解析为 path、parameters 或 query 的一部分，而 fragment 部分为空。

返回值为所有分割后的结果

# 使用 urlparse 方法

from urllib import parse

# 给出一个url网址
url = 'https://blog.csdn.net/dgvv4?spm=1001.5501#1'

# 使用 urlparse 解析分割 url 中的组成部分
result = parse.urlparse(url)

print(result)  # 获取所有属性

print('scheme:', result.scheme) # 获取指定属性

返回值如下：

ParseResult(scheme='https', netloc='blog.csdn.net', path='/dgvv4', params='', query='spm=1001.5501', fragment='1')

scheme: https

（2）urlsplit 方法

# 使用 urlsplit 方法

from urllib import parse

# 给出一个url网址
url = 'https://blog.csdn.net/dgvv4?spm=1001.5501#1'

# 使用 urlparse 解析分割 url 中的组成部分
result = parse.urlsplit(url)

print(result)

print('scheme:', result.scheme)

返回值如下，返回结果没有params参数

SplitResult(scheme='https', netloc='blog.csdn.net', path='/dgvv4', query='spm=1001.5501', fragment='1')

scheme: https

2.5 Request 函数

如果在请求时增加一些请求头，防止网页发现是爬虫，避免爬虫失败。那么就必须使用resquest.Resquest() 类来实现。比如要增加一个User-Agent。

from urllib import request, parse

# 输入请求
url = 'http://www.acga......com/'

# 输入浏览器页面的User-Agent请求头，使请求头更加像这个浏览器
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36 Edg/96.0.1054.62',
           'Refer':'http://www.acganime.com/'}

# data需要经过urlencode重新编码后才能传进去
data = {
    'first' : True,
    'pn' : 1, #第几页
    'kd' : 'cos' }
# 重新编码
data = parse.urlencode(data)
# 编码类型转换成utf-8
data = data.encode('utf-8')

# 使用request.Request，添加请求头，只是定义好了一个类，并没有发送请求
req = request.Request(url, headers=headers, data=data, method='POST') #请求方式为get   

# 使用 urlopen 方法获取网页信息
resp = request.urlopen(req)  #传入添加请求头后的类
print(resp.read().decode('utf-8')) # 转换成utf-8显示结果

返回爬取的网页数据：

<!DOCTYPE html>
<html lang="zh-CN">
<head>
    <meta charset="UTF-8">
    <meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1">
    <meta name="renderer" content="webkit">
<!--     <meta name="referrer" content="no-referrer" /> -->
    <meta name="viewport" content="initial-scale=1.0,maximum-scale=5,width=device-width,viewport-fit=cover">
.........................................................

推广，发起网络请求的计算机的IP地址，可从如下活动获得：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/488159.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Visual Studio项目编译和运行依赖第三方库的项目

Visual Studio项目编译和运行依赖第三方库的项目

1.创建项目&#xff0c;这里创建的项目是依赖于.sln的项目&#xff0c;非CMake项目 2.添加第三方库依赖的头文件和库文件路劲 3.添加第三方依赖库文件 4.项目配置有2个&#xff0c;一个是Debug&#xff0c;一个是Release&#xff0c;如果你只配置了Debug&#xff0c;编译和运行…
阅读更多...
厨余垃圾处理设备工业监控PLC连接APP小程序智能软硬件开发之功能原理篇

厨余垃圾处理设备工业监控PLC连接APP小程序智能软硬件开发之功能原理篇

接着上一篇《厨余垃圾处理设备工业监控PLC连接APP小程序智能软硬件开发之功能结构篇》继续总结一下厨余垃圾处理设备智能软硬件统的原理。所有的软硬件系统全是自己一人独自开发&#xff0c;看法和角度难免有局限性。希望抛砖引玉&#xff0c;将该智能软硬件系统分享给更多有类…
阅读更多...
java的封装

java的封装

封装概述 java中的封装指的是将一系列有关的事物的共同属性和行为提取出来放到一个类中&#xff0c;隐藏对象的实行和现实细节&#xff0c;仅对外提供公共的访问方式的操作。这样说起来感觉很抽象&#xff0c;也不好理解&#xff0c;这里不妨举一个例子。将配置电脑这个动作看成…
阅读更多...
伪装目标检测之注意力CBAM：《Convolutional Block Attention Module》

伪装目标检测之注意力CBAM：《Convolutional Block Attention Module》

论文地址&#xff1a;link 代码&#xff1a;link 摘要 我们提出了卷积块注意力模块&#xff08;CBAM&#xff09;&#xff0c;这是一种简单而有效的用于前馈卷积神经网络的注意力模块。给定一个中间特征图&#xff0c;我们的模块依次推断沿着两个独立维度的注意力图&#xff…
阅读更多...
Qt实现简易的多线程TCP服务器（支持多个客户端连接）附源码

Qt实现简易的多线程TCP服务器（支持多个客户端连接）附源码

目录 一.UI界面的设计 二.服务器的启动 三.实现自定义的TcpServer类 1.在widget中声明自定义TcpServer类的成员变量 2.在TcpServer的构造函数中对于我们声明的m_widget进行初始化&#xff0c;m_widget我们用于后续的显示消息等&#xff0c;说白了就是主界面的更新显示等 …
阅读更多...
为何ChatGPT日耗电超50万度？

为何ChatGPT日耗电超50万度？

看新闻说&#xff0c;ChatGPT每天的耗电量是50万度&#xff0c;国内每个家庭日均的耗电量不到10度&#xff0c;ChatGPT耗电相当于国内5万个家庭用量。 网上流传&#xff0c;英伟达创始人黄仁勋说&#xff1a;“AI的尽头是光伏和储能”&#xff0c;大佬的眼光就是毒辣&#xff…
阅读更多...
使用LLaVA模型实现以文搜图和以图搜图

使用LLaVA模型实现以文搜图和以图搜图

本文将会详细介绍如何使用多模态模型——LLaVA模型来实现以文搜图和以图搜图的功能。本文仅为示例Demo&#xff0c;并不能代表实际的以文搜图和以图搜图的技术实现方案。 1、实现原理 使用多模态模型获取图片的标题和详细描述以文搜图功能&#xff1a;使用ES实现查询匹配&…
阅读更多...
深入了解 Linux 中的 MTD 设备：/dev/mtd* 与 /dev/mtdblock*

深入了解 Linux 中的 MTD 设备：/dev/mtd* 与 /dev/mtdblock*

目录 前言一、什么是MTD子系统&#xff1f;二、 /dev/mtd* 设备文件用途注意事项 三、/dev/mtdblock* 设备文件用途注意事项 三、这两种设备文件的关系四、关norflash的一些小知识 前言 在嵌入式Linux系统的世界里&#xff0c;非易失性存储技术扮演着至关重要的角色。MTD&#…
阅读更多...
面试知识汇总——垃圾回收器（分代收集算法）

面试知识汇总——垃圾回收器（分代收集算法）

分代收集算法 根据对象的存活周期&#xff0c;把内存分成多个区域&#xff0c;不同区域使用不同的回收算法回收对象。 对象在创建的时候&#xff0c;会先存放到伊甸园。当伊甸园满了之后&#xff0c;就会触发垃圾回收。 这个回收的过程是&#xff1a;把伊甸园中的对象拷贝到F…
阅读更多...
初识redis(一)

初识redis(一)

前言 引用的是这本书的原话 Redis[1]是一种基于键值对&#xff08;key-value&#xff09;的NoSQL数据库&#xff0c;与很多键值对数据库不同的是&#xff0c;Redis中的值可以是由string&#xff08;字符串&#xff09;、hash&#xff08;哈希&#xff09;、list&#xff08;列…
阅读更多...
Android15功能和 API 概览

Android15功能和 API 概览

Android 15 面向开发者引入了一些出色的新功能和 API。以下部分总结了这些功能&#xff0c;以帮助您开始使用相关 API。 如需查看新增、修改和移除的 API 的详细列表&#xff0c;请参阅 API 差异报告。如需详细了解新的 API&#xff0c;请访问 Android API 参考文档&#xff0…
阅读更多...
Selenium 自动化 —— 定位页面元素

Selenium 自动化 —— 定位页面元素

更多内容请关注我的 Selenium 自动化 专栏&#xff1a; 入门和 Hello World 实例使用WebDriverManager自动下载驱动Selenium IDE录制、回放、导出Java源码浏览器窗口操作切换浏览器窗口 使用 Selenium 做自动化&#xff0c;我们不仅仅是打开一个网页&#xff0c;这只是万里长…
阅读更多...
Stable Diffusion 进阶教程 - 二次开发（制作您的文生图应用）

Stable Diffusion 进阶教程 - 二次开发（制作您的文生图应用）

目录 1. 引言 2. 基于Rest API 开发 2.1 前置条件 2.2 代码实现 2.3 效果演示 2.4 常见错误 3. 总结 1. 引言 Stable Diffusion作为一种强大的文本到图像生成模型&#xff0c;已经在艺术、设计和创意领域引起了广泛的关注和应用。然而&#xff0c;对于许多开发者来说&#xff…
阅读更多...
时序预测 | Matlab实现SSA-BP麻雀算法优化BP神经网络时间序列预测

时序预测 | Matlab实现SSA-BP麻雀算法优化BP神经网络时间序列预测

时序预测 | Matlab实现SSA-BP麻雀算法优化BP神经网络时间序列预测 目录 时序预测 | Matlab实现SSA-BP麻雀算法优化BP神经网络时间序列预测预测效果基本介绍程序设计参考资料 预测效果 基本介绍 1.Matlab实现SSA-BP麻雀算法优化BP神经网络时间序列预测&#xff08;完整源码和数据…
阅读更多...
DRC检查及丝印的调整

DRC检查及丝印的调整

DRC检查及丝印的调整 综述&#xff1a;本文主要讲述AD软件中DRC检查、丝印的调整以及logo的添加的相关步骤&#xff0c;附加logo添加的脚本链接和大量操作图片&#xff0c;使步骤详细直观。 1. 点击“工具”→“设计规则检查”→“运行DRC”。&#xff08;一开始可以只开启电…
阅读更多...
利用云手机技术，开拓海外社交市场

利用云手机技术，开拓海外社交市场

近年来&#xff0c;随着科技的不断进步&#xff0c;云手机技术逐渐在海外社交营销领域崭露头角。其灵活性、成本效益和全球性特征使其成为海外社交营销的利器。那么&#xff0c;究竟云手机在海外社交营销中扮演了怎样的角色呢&#xff1f; 首先&#xff0c;云手机技术能够消除地…
阅读更多...
LLM - 大语言模型的指令微调(Instruction Tuning) 概述

LLM - 大语言模型的指令微调(Instruction Tuning) 概述

欢迎关注我的CSDN&#xff1a;https://spike.blog.csdn.net/ 本文地址&#xff1a;https://blog.csdn.net/caroline_wendy/article/details/137009993 大语言模型的指令微调(Instruction Tuning)是一种优化技术&#xff0c;通过在特定的数据集上进一步训练大型语言模型(LLMs)&a…
阅读更多...
javaWeb个人日记（博客）管理系统

javaWeb个人日记（博客）管理系统

一、简介 在快节奏的生活中&#xff0c;记录生活点滴、感悟和思考是一种重要的方式。基于此&#xff0c;我设计了一个基于JavaWeb的个人日记本系统&#xff0c;旨在帮助用户轻松记录并管理自己的日记。该系统包括登录、首页、日记列表、写日记、日记分类管理和个人中心等功能&…
阅读更多...
mysql - 缓存

mysql - 缓存

缓存 InnoDB存储引擎在处理客户端的请求时&#xff0c;当需要访问某个页的数据时&#xff0c;就会把完整的页的数据全部加载到内存中&#xff0c;也就是说即使我们只需要访问一个页的一条记录&#xff0c;那也需要先把整个页的数据加载到内存中。将整个页加载到内存中后就可以…
阅读更多...
命令模式（请求与具体实现解耦）

命令模式（请求与具体实现解耦）

目录 前言 UML plantuml 类图 实战代码 模板 Command Invoker Receiver Client 前言 命令模式解耦了命令请求者&#xff08;Invoker&#xff09;和命令执行者&#xff08;receiver&#xff09;&#xff0c;使得 Invoker 不再直接引用 receiver&#xff0c;而是依赖于…
阅读更多...
最新文章

Copyright @ 2022~2023