【Python爬虫实战入门】：教你一个程序实现PPT模版自由

文章目录

      • 💥一、PPT模版爬取
        • 🔥1.1 第一个爬虫
          • 🚲1. 获取下载页面链接
        • ❤️1.2 第二个爬虫
        • 🚲1.3 第三个爬虫
          • 🎈2. 文件保存
        • ❤️1.4 翻页处理
      • 🔥二、完整代码

🔥🔥🔥 Python爬虫专栏

💥一、PPT模版爬取

🛤️目标网址

https://www.ypppt.com/moban/

关于第三方模块requests：

Python 的第三方模块 requests 是一个非常流行的 HTTP 客户端库，用于发送各种 HTTP 请求。它由 Kenneth > Reitz 开发，并被广泛用于 Python 社区。以下是 requests 模块的一些主要特点：

  1. 简单易用：requests 的 API 设计简洁，使得发送 HTTP 请求变得非常简单。
  2. 跨平台：它支持 Python 2.7 和 3.4+ 版本，可以在多种操作系统上运行。
  3. 国际化：支持国际域名和 URL。
  4. HTTP 连接保持：可以持久化连接，减少连接建立的开销。
  5. 支持多部分文件上传：方便地上传文件。
  6. 支持 Sessions：允许跨请求保持某些参数，如 cookies。
  7. 可连接的流式请求：可以方便地下载大文件。
  8. 支持同步和异步操作：虽然 requests 本身是同步的，但可以与异步框架如 grequests 或 aiohttp 结合使用。
  9. SSL 证书验证：默认情况下会验证 SSL 证书。
  10. 社区支持：由于其流行度，requests 有一个活跃的社区，可以快速获得帮助和支持。

安装：pip install requests

✈1.1 爬虫框架
💥思路：

  1. 模板的主页链接：https://www.ypppt.com/moban/
  2. 获取某一个PPT的下载页面链接：https://www.ypppt.com/p/d.php?aid=8257
  3. 获取下载链接
# 导入请求模块
import requests

# 伪装
headers = {
    'User-Agent': '浏览器信息',
    'Cookie': '浏览器信息'
}

url = '目标网址'

# 请求网址获得响应
res = requests.get(url, headers=headers)
🔥1.1 第一个爬虫

根据我们的思路，首先我们要写第一个爬虫来从模版首页获取PPT编号

🛤️目标网址：https://www.ypppt.com/moban/
🛤️浏览器信息：
在这里插入图片描述

# 导入请求模块
import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36',
    'Cookie': 'Hm_lvt_45db753385e6d769706e10062e3d6453=1715320446; __gads=ID=f965cafb7bccd599:T=1715320445:RT=1715320445:S=ALNI_MYHKs8_kMiTTQssHwk_I4unaHm1zQ; __gpi=UID=00000e15cb8f6b9a:T=1715320445:RT=1715320445:S=ALNI_MZWVWyERCMXvsHDoW2WB20RuXSXEg; __eoi=ID=d8be83a85bd77edf:T=1715320445:RT=1715320445:S=AA-AfjZv_F_ROl0rslGv9LnpXhIp; Hm_lpvt_45db753385e6d769706e10062e3d6453=1715320500'
}

url = 'https://www.ypppt.com/moban/'

# 请求网址获得响应
res = requests.get(url, headers=headers, verify=False)
print(res.text)

注意：在使用 Python 的 requests 库发送 HTTP 请求时，verify 参数是一个布尔值，它控制着 SSL 证书验证的行为。

  • 当 verify=True（默认设置）时，requests 会验证 SSL 证书的有效性。这意味着 requests 将检查你正在与之通信的服务器是否拥有一个有效的、由受信任的证书颁发机构签发的 SSL 证书。如果证书无效或过期，或者与请求的主机名不匹配，requests 将抛出一个 SSLError 异常。

  • 当 verify=False 时，requests 将不会验证 SSL 证书的有效性。这通常用于测试环境或某些特定情况下，服务器使用自签名证书或不安全的连接，而你又不希望因为证书验证而中断请求。

使用 verify=False 会降低安全性，因为它允许连接到可能不安全的服务器，这可能使你的应用程序容易受到中间人攻击。因此，除非有充分的理由，否则不建议在生产环境中禁用 SSL 证书验证。

此外，verify 参数也可以是一个字符串，指定一个文件路径，该文件包含多个受信任的SSL证书的路径。这允许你使用自定义的证书颁发机构的证书。
示例：

import requests

# 默认情况下，verify 为 True，将验证 SSL 证书
response = requests.get('https://example.com', verify=True)

# 禁用 SSL 证书验证
response = requests.get('https://example.com', verify=False)

# 使用自定义证书
response = requests.get('https://example.com', verify='path/to/custom/cert.pem')

在处理金融数据、用户个人信息或其他敏感数据时，确保 SSL 证书验证是启用的非常重要，以维护数据的安全性和完整性。

注意：在写爬虫的时候如果遇到SSL的错误，也就是证书检查，可以使用verify=False来忽略证书检查！
在这里插入图片描述
由于我们忽略了证书检查，所以每次运行都会有一个警告，忽略警告的代码如下：

# 导入请求模块
import requests
# 忽略警告
import urllib3
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36'
}

url = 'https://www.ypppt.com/moban/'

# 请求网址获得响应
res = requests.get(url, headers=headers, verify=False)
print(res.text)

在这里插入图片描述

☔解决乱码问题
从上面的截图可以看出，打印出来的内容有许多我们不认识的符号，比如：è½½_幻灯片模板下载 -【优å，这就是乱码造成的
我们可以通过改变编码方式来解决：

# 导入请求模块
import requests
# 忽略警告
import urllib3
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36'
}

url = 'https://www.ypppt.com/moban/'

# 请求网址获得响应
res = requests.get(url, headers=headers, verify=False)
# 编码改成utf-8
res.encoding = 'utf-8'
print(res.text)

在这里插入图片描述

🚲1. 获取下载页面链接

我们可以通过正则表达式来获取PPT的下载页面链接

Python 的 re 模块是一个用于正则表达式操作的内置库，它提供了丰富的功能来处理字符串和模式匹配。正则表达式是一种用于字符串搜索和操作的强大工具，它们使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。

re 模块的一些常用功能和方法：

  1. 模式匹配 (re.match(), re.search(), re.findall(), re.finditer(), re.match())：这些方法用于在字符串中查找与正则表达式模式相匹配的子串。
  2. 字符串替换 (re.sub(), re.subn())：用于替换字符串中的匹配项。
  3. 捕获组：正则表达式中的圆括号 () 用于创建捕获组，允许你捕获匹配表达式的部分内容。
  4. 编译正则表达式 (re.compile())：允许你编译一个正则表达式模式，然后使用编译后的模式进行匹配和其他操作。
  5. 特殊序列：如 \d 表示数字，\w 表示字母、数字或下划线，. 表示任意单个字符等。
  6. 量词：如 * 表示0次或多次，+ 表示1次或多次，? 表示0次或1次，{m,n} 表示m到n次。
  7. 贪婪与非贪婪：默认情况下，量词是贪婪的，尽可能多地匹配字符。添加一个问号 ? 可以使量词变为非贪婪的，尽可能少地匹配字符。
  8. 特殊字符转义：使用反斜杠 \ 来转义正则表达式中的特殊字符，如 . 匹配字面意义上的点（.）。
  9. 正则表达式标志：如 re.IGNORECASE 或 re.I 用于忽略大小写，re.MULTILINE 或 re.M 用于多行匹配。
# 导入请求模块
import requests
import re
# 忽略警告
import urllib3
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36'
}

url = 'https://www.ypppt.com/moban/'

# 请求网址获得响应
res = requests.get(url, headers=headers, verify=False)
# 提取数据
res.encoding = 'utf-8'  # 编码改成utf-8
# print(res.text)
pptId = re.findall('href="/article/.*?/(.*?).html" class="p-title"', res.text)
print(pptId)

在这里插入图片描述
👊构造PPT下载页面链接

for i in pptId:
    # 构造新的链接
    url = 'https://www.ypppt.com/p/d.php?aid=' + i
    print(url)

在这里插入图片描述
注意：构造出来的链接不是PPT的下载链接，这是PPT下载页面链接。

❤️1.2 第二个爬虫
for i in pptId:
    # 构造新的链接
    url1 = 'https://www.ypppt.com/p/d.php?aid=' + i
    # print(url)
    res1 = requests.get(url1, headers=headers, verify=False)
    print(res1.text)

在这里插入图片描述
在第二次请求的时候我们就可以获取PPT模版的下载地址，接下来就和上面的数据提取一样，利用正则表达式将我们的PPT下载链接提取出来即可。

for i in pptId:
    # 构造新的链接
    url1 = 'https://www.ypppt.com/p/d.php?aid=' + i
    # print(url)
    res1 = requests.get(url1, headers=headers, verify=False)
    # print(res1.text)
    # 提取数据
    down_url = re.findall('href="(.*?)">下载地址1</a>', res1.text)[0]
    print(down_url)

在这里插入图片描述
我们发现我们获取的链接的后缀名是不同的，另外这些PPT都是没有名字的，不方便后续保存。所以这里我们要修改一下，不单单只获取PPT的编号，还需要获取PPT的标题，根据标题等信息作为保存PPT模版的文件名。

ppt_info = re.findall('href="/article/.*?/(.*?).html" class="p-title" target="_blank">(.*?)</a>', res.text)
print(ppt_info)

在这里插入图片描述
可以看到得到的数据是一个列表嵌套这元组，直接通过循环获取ID和标题即可。

ppt_info = re.findall('href="/article/.*?/(.*?).html" class="p-title" target="_blank">(.*?)</a>', res.text)
for i, title in ppt_info:
    # 构造新的链接
    url1 = 'https://www.ypppt.com/p/d.php?aid=' + i
    res1 = requests.get(url1, headers=headers, verify=False)
    # print(res1.text)
    # 提取数据
    down_url = re.findall('href="(.*?)">下载地址1</a>', res1.text)[0]
    print(title, down_url)

在这里插入图片描述
对于链接的后缀名的不同，我们可以对链接以 . 进行切割，然后取最后一个就是他的后缀名。

suffix = down_url.split(".")[-1]  # 获取后缀名

在这里插入图片描述

🚲1.3 第三个爬虫
res2 = requests.get(down_url, headers=headers, verify=False)

通过第三次请求去下载PPT模版。

🎈2. 文件保存
open(f'PPT模版/{title}-{i}.{suffix}', 'wb').write(res2.content)

这里为了避免文件名相同，我们在标题的后面加上他们的id号，文件的后缀名就是我们获取到的后缀名。

❤️1.4 翻页处理

要进行翻页处理，我们只需要观察不同页数的url的变化规律即可。
在这里插入图片描述
我们发现，除了第一页的url外，从第二页开始，url都是规律变化的，那首先我们可以尝试一下在第一页的url后面加上list-1.html，看是否可以访问，如果可以就直接加上，如果不可以，那我们就单独判断一下就可以了。
在这里插入图片描述
可以发现，加上后这个链接是无法访问的，所以我们只能单独的进行判断。

page = 1  # 页数, 从第一页开始
while True:
    if page == 1:
        # 第一页
        url = 'https://www.ypppt.com/moban/'
    else:
        # 从第二页开始
        url = f'https://www.ypppt.com/moban/list-{page}.html'
    # 请求网址获得响应
    res = requests.get(url, headers=headers, verify=False)
    # 提取数据
    res.encoding = 'utf-8'  # 编码改成utf-8
    # print(res.text)
    ppt_info = re.findall('href="/article/.*?/(.*?).html" class="p-title" target="_blank">(.*?)</a>', res.text)
    for i, title in ppt_info:
        # 构造新的链接
        url1 = 'https://www.ypppt.com/p/d.php?aid=' + i
        res1 = requests.get(url1, headers=headers, verify=False)
        # print(res1.text)
        # 提取数据
        down_url = re.findall('href="(.*?)">下载地址1</a>', res1.text)[0]
        suffix = down_url.split(".")[-1]  # 获取后缀名
        res2 = requests.get(down_url, headers=headers, verify=False)
        open(f'PPT模版/{title}-{i}.{suffix}', 'wb').write(res2.content)
    page += 1  # 爬完之后页数+1

到这里其实还有一个问题没有解决，除了以链接下载PPT模版外，还有通过百度网盘链接下载的，这个由于有些复杂，另外通过网盘下载的模版数量很少，这里我们可以直接跳过不下载。

if 'pan.baidu' in down_url:  # 百度网盘下载
    continue
else:
    suffix = down_url.split('.')[-1]  # 获取后缀名

🔥二、完整代码

# 导入请求模块
import requests
import re
# 忽略警告
import urllib3
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36'
}

page = 1  # 页数, 从第一页开始
while True:
    if page == 1:
        # 第一页
        url = 'https://www.ypppt.com/moban/'
    else:
        # 从第二页开始
        url = f'https://www.ypppt.com/moban/list-{page}.html'
    # 请求网址获得响应
    res = requests.get(url, headers=headers, verify=False)
    # 提取数据
    res.encoding = 'utf-8'  # 编码改成utf-8
    # print(res.text)
    ppt_info = re.findall('href="/article/.*?/(.*?).html" class="p-title" target="_blank">(.*?)</a>', res.text)
    for i, title in ppt_info:
        # 构造新的链接
        url1 = 'https://www.ypppt.com/p/d.php?aid=' + i
        res1 = requests.get(url1, headers=headers, verify=False)
        # print(res1.text)
        # 提取数据
        down_url = re.findall('href="(.*?)">下载地址1</a>', res1.text)[0]
        if 'pan.baidu' in down_url:  # 百度网盘下载
            continue
        else:
            suffix = down_url.split('.')[-1]  # 获取后缀名
        res2 = requests.get(down_url, headers=headers, verify=False)
        open(f'PPT模版/{title}-{i}.{suffix}', 'wb').write(res2.content)
        print(f'已成功下载{title}-{i}.{suffix}')
    page += 1  # 爬完之后页数+1

在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/611500.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

大腾智能网站正式上线

大腾智能网站正式上线

4月30日&#xff0c;我们翘首以盼的时刻终于来临&#xff0c;大腾智能官网&#xff08;www.da-teng.com&#xff09;正式上线&#xff0c;我们对此感到无比兴奋和自豪&#xff01;此刻&#xff0c;我们诚挚地邀请每一位朋友&#xff0c;共同踏上这个全新的数字之旅&#xff0c;…
阅读更多...
从需求到实现的关键

从需求到实现的关键

版本封面 内容&#xff1a;产品logo&#xff0c;项目名称&#xff0c;所属公司&#xff0c;产品名称&#xff0c;文档类型&#xff0c;版本号&#xff0c;时间&#xff0c;相关人员&#xff08;最好说明下负责人&#xff09;。 作用&#xff1a; 突出重要信息&#xff0c;将…
阅读更多...
【软考高项】三十八、风险管理7个过程

【软考高项】三十八、风险管理7个过程

一、规划风险管理 1、定义、作用 定义&#xff1a;定义如何实施项目风险管理活动的过程作用&#xff1a;确保风险管理的水平、方法和可见度与项目风险程度相匹配&#xff0c;与对组织和其他干系人的重要程度相匹配 2、输入 项目管理计划 项目章程 项目文件 干系人登记册…
阅读更多...
debian10 (armbian) 配置CUPS 服务

debian10 (armbian) 配置CUPS 服务

更新apt apt-update安装相关软件 apt-get install ghostscript apt-get install dc apt-get install foomatic-db-engine apt-get install cups3.修改配置文件 nano /etc/cups/cupsd.conf Listen localhost:631改为 Listen 0.0.0.0:631 以下四段配置加入Allow All # Only li…
阅读更多...
中国地面气候资料日值数据获取方式

中国地面气候资料日值数据获取方式

数据简介 环境气象数据服务平台提供了全国大约2100个点位&#xff0c;2000年至2023年的逐日数据。包括气温、气压、湿度、风、降水等要素。 数据基于ECMWF reanalysis-era5-land、reanalysis-era5-single-levels 以及中国2100站点地面气候资料日值观测数据&#xff0c;使用机器…
阅读更多...
GAMMA Lab——知识图谱和LLM大模型

GAMMA Lab——知识图谱和LLM大模型

图机器学习的发展与分类 图基础模型 LLM基础模型 GNN LLM 前沿工作
阅读更多...
Box86源码解读记录

Box86源码解读记录

1. 背景说明 Github地址&#xff1a;https://github.com/ptitSeb/box86 官方推荐的视频教程&#xff1a;Box86/Box64视频教程网盘 2. 程序执行主体图 Box86版本: Box86 with Dynarec v0.3.4 主函数会执行一大堆的初始化工作&#xff0c;包括但不限于&#xff1a;BOX上下文 …
阅读更多...
Golang面向对象编程（一）

Golang面向对象编程（一）

文章目录 结构体基本介绍结构体定义方式创建结构体变量结构体内存对齐结构体类型转换字段的Tag标签 方法基本介绍方法的定义和调用方法调用的传参机制String方法 结构体 基本介绍 基本介绍 Go支持面向对象编程特性&#xff0c;包括封装、继承和多态&#xff0c;但Go中没有类&a…
阅读更多...
技术创作者在千帆AppBuilder中获得的极致体验

技术创作者在千帆AppBuilder中获得的极致体验

目录 前言 千帆AppBuilder简介 传统的技术文章写作方式 借助千帆AppBuilder提高写作质量和效率 千帆AppBuilder详细搭建步骤 1、注册百度智能云账号 2、登录百度智能云控制台 3、创建千帆AppBuilder应用 4、配置千帆AppBuilder应用 5、调试和发布千帆AppBuilder应用 …
阅读更多...
文章分享：《肿瘤DNA甲基化标志物检测及临床应用专家共识（2024版）》

文章分享：《肿瘤DNA甲基化标志物检测及临床应用专家共识（2024版）》

本文摘自于《肿瘤DNA甲基化标志物检测及临床应用专家共识&#xff08;2024版&#xff09;》 目录 1. DNA甲基化标志物概述 2 DNA甲基化标志物的临床检测 2.1 临床样本前处理注意事项 2.2 DNA甲基化标志物检测技术方法 2.2.1 DNA提取与纯化 2.2.2 DNA转化 2.2.3 DNA 甲基…
阅读更多...
综述列表（~2024.05.10）

综述列表（~2024.05.10）

&#xff08;进 Q 交流群&#xff1a;922230617 或加 VX&#xff1a;CV_EDPJ 进 V 交流群&#xff09; 每周末更新&#xff0c;完整版进群获取。 Q 群在群文件&#xff0c;VX 群每周末更新。
阅读更多...
day5Qt作业

day5Qt作业

服务器端 #include "widget.h" #include "ui_widget.h"Widget::Widget(QWidget *parent): QWidget(parent), ui(new Ui::Widget) {ui->setupUi(this);//准备组件&#xff0c;初始化组件状态this->setFixedSize(800,600);chatwidget new QListWidge…
阅读更多...
使用Matplotlib绘制正弦和余弦函数曲线

使用Matplotlib绘制正弦和余弦函数曲线

前言 在数据可视化领域&#xff0c;Matplotlib是一个功能强大的Python库&#xff0c;它允许用户创建各种静态、交互式和动画图形。本文将引导您通过一个简单的示例&#xff0c;学习如何使用Matplotlib绘制正弦和余弦函数曲线。 第一步&#xff1a;导入必要的库&#xff1a; …
阅读更多...
【智能优化算法】卷尾猴搜索算法(Capuchin search algorithm,CapSA)

【智能优化算法】卷尾猴搜索算法(Capuchin search algorithm,CapSA)

【智能优化算法】卷尾猴搜索算法(Capuchin search algorithm,CapSA)是期刊“NEURAL COMPUTING & APPLICATIONS”&#xff08;IF 6.0&#xff09;的2021年智能优化算法 01.引言 【智能优化算法】卷尾猴搜索算法(Capuchin search algorithm,CapSA)用于解决约束和全局优化问…
阅读更多...
【JVM】垃圾回收机制(Garbage Collection)

【JVM】垃圾回收机制(Garbage Collection)

目录 一、什么是垃圾回收&#xff1f; 二、为什么要有垃圾回收机制&#xff08;GC&#xff09;&#xff1f; 三、垃圾回收主要回收的内存区域 四、死亡对象的判断算法 a&#xff09;引用计数算法 b&#xff09;可达性分析算法 五、垃圾回收算法 a&#xff09;标记-清除…
阅读更多...
OSPF虚链路

OSPF虚链路

原理概述 通常情况下&#xff0c;一个OSPF网络的每个非骨干区域都必须与骨干区域通过ABR路由器直接连接&#xff0c;非骨干区域之间的通信都需要通过骨干区域进行中转。但在现实中&#xff0c;可能会因为各种条件限制&#xff0c;导致非骨干区域和骨干区域无法直接连接&#x…
阅读更多...
Redis缓存雪崩，击穿，穿透问题

Redis缓存雪崩，击穿，穿透问题

缓存雪崩、击穿、穿透、发生的背景 ​ 作者最近在写一个社区论坛项目&#xff0c;初始设想将论坛里用户发布的帖子内容存到数据库中&#xff0c;当用户访问论坛里的帖子时&#xff0c;帖子信息都从数据库中查。众所周知数据库的帖子数据是存在磁盘中的&#xff0c;而磁盘读写数…
阅读更多...
串口初始化自己独立的见解--第九天

串口初始化自己独立的见解--第九天

1.SM0,SM1 我们一般用 8位UART&#xff0c;波特率可变 &#xff08;方式1的工作方式&#xff09; SCON &#xff1a;SM2 一般不用&#xff0c;SM0 0 ,SM1 1 PCON : 有两位 我们不动它&#xff0c;不加速&#xff0c;初始值 TMOD&#xff1a;8位自动重装定时器&#xff0…
阅读更多...
ADS基础教程11 - TouchStone文件的导出及导入

ADS基础教程11 - TouchStone文件的导出及导入

目录 一、 T o u c h S t o n e 介绍 \color{#4285f4}{ \mathbf{ 一、TouchStone介绍}} 一、TouchStone介绍 二、文件导出、导入方式 \color{#4285f4}{ \mathbf{ 二、文件导出、导入方式}} 二、文件导出、导入方式1.原理图操作1&#xff09;原理图中导出2.原理图中导入 3.DDW中…
阅读更多...
Python图形复刻——绘制母亲节花束

Python图形复刻——绘制母亲节花束

各位小伙伴&#xff0c;好久不见&#xff0c;今天学习用Python绘制花束。 有一种爱&#xff0c;不求回报&#xff0c;有一种情&#xff0c;无私奉献&#xff0c;这就是母爱。祝天下妈妈节日快乐&#xff0c;幸福永远&#xff01; 图形展示&#xff1a; 代码展示&#xff1a; …
阅读更多...
最新文章

Copyright @ 2022~2023