【Python爬虫三天从0到1】Day1：爬虫核心

目录

1.HTTP协议与WEB开发

（1）简介

（2）请求协议和响应协议

2. requests&反爬破解

（1）UA反爬

（2）referer反爬

（3）cookie反爬

3.请求参数

（1）get请求以及查询参数

（2）post请求以及请求体参数

4.爬虫图片和视频

（1）直接爬取媒体数据流

5.打码平台

获取验证码

打码平台：图鉴

1.模拟登陆（破解验证码）

2.抖音下载一个视频

f463957016464de6b313a31744930f2b.jpeg

1.HTTP协议与WEB开发

我们要知其然并知其所以然，在讲爬虫之前先把他的 “根” 说清楚

互联网是什么？

简单地说：互联网本身就是一种信息的分享和传递，我们上网的过程本质上就是一种下载资源的过程。

（1）简介

HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写，是用于万维网
(WWW：World Wide Web）服务器与本地浏览器之间传输超文本的传送协议。HTTP是一个属于应用层的面向对象的协议，由于其简捷、快速的方式，适用于分布式超媒体信息系统。它于1990年提出，经过几年的使用与发展，得到不断地完善和扩展。HTTP协议工作于客户端-服务端架构为上。浏览器作为HTTP客户端通过URL向HTTP服务端即WEB服务器发送所有请求。Web服务器根据接收到的请求后，向客户端发送响应信息。
815d219108254692862490019f8422e5.png

（2）请求协议和响应协议

http协议包含由浏览器发送数据到服务器需要遵循的请求协议与服务器发送数据到浏览器需要遵循的请求协议。用于HTTP协议交互的信被为HTTP报文。请求端(客户端)的HTTP报文 做请求报文,响应端(服务器端)的 做响应报文。HTTP报文本身是由多行数据构成的字文本。

be129ee9bb3c462d83ecbd08820ae37f.png

一个完整的URL包括：协议、ip、端口、路径、参数

URL：
https://www.baidu.com/s?wd=yuan
协议：//域名（IP）/路径？查询参数（a=1&b=2&c=3）

请求方式：get与post请求

  • GET提交的数据会放在URL之后，以?分割URL和传输数据，参数之间以&相连，如EditBook?name=test1&id=123456. POST方法是把提交的数据放在HTTP包的请求体中

  • GET提交的数据大小有限制（因为浏览器对URL的长度有限制），而POST方法提交的数据没有限制

响应状态码：状态码 是当客户端向服务器端发送请求时, 返回的请求结果。借助状态码，用户可以知道服务器端是正常 理了请求，还是出 现了 。状态码如200 OK,以3位数字和原因组成。

请求头：

  • Accept：能够接收的数据格式

  • Accept-Encoding：能够接收的压缩方式

  • User-Agent：客户端代理

  • Content-Type：指定发送的请求体数据的编码类型和格式。

2. requests&反爬破解

（1）UA反爬

73a7f533410b4df1917338f7c60edaac.png

import requests

url = 'https://www.baidu.com/'
my_headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36'
}

resp = requests.get(url, headers=my_headers)
# print(resp.status_code) # 响应状态码
# print(resp.headers) # 响应头
# print(resp.text) # 响应返回的内容

# 文档下载
with open('baidu.html', 'w', encoding='utf-8') as f:
    f.write(resp.text)

（2）referer反爬

两种请求：

  • text（html）
  • AJAX/json（html、css、js）

a1555502a72047958ba532346461d293.png

import requests

url = 'https://m.douban.com/rexxar/api/v2/movie/recommend?refresh=0&start=0&count=20&selected_categories=%7B%7D&uncollect=false&tags='
my_headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36',
    'Referer': 'https://movie.douban.com/explore'
}

resp = requests.get(url, headers=my_headers)
# print(resp.json())


with open('douban.json','w') as f:
    f.write(resp.text)

（3）cookie反爬

039641820bf042639f9810e6701137fe.png

import requests

url = 'https://stock.xueqiu.com/v5/stock/screener/quote/list.json?type=sha&order_by=percent&order=desc&size=10&page=1'
cookie='xq_a_token=e2f0876e8fd368a0be2b6d38a49ed2dd5eec7557; xqat=e2f0876e8fd368a0be2b6d38a49ed2dd5eec7557; xq_r_token=2a5b753b2db675b4ac36c938d20120660651116d; xq_id_token=eyJ0eXAiOiJKV1QiLCJhbGciOiJSUzI1NiJ9.eyJ1aWQiOi0xLCJpc3MiOiJ1YyIsImV4cCI6MTcwMDY5OTg3NSwiY3RtIjoxNjk4MjM4NzE0MTc3LCJjaWQiOiJkOWQwbjRBWnVwIn0.aqSRg4NSgDo_B0rpAi6IqTX6bgyfKElHCAOhVKAovoNkn7v2os2QhkK1A-1nw5GmGxPFIRIN63rdl_ucw7SFDtAKfXHq24XpmicjGTz-UA4Z0ec70opumo4apOqENC84064mCh21ODMI5stVImrWjWdMrsylJjAe8DpB0SiNbbYZeUdSHXY1XyyqR-WCVh58etJhusilb4HYS-ruAUVXspgzW8XF8Nehnplgrk0eVx1KK_Le6EYqKkqw0mGOlHd1T1Ft7bpjMn8VFwJ5LriDC9IGw-PFT6aTIHnR6Aw3-fAyGj0SK35zJcaxjYw9yNhJFGQvCow-zsyDxKcbvZisXQ; cookiesu=491698238770530; u=491698238770530; device_id=f19daf13250cbd45bc5ea0d7b699854b; Hm_lvt_1db88642e346389874251b5a1eded6e3=1698238794; s=aq11dck1v6; Hm_lpvt_1db88642e346389874251b5a1eded6e3=1698239089'

my_headers = {
    'User-Agent': 'https://stock.xueqiu.com/v5/stock/screener/quote/list.json?type=sha&order_by=percent&order=desc&size=10&page=1',
    'Referer': 'https://xueqiu.com/hq',
    'Cookie': cookie

}
resp=requests.get(url,headers=my_headers)

print(resp.text)


3.请求参数

（1）get请求以及查询参数

import requests

url = 'https://m.douban.com/rexxar/api/v2/movie/recommend'

my_headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36',
    'Referer': 'https://movie.douban.com/explore'
}

my_params = {
    'start': 0,
    'count': 60,
    'tags': '爱情'
}

resp = requests.get(url, headers=my_headers, params=my_params)
# print(resp.json())

with open('douban1.json','w') as f:
    f.write(resp.text)

（2）post请求以及请求体参数

d887fdf768f04a54a5d8bf09745b37ca.png

import  requests


url='https://aidemo.youdao.com/trans'

my_headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36',
    'Referer': 'https://ai.youdao.com/'
}

while 1:
    wd = input('请输入翻译的内容>>>')

    my_data={
        'q': wd,
        'from': 'Auto',
        'to': 'Auto'
    }

    resp = requests.post(url,headers=my_headers,data=my_data)
    print(resp.json().get('translation')[0])


4.爬虫图片和视频

（1）直接爬取媒体数据流

60c3b010217c48ec96b4a49b9194a987.png

import requests


resp=requests.get('https://pic.netbian.com/uploads/allimg/231012/200615-1697112375eae9.jpg')

print(resp.content) # 响应字节串
# print(resp.text) # 响应字符串

# 写文件
with open('meinv.png','wb') as f:
    f.write(resp.content)


5.打码平台

获取验证码

 先清空一下数据包

点击刷新验证码，找到携带验证码图片的数据包（可以预览一下）

试一下请求网址能否搜索到验证码，并刷新页面，看一下是否每次刷新验证码都会随之改变

编写爬虫代码，下载验证码

import requests

url = 'https://so.gushiwen.cn/RandCode.ashx?t=1698274193608?t=1698274440797?t=1698274448532'

resp = requests.get(url)

with open('code.png', 'wb') as f:
    f.write(resp.content)

看一下是否成功下载，并重新执行代码，看一下验证码是否刷新

打码平台：图鉴

点击开发文档

选择Python

分析一下脚本内容

import base64
import json
import requests
# 一、图片文字类型(默认 3 数英混合)：
# 1 : 纯数字
# 1001：纯数字2
# 2 : 纯英文
# 1002：纯英文2
# 3 : 数英混合
# 1003：数英混合2
#  4 : 闪动GIF
# 7 : 无感学习(独家)
# 11 : 计算题
# 1005:  快速计算题
# 16 : 汉字
# 32 : 通用文字识别(证件、单据)
# 66:  问答题
# 49 :recaptcha图片识别
# 二、图片旋转角度类型：
# 29 :  旋转类型
#
# 三、图片坐标点选类型：
# 19 :  1个坐标
# 20 :  3个坐标
# 21 :  3 ~ 5个坐标
# 22 :  5 ~ 8个坐标
# 27 :  1 ~ 4个坐标
# 48 : 轨迹类型
#
# 四、缺口识别
# 18 : 缺口识别（需要2张图 一张目标图一张缺口图）
# 33 : 单缺口识别（返回X轴坐标 只需要1张图）
# 五、拼图识别
# 53：拼图识别
def base64_api(uname, pwd, img, typeid):
    with open(img, 'rb') as f:
        base64_data = base64.b64encode(f.read())
        b64 = base64_data.decode()
    data = {"username": uname, "password": pwd, "typeid": typeid, "image": b64}
    result = json.loads(requests.post("http://api.ttshitu.com/predict", json=data).text)
    if result['success']:
        return result["data"]["result"]
    else:
        #！！！！！！！注意：返回 人工不足等 错误情况 请加逻辑处理防止脚本卡死 继续重新 识别
        return result["message"]
    return ""


if __name__ == "__main__":
    img_path = "C:/Users/Administrator/Desktop/file.jpg"
    result = base64_api(uname='你的账号', pwd='你的密码', img=img_path, typeid=3)
    print(result)

修改脚本参数

运行程序，对比运行结果和图片验证码是否一样


6.今日作业

1.模拟登陆（破解验证码）

要求：

  1. 目标网站：古诗文网

2.抖音下载一个视频

要求：

  1. 目标网站：抖音
  2. 用户：刘浩存

先清空一下数据包

2a7ac4de211d4fb798b604aaff5a4ea7.png

慢慢滑动下拉框，找到此种数据包

00b6996e60f64c9dbc81ba14406c815d.png

也可以筛选一下

fa25ce1002b344a59b680848727dd411.png

找到图片的绝对网址

fb95a2839cae43a382e185fb31583b31.png

试一下能否播放

939bd5b763894b87b7217157509780a3.png

编写爬虫代码，下载视频

import requests


resp=requests.get('http://v26-web.douyinvod.com/5e92b6ed6a4633b2470c7ccb7944af80/653941a0/video/tos/cn/tos-cn-ve-15-alinc2/03b58eaab171471c9751fef4792da4d2/?a=6383\u0026ch=10010\u0026cr=3\u0026dr=0\u0026lr=all\u0026cd=0%7C0%7C0%7C3\u0026cv=1\u0026br=936\u0026bt=936\u0026cs=0\u0026ds=4\u0026ft=bvTKJbQQqUisf_0ZPo0OW_EklpPiXXb0rFVJEFNiYRCPD-I\u0026mime_type=video_mp4\u0026qs=0\u0026rc=ZDRmZzU7Njo2NDplZmdpO0BpM3dnNmd0NWRneTMzNGkzM0BiYjI1XmM0NmMxYzRiLzEwYSM0ajRhMC5ncjZfLS1jLTBzcw%3D%3D\u0026btag=e00010000\u0026dy_q=1698247554\u0026l=20231025232554EFBDF4DD234ADE2761D5')

with open('liuhaocun.mp4','wb') as f:
    f.write(resp.content)

检查是否下载成功

aa756c6d4e2c4683b4034bbf86c35b7b.png

liuhaocun.mp4

本文所涉及的他人内容包括但不限于文字、图片、音频、视频等，来源于各个渠道和资源，并非本文作者原创。在使用他人内容时，本文作者已经尽力确保遵循适用的版权法律和相关规定，并尽力寻找和确认素材的合法来源。在此声明中的他人内容的使用，仅出于分享和传播信息的目的，并不代表本文作者对其内容的观点或立场进行支持或认可。本文作者对他人内容的准确性、完整性或时效性不承担责任，并且不保证这些素材没有侵犯任何第三方的知识产权。

素材来源：

  • 路飞学城
  • 等

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/108715.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

程序设计语言

程序设计语言

编译解释 传参还是传值 编译原理
阅读更多...
Centos使用tomcat部署jenkins

Centos使用tomcat部署jenkins

jenkins的最新版本已经不在支持jdk8，支持的jdk环境如下： 安装jdk环境 yum -y install java-11-openjdk.x86_64 java-11-openjdk-devel.x86_64安装tomcat tomcat官网 cd /optwget https://dlcdn.apache.org/tomcat/tomcat-9/v9.0.82/bin/apache-tomcat…
阅读更多...
大数据-Storm流式框架（七)---Storm事务

大数据-Storm流式框架（七)---Storm事务

storm 事务 需求 storm 对于保证消息处理，提供了最少一次的处理保证。最常见的问题是如果元组可以被 重发，可以用于计数吗？不会重复计数吗？ strom0.7.0 引入了事务性拓扑的概念，可以保证消息仅被严格的处理一次。因此可…
阅读更多...
leetCode 2578. 最小和分割 + 排序 + 贪心 + 奇偶分组（构造最优解）

leetCode 2578. 最小和分割 + 排序 + 贪心 + 奇偶分组（构造最优解）

2578. 最小和分割 - 力扣（LeetCode） 给你一个正整数 num ，请你将它分割成两个非负整数 num1 和 num2 ，满足： num1 和 num2 直接连起来，得到 num 各数位的一个排列。 换句话说，num1 和 num2 中所…
阅读更多...
黑客在Pwn2Own Toronto上以58个零日漏洞赚取超过100万美元

黑客在Pwn2Own Toronto上以58个零日漏洞赚取超过100万美元

Pwn2Own Toronto 2023黑客大赛已经圆满结束，安全研究人员通过攻击消费类产品的58个零日漏洞（以及多个漏洞碰撞）赚取了1,038,500美元。此次比赛由趋势科技的零日倡议（Zero Day Initiative，简称ZDI）组织&…
阅读更多...
目标检测及锚框、IoU

目标检测及锚框、IoU

文章目录 1. 目标检测2. 锚框3. IoU - 交并比4. 赋予锚框标号5. 使用非极大值抑制（NMS）输出 1. 目标检测 物体检测（目标检测）是计算机视觉和数字图像处理的热门方向，意在判断一幅图像上是否存在感兴趣物体&#xff0c…
阅读更多...
在pycharm中，远程操作服务器上的jupyter notebook

在pycharm中，远程操作服务器上的jupyter notebook

一、使用场景 现在我们有两台电脑，一台是拥有高算力的服务器，另一台是普通的轻薄笔记本电脑。如何在服务器上运行jupyter notebook，同时映射到笔记本电脑上的pycharm客户端中进行操作呢？ 二、软件 pycharm专业版，jupy…
阅读更多...
【Python · PyTorch】线性代数 微积分

【Python · PyTorch】线性代数 微积分

本文采用Python及PyTorch版本如下： Python：3.9.0 PyTorch：2.0.1cpu 本文为博主自用知识点提纲，无过于具体介绍，详细内容请参考其他文章。 线性代数 & 微积分 1. 线性代数1.1 基础1.1.1 标量1.1.2 向量长度&…
阅读更多...
【LeetCode】7. 整数反转

【LeetCode】7. 整数反转

题目链接 文章目录 Python3官方解法 ⟮ O ( ∣ x ∣ ) 、 O ( 1 ) ⟯ \lgroup O(|x|)、O(1)\rgroup ⟮O(∣x∣)、O(1)⟯写法2写法3 C官方解法 ⟮ O ( ∣ x ∣ ) 、 O ( 1 ) ⟯ \lgroup O(|x|)、O(1)\rgroup ⟮O(∣x∣)、O(1)⟯ Python3 官方解法 ⟮ O ( ∣ x ∣ ) 、 O ( 1…
阅读更多...
数据库调优（Mysql）

数据库调优（Mysql）

1 索引 索引是帮助数据库高效查询的一种数据结构： 查询语句：select * from t where t.Col2 89; 不加索引进行数据库查询时，每次都需要将所有数据遍历一次，直到找到符合目标的数据。 加上索引之后，可以根据数据结构不同…
阅读更多...
数据结构【DS】B树

数据结构【DS】B树

m阶B树的核心特性: Q：根节点的子树数范围是多少？关键字数的范围是多少？ A：根节点的子树数∈[2, m],关键字数∈[1, m-1]。 Q：其他结点的子树数范围是多少？关键字数范围是多少？ Q：对任…
阅读更多...
F5修复了允许远程代码执行攻击的BIG-IP认证绕过漏洞

F5修复了允许远程代码执行攻击的BIG-IP认证绕过漏洞

图片 导语 近日，网络安全公司Praetorian Security的研究人员发现了一项影响F5 BIG-IP配置工具的严重漏洞，该漏洞被命名为CVE-2023-46747。攻击者可以通过远程访问配置工具来执行未经身份验证的远程代码，从而对系统进行攻击。本文将详细介绍该…
阅读更多...
Linux(Centos7)操作记录

Linux(Centos7)操作记录

1、nginx -t #Nginx配置文件检查 上述截图代表检查没问题 上述截图检查配置文件配置错误，并提示错误文件位置 2、systemctl restart nginx #重启Nginx 重启Nginx失败 3、systemctl status nginx.service #查看Nginx服务状态 80端口被占导致服务启动失败 4、n…
阅读更多...
QT OpenGL （1）2D Painting Example

QT OpenGL （1）2D Painting Example

2D Painting Example 为方便查阅，此文是原网站文档翻译与整理，如有侵权，请与本人联系。 官网 目录 2D Painting Example概述Helper类定义Helper类实现Widget类定义Widget类实现GLWidget类定义GLWidget类实现Window 类定义Window 类实现运行示…
阅读更多...
STM32 PWM配置及呼吸灯

STM32 PWM配置及呼吸灯

PWM的英文全称是"Pulse Width Modulation"，中文翻译为"脉冲宽度调制"。 在PWM中可以调节的其实只有两个东西，一个叫做可调周期（调频率），另一个叫做占空比（高电平/周期）。 而…
阅读更多...
STM32F103的中断

STM32F103的中断

文章目录 STM32F103的NVICSTM32F103 的中断优先级分组 STM32F103的NVIC CM3 内核支持 256 个中断，其中包含了 16 个内核中断和 240 个外部中断，并且具有 256级的可编程中断设置。 CM3中每个中断通道都具备自己的8位中断优先级控制字节， 但ST…
阅读更多...
ArcGIS Maps SDK for JS：隐藏地图边框

ArcGIS Maps SDK for JS：隐藏地图边框

文章目录 1 问题描述2 解决方案 1 问题描述 近期，将ArcGIS Api for JS v4.16更新到了ArcGIS Maps SDK for JS v4.27，原本去除地图的css代码失效了。 v4.26及以前版本 ，需要用.esri-view-surface--inset-outline:focus::after 控制边框属性。…
阅读更多...
Vuex模块化（modules）与namespaced（命名空间）的搭配

Vuex模块化（modules）与namespaced（命名空间）的搭配

Vuex模块化（modules）与namespaced（命名空间）的搭配 Vuex模块化（modules）格式 原理：可以对Vuex的actions，mutations，state，getters四个属性综合成一个部分&a…
阅读更多...
假如我有一台服务器，我会让它提供三种服务

假如我有一台服务器，我会让它提供三种服务

一、提供照片上传、存储和下载服务 随着移动互联网时代的持续快速发展，PC互联网日益势微，各大互联网门户网站的博客、空间也跟着凋零， 作为博客、空间的标配功能的相册也随之被关闭。 2019年3月6日网易相册发布停运公告并于当年5月8日正式停…
阅读更多...
【Android】Android Framework系列---CarPower电源管理

【Android】Android Framework系列---CarPower电源管理

Android Framework系列—CarPower电源管理 智能座舱通常包括中控系统、仪表系统、IVI系统 、后排娱乐、HUD、车联网等。这些系统需要由汽车电源进行供电。由于汽车自身的特殊供电环境（相比手机方便的充电环境，汽车的蓄电池如果没有电是需要专业人士操作…
阅读更多...
最新文章

Copyright @ 2022~2023