b站视频标题的获取（xpath、jsonpath的一个简单应用）

目录

  • 1.目的
  • 2.代码的演示

注：该篇文章为本人原创，由于本人学习有限，若有错误或者笔误或者有问题，欢迎大家进行批评指正，谢谢。

1.目的

  在b站大学上，为了更好的写笔记，本人根据学到的Python(即Python入门(黑马)的学习笔记)与爬虫的知识（即Python爬虫的urlib的学习、Python爬虫的解析），使用xpath进行解析，获取到了b站视频的标题，具体步骤如下。若要直接阅读最终源代码，请直接看最后的一小部分。

2.代码的演示

  本次将以获取尚硅谷Python爬虫教程小白零基础速通的视频标题为例进行演示。
在这里插入图片描述
  在PyCharm中创建文件“b站视频标题的获取（xpath）.py”
在这里插入图片描述
  按F12打开检查，点击网络，清空网络中的接口，点击刷新，寻找含有视频标题的接口,将该接口的请求地址复制到PyCharm中。
在这里插入图片描述在这里插入图片描述
  如下编程，先确定能获取到网页源码。

"""
b站视频标题的获取（xpath）
"""
import urllib.request
import gzip
import io

# 1.获取网页源码
# 请求地址
url = 'https://www.bilibili.com/video/BV1Db4y1m7Ho/?p=51&vd_source=ffb19c330efad3ae5d7d43710d936b1f'
# 请求头
headers = {
    'Referer': 'https://dianying.taobao.com/',
}
# 请求对象定制
request = urllib.request.Request(url=url, headers=headers)
# 模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)

# 读取响应的内容
content_bytes = response.read()  # 从响应中读取的字节数据
#  响应内容是压缩的，需要解压         将压缩的字节数据解压并解码成UTF-8编码的字符串
content_io = io.BytesIO(content_bytes)  # 创建了一个io.BytesIO对象，用于将字节数据包装成类似文件对象的形式
# 使用gzip.GzipFile来解压缩数据      mode='rb'指定以二进制模式读取
with gzip.GzipFile(fileobj=content_io, mode='rb') as f:
    content = f.read().decode('utf-8')

print(content)  # 测试代码，用于验证是否获取到网页源码

在这里插入图片描述
  接着，需要寻找到xpath路径，并复制到PyCharm中。
在这里插入图片描述
  继续编程，发现按照该路径无法获取到内容。所以将获取到的网页源码保存为html文件，然后在html文件中不断使用搜索快捷键Ctr+F来协助我们找到xpath路径。

"""
b站视频标题的获取（xpath）
"""
import urllib.request
import gzip
import io
from lxml import etree

# 1.获取网页源码
# 请求地址
url = 'https://www.bilibili.com/video/BV1Db4y1m7Ho/?p=51&vd_source=ffb19c330efad3ae5d7d43710d936b1f'
# 请求头
headers = {
    'Referer': 'https://dianying.taobao.com/',
}
# 请求对象定制
request = urllib.request.Request(url=url, headers=headers)
# 模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)

# 读取响应的内容
content_bytes = response.read()  # 从响应中读取的字节数据
#  响应内容是压缩的，需要解压         将压缩的字节数据解压并解码成UTF-8编码的字符串
content_io = io.BytesIO(content_bytes)  # 创建了一个io.BytesIO对象，用于将字节数据包装成类似文件对象的形式
# 使用gzip.GzipFile来解压缩数据      mode='rb'指定以二进制模式读取
with gzip.GzipFile(fileobj=content_io, mode='rb') as f:
    content = f.read().decode('utf-8')

# print(content)  # 测试代码，用于验证是否获取到网页源码

# 将网页源码保存到文件“b站视频标题的获取（xpath）.html”中
with open('b站视频标题的获取（xpath）.html', 'w', encoding='UTF-8') as fp:
    fp.write(content)

# 2.获取视频标题
# 解析服务器响应的文件  etree.HTML
tree = etree.HTML(content)
# 获取想要的数据
# 失败路径，需要将网页源码导入html文件中，手动找  /html/body/div[2]/div[2]/div[2]/div/div[7]/div[2]/ul/li/a/div/div[1]/span[2]/text()
result = tree.xpath('/html/head[@itemprop="video"]/script[4]/text()')[0]  # 由于tree.xpath返回的是列表，需要使用切片[0]将它取出来
print(result)

在这里插入图片描述
  如图，发现将获取的内容就是json数据（本人使用的json解析网站为“https://c.runoob.com/front-end/53/”），只是多了一些东西，具体为“window.INITIAL_STATE=”、“;(function(){var s;(s=document.currentScript||document.scripts[document.scripts.length-1]).parentNode.removeChild(s);}());”。
在这里插入图片描述在这里插入图片描述在这里插入图片描述
  然后继续编程，将数据处理成json数据，然后根据json数据的层次获取到视频标题。
在这里插入图片描述

"""
b站视频标题的获取（xpath）
"""
import urllib.request
import gzip
import io
from lxml import etree
import json

# 1.获取网页源码
# 请求地址
url = 'https://www.bilibili.com/video/BV1Db4y1m7Ho/?p=51&vd_source=ffb19c330efad3ae5d7d43710d936b1f'
# 请求头
headers = {
    'Referer': 'https://dianying.taobao.com/',
}
# 请求对象定制
request = urllib.request.Request(url=url, headers=headers)
# 模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)

# 读取响应的内容
content_bytes = response.read()  # 从响应中读取的字节数据
#  响应内容是压缩的，需要解压         将压缩的字节数据解压并解码成UTF-8编码的字符串
content_io = io.BytesIO(content_bytes)  # 创建了一个io.BytesIO对象，用于将字节数据包装成类似文件对象的形式
# 使用gzip.GzipFile来解压缩数据      mode='rb'指定以二进制模式读取
with gzip.GzipFile(fileobj=content_io, mode='rb') as f:
    content = f.read().decode('utf-8')

# print(content)  # 测试代码，用于验证是否获取到网页源码

# # 将网页源码保存到文件“b站视频标题的获取（xpath）.html”中
# with open('b站视频标题的获取（xpath）.html', 'w', encoding='UTF-8') as fp:
#     fp.write(content)

# 2.获取视频标题
# 解析服务器响应的文件  etree.HTML
tree = etree.HTML(content)
# 获取想要的数据
# 失败路径，需要将网页源码导入html文件中，手动找  /html/body/div[2]/div[2]/div[2]/div/div[7]/div[2]/ul/li/a/div/div[1]/span[2]/text()
the_data = tree.xpath('/html/head[@itemprop="video"]/script[4]/text()')[0]  # 由于tree.xpath返回的是列表，需要使用切片[0]将它取出来
# print(the_data)  # 测试代码，验证xpath路径是否正确
the_json_data = the_data.split('__=')[1].split(';(function')[0]
# print(the_json_data)  # 测试代码，验证得到的json数据是否正确

# 将字符串json转换为python的字典
data_dict = json.loads(the_json_data)

# 根据json数据的层次结构获取视频的标题
the_temp_data = data_dict['videoData']['pages']
the_name_of_videos = []  # 用于存储视频的标题
for name in the_temp_data:
    the_name_of_videos.append(name['part'])

# 打印b站视频的标题
for name in the_name_of_videos:
    print(name)

在这里插入图片描述
  当然，json数据部分可使用jsonpath来解析，代码与运行结果如下。

"""
b站视频标题的获取（xpath）
"""
import urllib.request
import gzip
import io
from lxml import etree
import json
import jsonpath

# 1.获取网页源码
# 请求地址
url = 'https://www.bilibili.com/video/BV1Db4y1m7Ho/?p=51&vd_source=ffb19c330efad3ae5d7d43710d936b1f'
# 请求头
headers = {
    'Referer': 'https://dianying.taobao.com/',
}
# 请求对象定制
request = urllib.request.Request(url=url, headers=headers)
# 模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)

# 读取响应的内容
content_bytes = response.read()  # 从响应中读取的字节数据
#  响应内容是压缩的，需要解压         将压缩的字节数据解压并解码成UTF-8编码的字符串
content_io = io.BytesIO(content_bytes)  # 创建了一个io.BytesIO对象，用于将字节数据包装成类似文件对象的形式
# 使用gzip.GzipFile来解压缩数据      mode='rb'指定以二进制模式读取
with gzip.GzipFile(fileobj=content_io, mode='rb') as f:
    content = f.read().decode('utf-8')

# print(content)  # 测试代码，用于验证是否获取到网页源码

# # 将网页源码保存到文件“b站视频标题的获取（xpath）.html”中
# with open('b站视频标题的获取（xpath）.html', 'w', encoding='UTF-8') as fp:
#     fp.write(content)

# 2.获取视频标题
#（1）处理变成json数据
# 解析服务器响应的文件  etree.HTML
tree = etree.HTML(content)
# 获取想要的数据
# 失败路径，需要将网页源码导入html文件中，手动找  /html/body/div[2]/div[2]/div[2]/div/div[7]/div[2]/ul/li/a/div/div[1]/span[2]/text()
the_data = tree.xpath('/html/head[@itemprop="video"]/script[4]/text()')[0]  # 由于tree.xpath返回的是列表，需要使用切片[0]将它取出来
# print(the_data)  # 测试代码，验证xpath路径是否正确
the_json_data = the_data.split('__=')[1].split(';(function')[0]
# print(the_json_data)  # 测试代码，验证得到的json数据是否正确

# （2）处理json数据，得到视频的标题

# # 法1.使用切片
# # 将字符串json转换为python的字典
# data_dict = json.loads(the_json_data)
#
# # 根据json数据的层次结构获取视频的标题
# the_temp_data = data_dict['videoData']['pages']
# the_name_of_videos = []  # 用于存储视频的标题
# for name in the_temp_data:
#     the_name_of_videos.append(name['part'])

# 法2.使用jsonpath解析
the_name_of_videos=jsonpath.jsonpath(json.loads(the_json_data),'$.videoData.pages[*].part')

# 打印b站视频的标题
for name in the_name_of_videos:
    print(name)

在这里插入图片描述
  好了，本次的笔记到此结束，谢谢大家阅读。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/63787.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

element vue2 动态添加 select+tree

element vue2 动态添加 select+tree

难点在 1 添加一组一组的渲染 是往数组里push对象 循环的；但是要注意对象的结构! 因为这涉及到编辑完成后，表单提交时候的 校验！ 是校验每一个select tree里边 是否勾选 2 是在后期做编辑回显的时候 保证后端返回的值 是渲染到 select中的tr…
阅读更多...
C语言案例 按序输出多个整数-03

C语言案例 按序输出多个整数-03

难度2复杂度3 题目：输入多个整数，按从小到大的顺序输出 步骤一：定义程序的目标 编写一个C程序，随机输入整数，按照从小到大的顺序输出 步骤二：程序设计 整个C程序由三大模块组成，第一个模块使…
阅读更多...
实战项目——多功能电子时钟

实战项目——多功能电子时钟

一，项目要求 二，理论原理 通过按键来控制状态机的状态，在将状态值传送到各个模块进行驱动，在空闲状态下，数码管显示基础时钟，基础时钟是由7个计数器组合而成，当在ADJUST状态下可以调整时间&…
阅读更多...
AlexNet卷积神经网络-笔记

AlexNet卷积神经网络-笔记

AlexNet卷积神经网络-笔记 AlexNet卷积神经网络2012年提出 测试结果为： 通过运行结果可以发现， 在眼疾筛查数据集iChallenge-PM上使用AlexNet，loss能有效下降， 经过5个epoch的训练，在验证集上的准确率可以达到94%左右…
阅读更多...
电源控制--品质因素Q值全解

电源控制--品质因素Q值全解

什么是品质因素Q值？ 在电源控制中，品质因素 Q 值通常用于描述电源滤波器的性能。电源滤波器用于减小电源中的噪声和干扰，以提供干净稳定的电源供应给电子设备。 品质因素 Q 值在电源滤波器中表示滤波器的带宽和中心频率之比，用于…
阅读更多...
SpringBoot集成百度人脸识别实现登陆注册功能Demo（二）

SpringBoot集成百度人脸识别实现登陆注册功能Demo（二）

前言 上一篇SpringBoot集成百度人脸demo中我使用的是调用本机摄像头完成人脸注册，本次demo根据业务需求的不同我采用文件上传的方式实现人脸注册。 效果演示 注册 后端响应数据： 登录 后端响应数据： 项目结构 后端代码实现 1、BaiduAiUtil…
阅读更多...
【C++学习】STL容器——list

【C++学习】STL容器——list

目录 一、list的介绍及使用 1.1 list的介绍 1.2 list的使用 1.2.1 list的构造 1.2.2 list iterator的使用 1.2.3 list capacity 1.2.4 list element access 1.2.5 list modifiers 1.2.6 list 迭代器失效 二、list的模拟实现 2.1 模拟实现list 三、list和vector的对比…
阅读更多...
8月1日上课内容 第一章web基础与http协议

8月1日上课内容 第一章web基础与http协议

dns与域名 网络是基于tcp/ip协议进行通信和连接的 应用层--传输层---网络层----数据链路层-----物理层 ip地址，我们每一台主机都有一个唯一的地址标识(固定的ip地址)，区分用户和计算机通信。 ip地址:32位二进制数组成的，不方便记忆 192.168.…
阅读更多...
SpringMVC -- REST风格开发，RESTful快速开发、RESTful注解开发

SpringMVC -- REST风格开发，RESTful快速开发、RESTful注解开发

🐌个人主页： 🐌 叶落闲庭 💨我的专栏：💨 c语言 数据结构 javaweb 石可破也，而不可夺坚；丹可磨也，而不可夺赤。 REST 一、REST简介1.1REST风格简介 二、RESTful入门案例2.…
阅读更多...
绘制曲线python

绘制曲线python

文章目录 import matplotlib.pyplot as plt# 提供的数据 x= [1,1.1,1.2,1.3,1.4,1.5,1.6,1.7,1.8,1.9,2,2.1,2.2,2.3,2.4,2.5,2.6,2.7,2.8,2.9,3,3.1,3.2,3.3,3.4,3.5,3.6,3.7,3.8,3.9,4,4.1,4.2,4.3,4.4,4.5,4.6,4.7,4.8,4.9,5,5.1,5.2,5.3,5.4,5.5,5.6,5.7,5.8,5.9,6,6.1,6.2…
阅读更多...
门面模式（C++）

门面模式（C++）

定义 为子系统中的一组接口提供一个一致(稳定) 的界面，Facade模式定义了一个高层接口，这个接口使得这一子系统更加容易使用(复用)。 应用场景 上述A方案的问题在于组件的客户和组件中各种复杂的子系统有了过多的耦合，随着外部客户程序和各子…
阅读更多...
代码随想录算法训练营day55

代码随想录算法训练营day55

文章目录 Day55 判断子序列题目思路代码 不同的子序列题目思路代码 Day55 判断子序列 392. 判断子序列 - 力扣（LeetCode） 题目 给定字符串 s 和 t ，判断 s 是否为 t 的子序列。 字符串的一个子序列是原始字符串删除一些（也可以…
阅读更多...
java文件

java文件

一.File类 二.扫描指定目录，并找到名称中包含指定字符的所有普通文件（不包含目录），并且后续询问用户是否要删除该文件 我的代码: import java.io.File; import java.io.IOException; import java.util.Scanner;public class Tes…
阅读更多...
Excel功能总结

Excel功能总结

1）每一张表格上都打印表头 “页面布局”-->“打印标题”-->页面设置“工作表”页-->打印标题“顶端标题行” 如：固定第1~2行，设置成“$1:$2” 2）将页面内容打印在一页【缩印】 1.选好需要打印的区域，“页面布…
阅读更多...
数据结构 | 利用二叉堆实现优先级队列

数据结构 | 利用二叉堆实现优先级队列

目录 一、二叉堆的操作 二、二叉堆的实现 2.1 结构属性 2.2 堆的有序性 2.3 堆操作 队列有一个重要的变体，叫作优先级队列。和队列一样，优先级队列从头部移除元素，不过元素的逻辑顺序是由优先级决定的。优先级最高的元素在最前&#xff…
阅读更多...
全志D1-H （MQ-Pro）驱动 OV5640 摄像头

全志D1-H （MQ-Pro）驱动 OV5640 摄像头

内核配置 运行 m kernel_menuconfig 勾选下列驱动 Device Drivers ---><*> Multimedia support --->[*] V4L platform devices ---><*> Video Multiplexer[*] SUNXI platform devices ---><*> sunxi video input (camera csi/mipi…
阅读更多...
C++11 新特性 ---- 模板的优化

C++11 新特性 ---- 模板的优化

C11 模板机制:① 函数模板② 类模板模板的使用&#xff1a;① 范围&#xff1a;模板的声明或定义只能在全局或类范围进行&#xff0c;不可以在局部范围&#xff08;如函数&#xff09;② 目的&#xff1a;为了能够编写与类型无关的代码函数模板&#xff1a;- 格式&#xff1a;t…
阅读更多...
业余电台-滤波器的用法

业余电台-滤波器的用法

阅读更多...
软件工程：帕金森定律

软件工程：帕金森定律

在软件开发中&#xff0c;你是否遇到过这种情况&#xff1a; 团队要开发一个简单的购物车应用&#xff0c;项目预期时间是2周工期。负责开发的工程师默认利用完整的2周时间来完成任务。在第一周&#xff0c;工程师会认为任务很轻松&#xff0c;有充足的时间来完成任务&#xff…
阅读更多...
SPM(Swift Package Manager)开发及常见事项

SPM(Swift Package Manager)开发及常见事项

SPM怎么使用的不再赘述&#xff0c;其优点是Cocoapods这样的远古产物难以望其项背的&#xff0c;而且最重要的是可二进制化、对xcproj项目无侵入&#xff0c;除了网络之外简直就是为团队开发的项目库依赖最好的管理工具&#xff0c;是时候抛弃繁杂低下的cocoapods了。 一&…
阅读更多...
最新文章

Copyright @ 2022~2023