python爬虫 - 爬取微博热搜数据

文章目录

  • python爬虫 -爬取微博热搜数据
    • 1. 第一步：安装requests库和BeautifulSoup库
    • 2. 第二步：获取爬虫所需的header和cookie
    • 3. 第三步：获取网页
    • 4. 第四步：解析网页
    • 5. 第五步：分析得到的信息，简化地址
    • 6. 第六步：爬取内容，清洗数据
    • 7. 爬取微博热搜的代码实例以及结果展示

python爬虫 -爬取微博热搜数据

python爬虫六部曲：

  • 第一步：安装requests库和BeautifulSoup库

  • 第二步：获取爬虫所需的header和cookie

  • 第三步：获取网页

  • 第四步：解析网页

  • 第五步：分析得到的信息，简化地址：

  • 第六步：爬取内容，清洗数据

1. 第一步：安装requests库和BeautifulSoup库

在程序中引用两个库的书写是这样的：

import requests
from bs4 import BeautifulSoup

以pycharm为例，在pycharm上安装这两个库的方法。在菜单【文件】–>【设置】->【项目】–>【Python解释器】中，在所选框中，点击软件包上的+号就可以进行查询插件安装了。有过编译器插件安装的hxd估计会比较好入手。具体情况就如下图所示。

2. 第二步：获取爬虫所需的header和cookie

以爬取微博热搜的爬虫程序为例。获取header和cookie是一个爬虫程序必须的，它直接决定了爬虫程序能不能准确的找到网页位置进行爬取。

  • 首先进入微博热搜的页面，按下F12，就会出现网页的js语言设计部分，找到网页上的Network部分。如下图所示：

在这里插入图片描述

  • 然后按下ctrl+R刷新页面，此时法线右边 NetWork 部分出现很多信息。

（如果进入后就有所需要的信息，就不用刷新了），当然刷新了也没啥问题。

在这里插入图片描述

  • 过滤网络信息，并拷贝其 cURL 信息 ，
    在 Network --> Filter 中，依据网址（https://s.weibo.com/top/summary）中的关键信息进行过滤，如： summary。 然后，我们浏览Name这部分，找到我们想要爬取的文件（网络信息），鼠标右键，选择copy，复制下网页的URL。

    过滤后，有效信息会少很多，如下所示。选中所需的条目，右键 --> Copy --> Copy as cURL

在这里插入图片描述

  • 利用工具 Convert curl commands to code https://curlconverter.com/python/ 进行转换

在这里插入图片描述

转换后信息如下图所示，选择【Copy to clipboard】，并黏贴到Pycharm开发环境中即可直接使用：

在这里插入图片描述

拷贝到 pycharm 中，可直接作为源代码使用：

在这里插入图片描述

3. 第三步：获取网页

通过requests.get() 即可获取网页内容：

response = requests.get('https://s.weibo.com/top/summary', cookies=cookies, headers=headers)
response.encoding = 'utf-8'
soup = BeautifulSoup(response.text, 'html.parser')
print(f'soup value= {soup}')

4. 第四步：解析网页

这个时候，我们需要回到网页： 【按下F12】–> 【找到网页的Elements部分 --> 【选中左上角的小框带箭头的标志】，进入【内容选择模式】，如下图，当点击（或鼠标移动到）对应网页内容时，这个时候网页就会自动在右边显示出你获取网页部分对应的代码。

在这里插入图片描述
在这里插入图片描述

在找到想要爬取的页面部分的网页内容后，在响应条目（如：“赵丽颖拍林更新”）上右键，退出【内容选择模式】。

然后将鼠标放置于 【Element】中对应的代码上，右键 -> copy --> selector。就如图所示。

在这里插入图片描述

在这里插入图片描述

5. 第五步：分析得到的信息，简化地址

黏贴到文本文件中信息如下：

#pl_top_realtimehot > table > tbody > tr:nth-child(6) > td.td-02

同理再黏贴:

#pl_top_realtimehot > table > tbody > tr:nth-child(8) > td.td-02 > a

其实刚才复制的selector就相当于网页上对应部分存放的地址。由于我们需要的是网页上的一类信息，所以我们需要对获取的地址进行分析，提取。

当然，就用那个地址也是可行的，就是只能获取到你选择的网页上的那部分内容。

可以发现几个地址有很多相同的地方，唯一不同的地方就是tr部分。由于tr是网页标签，后面的部分就是其补充的部分，也就是子类选择器。可以推断出，该类信息，就是存储在tr的子类中，我们直接对tr进行信息提取，就可以获取到该部分对应的所有信息。所以提炼后的地址为：

#pl_top_realtimehot > table > tbody > tr > td.td-02 > a

这个过程对js类语言有一定了解的hxd估计会更好处理。不过没有js类语言基础也没关系，主要步骤就是，保留相同的部分就行，慢慢的试，总会对的。

6. 第六步：爬取内容，清洗数据

这一步完成后，我们就可以直接爬取数据了。用一个标签存储上面提炼出的像地址一样的东西。标签就会拉取到我们想获得的网页内容。

# 爬取内容
content = "#pl_top_realtimehot > table > tbody > tr > td.td-02 > a"

之后我们就要soup和text过滤掉不必要的信息，比如js类语言，排除这类语言对于信息受众阅读的干扰。这样我们就成功的将信息，爬取下来了。

# 清洗数据
a = soup.select(content)

将数据存储到文件夹中，所以会有wirte带来的写的操作。想把数据保存在哪里，或者想怎么用，就看读者自己了。

# 数据存储
fo = open("./weibo_down.txt", 'a', encoding="utf-8")
for i in range(0,  len(a)):
    a[i] = a[i].text
    fo.write(a[i] + '\n')

fo.close()

7. 爬取微博热搜的代码实例以及结果展示


import os


import requests
from bs4 import BeautifulSoup


cookies = {
    'SUB': '_2AkMRSvbGf8NxqwFRmfsXyGPha4V-zwnEieKnFgcdJRMxHRl-yT9kqm0YtRB6OsrYKaj9W1OqyxFMGOF29qujP5sAwPq3',
    'SUBP': '0033WrSXqPxfM72-Ws9jqgMF55529P9D9WWLhNh6syZaoHGnqmVxPNW0',
    '_s_tentry': 'passport.weibo.com',
    'Apache': '5636807549833.777.1712749042101',
    'SINAGLOBAL': '5636807549833.777.1712749042101',
    'ULV': '1712749042117:1:1:1:5636807549833.777.1712749042101:',
}

headers = {
    'authority': 's.weibo.com',
    'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
    'accept-language': 'zh-CN,zh;q=0.9',
    'cache-control': 'max-age=0',
    # 'cookie': 'SUB=_2AkMRSvbGf8NxqwFRmfsXyGPha4V-zwnEieKnFgcdJRMxHRl-yT9kqm0YtRB6OsrYKaj9W1OqyxFMGOF29qujP5sAwPq3; SUBP=0033WrSXqPxfM72-Ws9jqgMF55529P9D9WWLhNh6syZaoHGnqmVxPNW0; _s_tentry=passport.weibo.com; Apache=5636807549833.777.1712749042101; SINAGLOBAL=5636807549833.777.1712749042101; ULV=1712749042117:1:1:1:5636807549833.777.1712749042101:',
    'referer': 'https://passport.weibo.com/',
    'sec-ch-ua': '"Not_A Brand";v="8", "Chromium";v="120", "Google Chrome";v="120"',
    'sec-ch-ua-mobile': '?0',
    'sec-ch-ua-platform': '"Linux"',
    'sec-fetch-dest': 'document',
    'sec-fetch-mode': 'navigate',
    'sec-fetch-site': 'same-site',
    'sec-fetch-user': '?1',
    'upgrade-insecure-requests': '1',
    'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
}

response = requests.get('https://s.weibo.com/top/summary', cookies=cookies, headers=headers)
response.encoding = 'utf-8'
soup = BeautifulSoup(response.text, 'html.parser')
print(f'soup value= {soup}')


# 爬取内容
content = "#pl_top_realtimehot > table > tbody > tr > td.td-02 > a"

# 清洗数据
a = soup.select(content)

# 数据存储
fo = open("./weibo_down.txt", 'a', encoding="utf-8")
for i in range(0,  len(a)):
    a[i] = a[i].text
    fo.write(a[i] + '\n')

fo.close()

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/558075.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

代码随想录阅读笔记-回溯【全排列 II】

代码随想录阅读笔记-回溯【全排列 II】

题目 给定一个可包含重复数字的序列 nums ，按任意顺序 返回所有不重复的全排列。 示例 1： 输入：nums [1,1,2]输出： [[1,1,2], [1,2,1], [2,1,1]] 示例 2： 输入：nums [1,2,3]输出：[[1,2,3],[1,…
阅读更多...
JVM 性能调优命令（jps,jinfo,jstat,jstack,jmap)

JVM 性能调优命令（jps,jinfo,jstat,jstack,jmap)

常用命令：jps、jinfo、jstat、jstack、jmap jps jps查看java进程及相关信息 jps -l 输出jar包路径，类全名 jps -m 输出main参数 jps -v 输出JVM参数jps命令示例 显示本机的Java虚拟机进程： # jps 15729 jar 92153 Jps 90267 Jstat显示主类…
阅读更多...
c 多文件编程

c 多文件编程

1.结构目录 声明类:用于声明方法,方便方法管理和调用； 实现类:用于实现声明的方法; 应用层:调用方法使用 写过java代码的兄弟们可以这么理解： 声明类 为service层 实现类 为serviceimpl层 应用层 为conlloter层 2.Dome 把函数声明放在头文件xxx.h中&…
阅读更多...
外包干了7个月，技术退步明显。。。。。

外包干了7个月，技术退步明显。。。。。

先说一下自己的情况，本科生，19年通过校招进入广州某软件公司，干了接近4年的功能测试，今年年初，感觉自己不能够在这样下去了，长时间呆在一个舒适的环境会让一个人堕落!而我已经在一个企业干了四年的功能测试…
阅读更多...
Spark01

Spark01

Spark01 一. Spark概述二. Spark环境部署 - Local三. Spark环境部署 - Standalone1. Standalone集群概述2. Standalone环境部署3. 测试环境 四. Spark环境部署 - Standalone-HA1. 安装部署Zookeeper1. 下载2. zookeeper安装3. 配置StandAlone-HA集群 五. Spark On YARN -- 重点…
阅读更多...
CSS 实现视差滚动效果

CSS 实现视差滚动效果

一、是什么 视差滚动（Parallax Scrolling）是指多层背景以不同的速度移动，形成立体的运动效果，带来非常出色的视觉体验 我们可以把网页解刨成：背景层、内容层、悬浮层 当滚动鼠标滑轮的时候，各个图层以不…
阅读更多...
Nuclei 减少漏报的使用小技巧

Nuclei 减少漏报的使用小技巧

在最近工作的渗透测试项目中发现Nuclei存在一个问题，就是相同的网站连续扫描多次会出现漏报的情况，此前没有注意过这个情况，所以写篇文章记录一下。 在此之前我的常用命令都是一把梭，有就有没有就继续其他测试 $ nuclei -u htt…
阅读更多...
锂电池寿命预测 | Matlab基于GRU门控循环单元的锂电池寿命预测

锂电池寿命预测 | Matlab基于GRU门控循环单元的锂电池寿命预测

目录 预测效果基本介绍程序设计参考资料 预测效果 基本介绍 锂电池寿命预测 | Matlab基于GRU门控循环单元的锂电池寿命预测 Matlab基于GRU的锂电池剩余寿命预测 基于GRU的锂电池剩余寿命预测（单变量） 运行环境Matlab2020及以上 锂电池的剩余寿命预测是…
阅读更多...
【简单介绍下K-means聚类算法】

【简单介绍下K-means聚类算法】

🌈个人主页: 程序员不想敲代码啊 🏆CSDN优质创作者，CSDN实力新星，CSDN博客专家 👍点赞⭐评论⭐收藏 🤝希望本文对您有所裨益，如有不足之处，欢迎在评论区提出指正，让我们共…
阅读更多...
​面试经典150题——从前序与中序遍历序列构造二叉树

​面试经典150题——从前序与中序遍历序列构造二叉树

​ 1. 题目描述 2. 题目分析与解析 二叉树的前序、中序和后序遍历 二叉树的前序、中序和后序遍历是树的三种基本遍历方式，它们是通过不同的顺序来访问树中的节点的。 前序遍历（Pre-order traversal）： 访问根节点 前序遍历左子树…
阅读更多...
Linux-Stunnel介绍

Linux-Stunnel介绍

1、定义 Stunnel是一个自由的跨平台软件，用于提供全局的TLS/SSL服务。针对本身无法进行TLS或SSL通信的客户端及服务器，Stunnel可提供安全的加密连接。该软件可在许多操作系统下运行，包括Unix-like系统，以及Windows。Stunnel依赖于…
阅读更多...
15、ESP32 BLE

15、ESP32 BLE

低功耗蓝牙： 低功耗蓝牙，简称 BLE，是蓝牙的省电版本。BLE 的主要应用是短距离传输少量数据（低带宽）。与经典蓝牙不同，BLE 始终保持睡眠模式，除非启动连接，这使得它消耗的功率非常低。…
阅读更多...
智能设备订购如何使药品供应链受益

智能设备订购如何使药品供应链受益

自从 Covid-19 大流行扰乱全球供应链以来，制药行业对增强弹性的需求变得比以往任何时候都更加重要。药品供应链已经开始数字化转型，采用新技术有助于确保药品和关键物资按时到达目的地并支持长期业务战略。其中一种解决方案是在移动设备上进行智能设备订…
阅读更多...
在 Ubuntu 12.10 安装 wxPython

在 Ubuntu 12.10 安装 wxPython

安装 wxPython 可以使用 pip 工具，但在 Ubuntu 12.10 上需要首先安装 wxPython 的依赖项。请注意，Ubuntu 12.10 已于2013年终止支持，建议升级到更高版本的 Ubuntu。以下是在 Ubuntu 12.10 上安装 wxPython 的一般步骤： 一、问题背…
阅读更多...
HTML学习笔记：（二）框架实例

HTML学习笔记：（二）框架实例

2、 框架实例 注意&#xff1a;frameset不能和body标签共存 <frameset>元素是用于创建框架页面的&#xff0c;它允许在一个浏览器窗口中显示多个HTML页面。然而&#xff0c;<frameset>是一种较旧的方式来构建网页&#xff0c;它不符合现代Web标准&#xff08;比如…
阅读更多...
【VTKExamples::Meshes】第 十四期 ExtractEdges

【VTKExamples::Meshes】第 十四期 ExtractEdges

很高兴在雪易的CSDN遇见你 VTK技术爱好者 QQ：870202403 公众号：VTK忠粉 前言 本文分享VTK样例ExtractEdges，并解析接口vtkExtractEdges，希望对各位小伙伴有所帮助！ 感谢各位小伙伴的点赞+关注，小易会继续努力分享，一起进步！ 你的点赞就是我的动力(＾Ｕ＾)ノ~…
阅读更多...
深入理解JAVA垃圾收集器CMS,G1工作流程原理 GC流程图 什么社会触发Minor GC？触发MinorGC过程。Full GC 过程。

深入理解JAVA垃圾收集器CMS,G1工作流程原理 GC流程图 什么社会触发Minor GC？触发MinorGC过程。Full GC 过程。

java CMS&#xff0c;G1垃圾收集器工作流程原理浅析 JVM内存空间基础知识点&#xff08;基于JDk1.8&#xff09; 1.方法区&#xff1a;逻辑概念&#xff0c;元空间&#xff0c;方法区主要用于存储类的信息、常量池、方法数据、方法代码等。方法区逻辑上属于堆的一部分&#xf…
阅读更多...
Github 2024-04-15 开源项目日报Top10

Github 2024-04-15 开源项目日报Top10

根据Github Trendings的统计，今日(2024-04-15统计)共有10个项目上榜。根据开发语言中项目的数量，汇总情况如下： 开发语言项目数量Python项目4TypeScript项目2HTML项目1JavaScript项目1C++项目1Rust项目1Mojo项目1Fooocus: 图像生成软件 创建周期：188 天开发语言：Python协议…
阅读更多...
Mathtype用法记录

Mathtype用法记录

常用写法 公式编号 给公式插入编号的方法 手动修改公式编号为指定值 例如编号(8.3.1)修改为(8.3.7)&#xff0c;即章、节号不变&#xff0c;公式序号改为7。 可修改编号的域代码&#xff0c;比如(8.3.1)的域代码为&#xff1a; { { MACROBUTTON MTPlaceRef \* MERGEFORMAT…
阅读更多...
【星瑞格】SinoDB国产数据库安装初体验及学习指南

【星瑞格】SinoDB国产数据库安装初体验及学习指南

今天和大家一起来看看一款来自福建的国产数据库——SinoDB。本人很早就听说过这款数据库&#xff0c;而且星瑞格公司就在同一栋办公楼。虽然以前就已经对这颗国产数据库有一定的了解&#xff0c;并没有真正的去使用一把。随着数据库国产化改造工作的推进&#xff0c;身边的客户…
阅读更多...
最新文章

Copyright @ 2022~2023