随笔：使用Python爬取知乎上相关问题的所有回答

项目中数据分析的需要自己从知乎某个专门的问题上爬数据，但众所周知，知乎的问题的显示方式有点胃疼（指滑动后下翻加载更多回答，还经常卡住），翻了翻网上的教程发现有的要么就是很老了要么就是付费的，本着开源共赢的原则，写一篇记录一下自己踩过的坑，也给后面人警醒。

阅读前必知：

  • 本文的方法是2023年10月的，如果过了时间太久可能就不管用了，请注意时效性；
  • 部分代码由GitHub Copliot完成，可能存在错误，但是结果应该没问题；
  • 代码写的比较辣鸡勿喷，解决方案也有点繁琐，但能用的方法就是好方法～

看之前参考了知乎这篇文章

方法1 使用Web scraper

Web scraper是一个很好用的轻量级的0代码爬虫工具，只需要安装chrome插件就可以使用，在google商店搜就可以了，按F12打开是这样的：

image

具体使用过程这里不再赘述，记得一定要先选块再选内容。这个的原理和selenium类似，模拟滚到顶端然后再收集，其实这个用来轻量级爬虫是很好的，但对我的任务来说（我的任务有2k多条回答），很容易滑不到顶端然后出现闪退的情况，这里附上我的sitemap，对回答较少的问题应该是可以使用的 ：

{"_id":"name","startUrl":["https://www.zhihu.com/question/xxxxxxxxx/answers/updated"],"selectors":[{"id":"block","parentSelectors":["_root"],"type":"SelectorElementScroll","selector":"div.List-item:nth-of-type(n+2)","multiple":true,"delay":2000,"elementLimit":2100},{"id":"content","parentSelectors":["block"],"type":"SelectorText","selector":"span[itemprop='text']","multiple":true,"regex":""},{"id":"user","parentSelectors":["block"],"type":"SelectorLink","selector":".AuthorInfo-name a","multiple":true,"linkType":"linkFromHref"},{"id":"date","parentSelectors":["block"],"type":"SelectorText",
"selector":".ContentItem-time span",
"multiple":true,"regex":""}]}

id就是名字（你这个任务的名字），然后url里面记得替换你要爬的问题id。

方法2 使用selenium

跟上面的原理差不多，滚动到最下面然后抓取页面，但跟上面存在相同的滚动满且卡顿、且知乎缓存导致爬不全的问题，这里也不多说直接附上代码，对小任务应该也是没问题的：

def scrape1(question_id):
    user_agents = [
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36',
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36',
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36'
    ]
    url = f'https://www.zhihu.com/question/{question_id}'  # 替换question_id
    # 创建一个Options对象，并设置headers
    options = Options()
    options.add_argument("user-agent=" + random.choice(user_agents))
    # 传入cookie
    cookies = json.load(open('cookie.json', 'r', encoding='utf-8'))

    # options.add_argument("--headless")
    # 创建WebDriver时传入options参数
    driver = webdriver.Chrome(options=options)
    driver.get(url)
    driver.delete_all_cookies()
    for cookie in cookies:
        driver.add_cookie(cookie)
    time.sleep(2)
    driver.refresh()
    time.sleep(5)  # 等待页面加载完成

      
    # items = []
    # question = driver.find_element(By.CSS_SELECTOR, 'div[class="QuestionPage"] meta[itemprop="name"]').get_attribute(
    #     'content')
    # while True:
    #     # 滚动到页面底部
    #     print('scrolling to bottom')
    #     driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    #     time.sleep(random.randint(5, 8))  # 等待页面加载新内容的时间，根据实际情况进行调整
    #
    #     # 如果找到了页面底部元素就停止加载
    #     try:
    #         driver.find_element(By.CSS_SELECTOR, 'button.Button.QuestionAnswers-answerButton')
    #         print('reached the end')
    #         break
    #     except:
    #         pass
    #
  
    html = driver.page_source

    # 解析HTML
    soup = BeautifulSoup(html, 'html.parser')

    # 获取所有回答的标签
    answers = soup.find_all('div', class_='List-item')

    df = pd.DataFrame()
    contents = []
    answer_ids = []
    driver.quit()

    for answer in answers:
        # 获取回答的文本内容
        content = answer.find('div', class_='RichContent-inner').get_text()
        contents.append(content)

    df['answer_id'] = answer_ids
    df['content'] = contents
    df.to_csv(f'{question_id}.csv', index=False, encoding='utf-8')

这里cookie自己准备，要么不好跳过最开始的登录过程。

方法3 使用requests配合beautiful soap

这也是我最后成功的方法，最主要的是支持断点接着工作（不用拖到底直接使用）

这里还参考了这篇文章：

https://blog.csdn.net/python03011/article/details/131307051?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522169813072516800188539007%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=169813072516800188539007&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2blogfirst_rank_ecpm_v1~times_rank-3-131307051-null-null.nonecase&utm_term=%E7%9F%A5%E4%B9%8E%E9%97%AE%E9%A2%98%E4%B8%8B%E6%89%80%E6%9C%89%E5%9B%9E%E7%AD%94&spm=1018.2226.3001.4450

原代码的核心代码是这样的：

#网址模板
template = 'https://www.zhihu.com/api/v4/questions/432119474/answers?include=data%5B*%5D.is_normal%2Cadmin_closed_comment%2Creward_info%2Cis_collapsed%2Cannotation_action%2Cannotation_detail%2Ccollapse_reason%2Cis_sticky%2Ccollapsed_by%2Csuggest_edit%2Ccomment_count%2Ccan_comment%2Ccontent%2Ceditable_content%2Cattachment%2Cvoteup_count%2Creshipment_settings%2Ccomment_permission%2Ccreated_time%2Cupdated_time%2Creview_info%2Crelevant_info%2Cquestion%2Cexcerpt%2Crelationship.is_authorized%2Cis_author%2Cvoting%2Cis_thanked%2Cis_nothelp%2Cis_labeled%2Cis_recognized%2Cpaid_info%2Cpaid_info_content%3Bdata%5B*%5D.mark_infos%5B*%5D.url%3Bdata%5B*%5D.author.follower_count%2Cbadge%5B*%5D.topics%3Bsettings.table_of_content.enabled%3B&offset={offset}&limit=5&sort_by=default&platform=desktop'

for page in range(1, 100):
    #对第page页进行访问
    url = template.format(offset=page)
    resp = requests.get(url, headers=headers)
    
    #解析定位第page页的数据
    for info in resp.json()['data']:
        author = info['author']
        Id = info['id']
        text = info['excerpt']
        data = {'author': author,
                'id': Id,
                'text': text}
        #存入csv
        writer.writerow(data)
        
    #降低爬虫对知乎的访问速度
    time.sleep(1)

但我试了下根本不符合我的要求，问题如下：

  • 目前知乎改版后，excerpt属性并不能得到完整的答案；
  • 目前知乎不用offset进行翻页了，而改用cursor，cursor很难找到规律，但实际上可以使用每个回答的next的指针。

成功思路

我的思路很简单，首先修改上面的代码获取answer_id，然后根据answer_id去爬每个对应的完整 回答。

首先说下模版网页如何获取。

我们点开我们想要的回答，刷新下找这个包：

[外链图片转存中…(img-pkPZH5Pz-1698149682893)]

这个就是我们要用的请求网址，可以看到offset一直是0，说明不管用了。

解决方法是先用一个起始的url0找到next：

import requests
import pandas as pd
import time

template = 'https://www.zhihu.com/api/v4/questions/30644408/feeds?cursor=1c4cacd45e70f24bd620bad51c605d59&include=data[*].is_normal,admin_closed_comment,reward_info,is_collapsed,annotation_action,annotation_detail,collapse_reason,is_sticky,collapsed_by,suggest_edit,comment_count,can_comment,content,editable_content,attachment,voteup_count,reshipment_settings,comment_permission,created_time,updated_time,review_info,relevant_info,question,excerpt,is_labeled,paid_info,paid_info_content,reaction_instruction,relationship.is_authorized,is_author,voting,is_thanked,is_nothelp;data[*].mark_infos[*].url;data[*].author.follower_count,vip_info,badge[*].topics;data[*].settings.table_of_content.enabled&limit=5&{offset}&order=default&platform=desktop&session_id=1698132896804376037'

df = pd.DataFrame()
# df有三列，answer_id和content以及创建日期
df['answer_id'] = []
df['content'] = []
df['created_time'] = []

answer_ids = []

headers = {'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'}

cookies = { 
# 填自己的z_0 cookie
    
}
# 第一条使用模版，后面的都是next来获取
url0 = template.format(offset=0)
resp0 = requests.get(url0, headers=headers,cookies=cookies)
for data in resp0.json()['data']:
        answer_id = data['target']['id']
        # 添加answer_id到df中
        answer_ids.append(answer_id)
next = resp0.json()['paging']['next']

for page in range(1,400):# 这里自己估算一下，每页是5条数据
    #对第page页进行访问
    resp = requests.get(next, headers=headers,cookies=cookies)
    print('正在爬取第' + str(page) + '页')
    
    for data in resp.json()['data']:
        answer_id = data['target']['id']
        # 添加answer_id到df中
        answer_ids.append(answer_id)
    next = resp.json()['paging']['next']
    time.sleep(3) # 这里是情况可快可慢
    
# 将answer_ids写入df
df['answer_id'] = answer_ids
df.to_csv('answer_id.csv', index=True)

这样就得到了我们需要的回答的answer_id。

第二步，根据answer_id爬内容：

from bs4 import BeautifulSoup
import pandas as pd
import random

contents = []

batch = 0
for answer_id in answer_ids:
    print('正在爬取answer_id为{answer_id}的数据'.format(answer_id=answer_id))
    url = 'https://www.zhihu.com/question/30644408/answer/{answer_id}'.format(answer_id=answer_id)
    try:
        resp = requests.get(url, headers=headers, cookies=cookies)
        soup = BeautifulSoup(resp.text, 'html.parser')
        # 查找content
        content = soup.find('div', class_='RichContent-inner').text
        contents.append(content)
        print(content)
    except Exception as e:
        print(f'爬取answer_id为{answer_id}的数据时出现异常：{e}')
        break
    
    time.sleep(random.randint(1,4))

    # 每爬取100个回答就保存一次数据,保存在不同的文件中
    
    if len(contents) % 100 == 0:
        new_data = {'answer_id': answer_ids[:len(contents)], 'content': contents}
        new_df = pd.DataFrame(new_data)
        new_df.to_csv(f'text_{batch}.csv', index=True)
        batch += 1

# new_data = {'answer_id': answer_ids[:len(contents)], 'content': contents}
# new_df = new_df.append(pd.DataFrame(new_data))
# new_df.to_csv('text1.csv', index=True)

这里爬100条保存一次，免得前功尽弃。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/105892.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

支付宝证书到期更新完整过程

支付宝证书到期更新完整过程

如果用户收到 支付宝公钥证书 到期通知后，可以根据如下指引更新证书 确认上传成功后就会生成新的证书，把新的证书替换到生产环境就可以了
阅读更多...
uniapp：谷歌地图，实现地图展示，搜索功能，H5导航

uniapp：谷歌地图，实现地图展示，搜索功能，H5导航

页面展示 APP H5 谷歌地图功能记录，谷歌key申请相对复杂一些，主要需要一些国外的身份信息。 1、申请谷歌key 以下是申请谷歌地图 API 密钥的流程教程： 登录谷歌开发者控制台：打开浏览器，访问 Google Cloud Platform Console。 1、创建或选择项目：如果你还没有创建项目…
阅读更多...
搭建docker本地仓库

搭建docker本地仓库

1.拉取私有仓库镜像 [rootmaster1 ~]# docker pull registry [rootmaster1 ~]# docker images REPOSITORY TAG IMAGE ID CREATED SIZE nginx v1 546db553f62a About an hour ago …
阅读更多...
Java数据类型，变量与运算符

Java数据类型，变量与运算符

1.字面常量 常量是在程序运行期间，固定不变的量称为常量。 public class HelloWorld{public static void main(String[] args){System.out.println("Hello,world");} } 在以上程序中，输出的Hello Word，其中的“Hello Word”就是…
阅读更多...
【STM32】GPIO控制LED（HAL库版）

【STM32】GPIO控制LED（HAL库版）

STM32最新固件库v3.5/Libraries/CMSIS/CM3/DeviceSupport/ST/STM32F10x/system_stm32f10x.c 林何/STM32F103C8 - 码云 - 开源中国 (gitee.com) STM32最新固件库v3.5/Libraries/STM32F10x_StdPeriph_Driver/src/stm32f10x_gpio.c 林何/STM32F103C8 - 码云 - 开源中国 (gitee.…
阅读更多...
如何进行渗透测试以提高软件安全性?

如何进行渗透测试以提高软件安全性?

对于各种规模的企业和组织来说，软件安全是一个至关重要的问题。随着网络攻击越来越复杂，软件中的漏洞越来越多，确保你的软件安全比以往任何时候都更重要。提高软件安全性的一个有效方法是渗透测试（penetration testing&#xff09…
阅读更多...
【AICFD案例操作】潜艇阻力AI预测分析

【AICFD案例操作】潜艇阻力AI预测分析

AICFD是由天洑软件自主研发的通用智能热流体仿真软件，用于高效解决能源动力、船舶海洋、电子设备和车辆运载等领域复杂的流动和传热问题。软件涵盖了从建模、仿真到结果处理完整仿真分析流程，帮助工业企业建立设计、仿真和优化相结合的一体化流程&#x…
阅读更多...
哪些场景需要额外注意线程安全问题

哪些场景需要额外注意线程安全问题

今天我们主要学习哪些场景需要额外注意线程安全问题，在这里总结了四种场景。 访问共享变量或资源 第一种场景是访问共享变量或共享资源的时候，典型的场景有访问共享对象的属性，访问 static 静态变量，访问共享的缓存，…
阅读更多...
Python爬虫网易云音乐，Tkinter制作音乐播放器

Python爬虫网易云音乐，Tkinter制作音乐播放器

目录 一、效果展示 二、环境 三、实现过程 四、源码 一、效果展示 页面的美化以及功能还有待升级~ 先来说一下已有功能吧： 可以在搜索框中通过歌曲或歌手名称进行搜索，效果和在网易云官网搜索一样。 点击开始下载，就会将搜索结果的第一…
阅读更多...
安装python虚拟环境

安装python虚拟环境

什么是虚拟环境： 虚拟环境的意义，就如同 虚拟机 一样，它可以实现不同环境中Python依赖包相互独立，互不干扰。 环境准备 安装python （到官网下载Download Python​配置环境变量，cmd进入命令行输入 python…
阅读更多...
Flutter——最详细(Scaffold)使用教程

Flutter——最详细(Scaffold)使用教程

Scaffold简介 相当于界面的主体（类似于安卓最外层PhoneWindow），组件的展示都必须依附于它。 使用场景： 每一个界面都是脚手架，通过它来进行架构实现，优美的布局效果。 属性作用appBar顶部的标题栏body显示整…
阅读更多...
磁盘监控：告警时发送邮件

磁盘监控：告警时发送邮件

1.配置邮箱 1.编辑邮箱配置文件 vim /etc/mail.rc2.在末尾输入自己的邮箱配置，以163邮箱为例 #开启ssl set ssl-verifyignore #证书目录，下方为centos系统证书默认位置，也自行生成证书并指定 set nss-config-dir/etc/pki/nssdb # 配置的第…
阅读更多...
一文知晓Linux文件权限

一文知晓Linux文件权限

🎈个人主页:🎈 :✨✨✨初阶牛✨✨✨ 🐻推荐专栏1: 🍔🍟🌯C语言初阶 🐻推荐专栏2: 🍔🍟🌯C语言进阶 🔑个人信条: 🌵知行合一 &#x1f…
阅读更多...
聚量推客滴滴学生认证app地推网推拉新升级啦

聚量推客滴滴学生认证app地推网推拉新升级啦

“聚量推客”滴滴学生认证项目升级 滴滴学生认证升级后分为微信推广版本和支付宝推广版本两种码 根据自己需要选择推广场景，适合地推和网推
阅读更多...
CSRF跨域请求伪造

CSRF跨域请求伪造

1.SSRF服务端请求伪造（外网访问内网） SSRF(Server-Side Request Forgery:服务器端请求伪造) 是一种由攻击者构造形成由服务端发起请求的一个安全漏洞。一般情况下，SSRF是要目标网站的内部系统。（因为他是从内部系统访问的&#xf…
阅读更多...
甲骨文真的要开放Java EE？

甲骨文真的要开放Java EE？

甲骨文表示，目前正在与可能的几个候选基金会，以及许可证持有者和社区在进行谈判。随着Java EE 8平台的确定，甲骨文在周四表示，目前正在考虑将Java Enterprise Edition技术转移到开源社区。 甲骨文在其博客中说道，这次的…
阅读更多...
【TES641】基于VU13P FPGA的4路FMC接口基带信号处理平台

【TES641】基于VU13P FPGA的4路FMC接口基带信号处理平台

板卡概述 TES641是一款基于Virtex UltraScale系列FPGA的高性能4路FMC接口基带信号处理平台，该平台采用1片Xilinx的Virtex UltraScale系列FPGA XCVU13P作为信号实时处理单元，该板卡具有4个FMC子卡接口（其中有2个为FMC接口）&#x…
阅读更多...
【App 抓包提示网络异常怎么破？】

【App 抓包提示网络异常怎么破？】

背景 当你测试App的时候，想要通过Fiddler/Charles等工具抓包看下https请求的数据情况，发现大部分的App都提示网络异常/无数据等等信息。以“贝壳找房”为例： 455 x 705 Fiddler中看到的请求是这样的： 619 x 215 你可能开始找证书的问题：是不是Fiddler/Charles的证书没有…
阅读更多...
解决提交到App Store时的ITMS-90478和ITMS-90062错误

解决提交到App Store时的ITMS-90478和ITMS-90062错误

解决提交到App Store时的ITMS-90478和ITMS-90062错误 目录 引言 正文 1. 什么是ITMS-90478和ITMS-90062错误？ 2. 解决方法 2.1 确定当前的版本号和构建号 2.2 递增版本号和构建号 2.3 再次尝试提交应用 总结 参考资料 错误记录 摘要：本文为iOS…
阅读更多...
基于Java的宠物商店管理系统设计与实现(源码+lw+部署文档+讲解等)

基于Java的宠物商店管理系统设计与实现(源码+lw+部署文档+讲解等)

文章目录 前言具体实现截图论文参考详细视频演示为什么选择我自己的网站自己的小程序（小蔡coding） 代码参考数据库参考源码获取 前言 💗博主介绍：✌全网粉丝10W,CSDN特邀作者、博客专家、CSDN新星计划导师、全栈领域优质创作者&am…
阅读更多...
最新文章

Copyright @ 2022~2023