【深度学习】Python爬取豆瓣实现影评分析

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

  • 前言
  • 一、任务描述
  • 二、使用步骤
    • 1.数据爬取
    • 1.2.对爬取的页面数据进行解析，并保存为JSON文件
    • 2、数据分析
    • 2.1数据分析之评论时间分布图
    • 2.2角色评分

前言

爬虫的过程，就是模仿浏览器的行为，往目标站点发送请求，接收服务器的响应数据，提取需要的信息，并进行保存的过程。

Python为爬虫的实现提供了工具:requests模块、BeautifulSoup库

一、任务描述

本次实践使用Python来爬取豆瓣网中《安家》下所有的评论，进行了一波分析，从观众的角度来了解这部电视剧。

数据获取：https://movie.douban.com/subject/30482003/reviews?sort=time&start=0

普通用户:

打开浏览器 --> 往目标站点发送请求 --> 接收响应数据 --> 渲染到页面上。

爬虫程序:

模拟浏览器 --> 往目标站点发送请求 --> 接收响应数据 --> 提取有用的数据 --> 保存到本地/数据库。

爬虫的过程：

1.发送请求（requests模块）

2.获取响应数据（服务器返回）

3.解析并提取数据（BeautifulSoup查找或者re正则）

4.保存数据

request模块：

requests是python实现的简单易用的HTTP库，官网地址：http://cn.python-requests.org/zh_CN/latest/

requests.get(url)可以发送一个http get请求，返回服务器响应内容。


BeautifulSoup库：

BeautifulSoup 是一个可以从HTML或XML文件中提取数据的Python库。网址：https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/

BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,其中一个是 lxml。

BeautifulSoup(markup, "html.parser")或者BeautifulSoup(markup, "lxml")，推荐使用lxml作为解析器,因为效率更高。

二、使用步骤

# 如果需要进行持久化安装, 需要使用持久化路径, 如下方代码示例:
!mkdir /home/aistudio/external-libraries
!pip install beautifulsoup4 -t /home/aistudio/external-libraries
!pip install lxml -t /home/aistudio/external-libraries
!pip install xgboost==1.1.0 -t /home/aistudio/external-libraries
!pip install wordcloud -t /home/aistudio/external-libraries

# 同时添加如下代码, 这样每次环境(kernel)启动的时候只要运行下方代码即可:
import sys
sys.path.append('/home/aistudio/external-libraries')

1.数据爬取

代码如下（示例）：

import json
import re
import requests
from bs4 import BeautifulSoup


def crawl_data(crawl_url):
    '''
    爬取豆瓣《安家》影评信息，返回response,并进行解析
    '''
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36'
    }
    
    url = 'https://movie.douban.com/subject/30482003/reviews'+crawl_url
    try:
        response = requests.get(url, headers=headers)
        print(response.status_code)     
        parse(response)
    except Exception as e:
        print(e)

1.2.对爬取的页面数据进行解析，并保存为JSON文件

代码如下（示例）：

item_list = []
def parse(response):
    '''
    解析爬取的网页内容
    '''
    soup = BeautifulSoup(response.text, 'html.parser')
    review_list = soup.find_all('div', class_='main review-item')

    for review_div in review_list:
        author = review_div.find('a', class_='name').text.strip()
        author = str_format(author)

        pub_time = review_div.find('span', class_='main-meta').text.strip()

        rating = review_div.find('span', class_='main-title-rating')
        if rating:
            rating = rating.get('title')
        else:
            rating = ""

        title = review_div.find('div', class_='main-bd').find('a').text.strip()

        is_unfold = review_div.find('a', class_='unfold')
        if is_unfold:
            review_id = review_div.find('div', class_='review-short').get('data-rid')
            content = get_fold_content(review_id)
        else:
            content = review_div.find('div', class_='short-content').text.strip()

        if content:
            content = re.sub(r"\s", '', content)

        item = {
            "author": author,
            "pub_time": pub_time,
            "rating": rating,
            "title": title,
            "content": content
        }
        print(item["title"])
        item_list.append(item)

    next_url = soup.find('span', class_='next').find('a')

    if next_url:
        crawl_data(next_url.get('href'))
    else:
        save_json()


def get_fold_content(review_id):
    '''
    根据评论id，获取被折叠的评论内容
    '''
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36'
    }
    url = "https://movie.douban.com/j/review/{}/full".format(review_id)

    resp = requests.get(url, headers=headers)
    data = resp.json()

    content = data['html']
    content = re.sub(r"(<.+?>)", "", content)

    content = str_format(content)
    return content


def str_format(line):
    '''
    去除content中特殊字符，单引号、双引号、反斜杠
    '''
    error_list = ['\'', '\"', '\\', ',']
    for c in line:
        if c in error_list:
            line = line.replace(c, '')
    return line


def save_json():
    '''
    将爬取的数据保存为JSON文件
    '''
    with open('work/review.json', 'w', encoding='UTF-8') as f:
        json.dump(item_list, f, ensure_ascii=False)

    print("爬取完成，共爬取%d条数据" % len(item_list))


if __name__ == '__main__':
    start_url = '?sort=time&start=0'

    crawl_data(start_url)

    #将所爬取的数据，保存为JSON文件
    json_data = json.loads(str(item_list).replace("'",'"').replace("\\",""))
    with open('work/reviews.json', 'a', encoding='UTF-8') as f:        
        json.dump(item_list, f, ensure_ascii=False)

    print("爬取完成，共爬取%d条数据"% len(item_list))

在这里插入图片描述

2、数据分析

代码如下（示例）：

# 下载中文字体
!wget http://d.xiazaiziti.com/en_fonts/fonts/s/SimHei.ttf

# 将字体文件复制到matplotlib字体路径
!cp SimHei.ttf /opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/matplotlib/mpl-data/fonts/ttf/
# 创建系统字体文件路径
!mkdir .fonts
# 复制文件到该路径
!cp SimHei.ttf .fonts/
!rm -rf .cache/matplotlib

!pip install wordcloud

在这里插入图片描述

import json
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from matplotlib.font_manager import FontProperties
from matplotlib import cm
import seaborn as sns
import jieba
import collections
import wordcloud

with open('work/review.json', 'r', encoding='UTF-8') as file:
    item_list = json.loads(file.read().replace("}][{","},{"))

review_df = pd.DataFrame(item_list,columns=['author','pub_time','rating','title','content'])
print(review_df)

# # 删除缺失数值
review_df.dropna(inplace=True)

# 将缺失的评论情况设置为"放弃"
review_df.loc[review_df['rating']=='','rating'] = '放弃' 

# # 将字符串格式的时间转换为datatime类型
review_df['pub_time'] = pd.to_datetime(review_df['pub_time'])
print(review_df)

在这里插入图片描述

#按照评分进行聚合
grouped=review_df['author'].groupby(review_df['rating'])
grouped_count = grouped.count()
print(grouped_count)

plt.figure(figsize=(10,5))
plt.bar(range(len(grouped_count.index)), grouped_count.values,color=['b','r','g','y','c','m',])
plt.xticks(range(len(grouped_count.index)),grouped_count.index,fontsize=15)
plt.yticks(fontsize=15)
plt.savefig('/home/aistudio/work/05.jpg')
plt.show()

在这里插入图片描述

# 分析评论日期 
import re
from matplotlib import dates
#显示matplotlib生成的图形
%matplotlib inline

#添加一个索引“pub_date”，存储评论日期（2020年2月到3月期间）
review_df['pub_date'] = review_df['pub_time'].dt.date

review_df = review_df[pd.to_datetime(review_df['pub_date']).dt.year==2020]
review_df = review_df[pd.to_datetime(review_df['pub_date']).dt.month>1]
review_df = review_df[pd.to_datetime(review_df['pub_date']).dt.month<4]

# 根据评论日期进行聚合
review_date_df = review_df['author'].groupby(review_df['pub_date'])
review_date_df = review_date_df.count()
# print(review_date_df.index)
# print(review_date_df.values)

#创建一个画布，指定宽、高
plt.figure(figsize=(20,10))

#设置显示中文
plt.rcParams['font.sans-serif'] = ['FZSongYi-Z13S'] # 指定默认字体

#绘制折线图
plt.plot(review_date_df.index.to_numpy(), review_date_df.values, marker='o')

#配置横坐标
plt.gca().xaxis.set_major_formatter(dates.DateFormatter("%m-%d"))

#这里是调节坐标的倾斜度，rotation是度数，以及设置刻度字体大小
plt.xticks(review_date_df.index.to_numpy(),rotation=45,fontsize=15)
plt.yticks(fontsize=15)

#配置坐标标题
plt.xlabel("发布日期",fontsize=15)
plt.ylabel("评论数量",fontsize=15)
#网格化
plt.grid()
#保存图形
plt.savefig('/home/aistudio/work/01.jpg')
#显示图形
plt.show()

在这里插入图片描述

2.1数据分析之评论时间分布图

import datetime
# 指定多个时间区间
time_range = [0, 2, 4, 6, 8, 10, 12, 14, 16, 18, 20, 22, 24]
# 提取评论的小时信息
review_df['pub_hour'] = review_df['pub_time'].dt.hour
# 根据时间区间进行分组并统计数量
review_hour_range_df = review_df.groupby(pd.cut(review_df['pub_hour'], time_range)).size()
# 创建一个画布，指定宽、高
plt.figure(figsize=(10, 5))
# 绘制柱状图
plt.bar(range(len(review_hour_range_df)), review_hour_range_df.values)
# 配置横坐标刻度
plt.xticks(range(len(review_hour_range_df)), review_hour_range_df.index, fontsize=12, rotation=45)
# 配置坐标标题和刻度
plt.xlabel("评论时间区间", fontsize=15)
plt.ylabel("评论数量", fontsize=15)
plt.yticks(fontsize=12)
# 网格化
# plt.grid()
# 保存图形
plt.savefig('work/03.jpg')
# 显示图形
plt.show()

在这里插入图片描述

2.2角色评分

# # 电视剧人物的评分
# # 力荐：+5，推荐：+4，还行：3，较差：2，很差：1
# roles = {'房似锦':0,'徐文昌':0,'张乘乘':0,'王子健':0,'楼山关':0,'朱闪闪':0,
# '谢亭丰':0,'鱼化龙':0,'宫蓓蓓':0,'阚文涛':0}
# 定义角色评分字典
roles = {'房似锦': 3, '徐文昌': 0, '张乘乘': 2, '王子健': 4, '楼山关': 1, '朱闪闪': 3,
        '谢亭丰': 0, '鱼化龙': 2, '宫蓓蓓': 0, '阚文涛': 1}
# 遍历每条评论
for index, row in review_df.iterrows():
    rating = int(row['rating']) if row['rating'].isdigit() else 0 # 将评分转换为整型，非数字的评分设为0
    content = row['content']
    # 统计每个角色在评论中出现的次数
    for role in roles.keys():
        count = content.count(role)
        roles[role] += count * rating
# 打印角色评分结果
for role, score in roles.items():
    print(f"{role}的评分：{score}")
# 绘制角色评分柱状图
plt.figure(figsize=(10, 5))
plt.bar(roles.keys(), roles.values())
plt.xlabel("角色")
plt.ylabel("评分")
plt.xticks(rotation=45)
plt.savefig('work/04.jpg')
plt.show()

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/124990.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

简洁的 Markdown 文本编辑器 Typora

简洁的 Markdown 文本编辑器 Typora

文章目录 简介块元素段落和换行符标题引用文字列表任务列表&#xff08;栅栏式&#xff09;代码块数学块表格脚注水平线YAML Front Matter目录 (TOC)图表 (Sequence, Flowchart and Mermaid) Span 元素链接内部链接参考链接 URL网址图片强调&#xff08;斜体&#xff09;粗体代…
阅读更多...
JavaFX入门和网格布局面板的使用，Dao层交互，舞台与场景切换以及其他控件的使用

JavaFX入门和网格布局面板的使用，Dao层交互，舞台与场景切换以及其他控件的使用

网格布局 将整个面板划分为若干个格子 , 每个格子的大小是一样的 , 每个格子中可以放置一个控件&#xff08;布局&#xff09; , 类似于表格的方式。在网格布局 中放入控件的时候 , 还需要指定位置。 GridPane gridPane new GridPane(); 我们将要排出这个布局 , 也就是登陆页…
阅读更多...
【k8s】数据存储

【k8s】数据存储

一、数据存储的概念 pod的生命周期可能很短&#xff0c;会被频繁地创建和销毁。那么容器在销毁时&#xff0c;保存在容器中的数据也会被清除。这种结果对用户来说&#xff0c;在某些情况下是不乐意看到的。为了持久化保存容器的数据&#xff0c;kubernetes引入了Volume的概念。…
阅读更多...
考研408-计算机网络 第二章-物理层学习笔记及习题

考研408-计算机网络 第二章-物理层学习笔记及习题

第二章 物理层 一 通信基础 1.1 物理层基本概念 1.1.1 认识物理层 物理层目的&#xff1a;解决如何在连接各种计算机的传输媒体上传输数据比特流&#xff0c;而不是具体的传输媒体。 物理层主要任务&#xff1a;确认与传输媒体接口有关的一些特性&#xff0c;需要进行定义标…
阅读更多...
几种解决mfc140.dll文件缺失的方法，电脑提示mfc140.dll怎么办

几种解决mfc140.dll文件缺失的方法，电脑提示mfc140.dll怎么办

电脑提示mfc140.dll缺失&#xff0c;如果你不去处理的话&#xff0c;那么你的程序游戏什么都是启动不了的&#xff0c;如果你想知道有什么方法可以解决那么可以参考这篇文章进行解决&#xff0c;今天给大家几种解决mfc140.dll文件缺失的方法。电脑提示mfc140.dll也不用担心解决…
阅读更多...
每日一题 --- 力扣2003—每棵子树内缺失的最小基因值

每日一题 --- 力扣2003—每棵子树内缺失的最小基因值

图片借用B站灵茶山文艾府 打卡代码&#xff08;记得看&#xff0c;有注释&#xff09;&#xff1a; class Solution { public:vector<int> smallestMissingValueSubtree(vector<int> &parents, vector<int> &nums) {int n parents.size();vector&l…
阅读更多...
pytorch与cudatoolkit,cudnn对应关系及安装相应的版本

pytorch与cudatoolkit,cudnn对应关系及安装相应的版本

文章目录 一.cuda安装二、nvidia 驱动和cuda runtime 版本对应关系三、安装cudatoolkit,cudnn对应版本四、cuda11.2版本的对应安装的pytorch版本及安装五、相关参考 一.cuda安装 1.确定当前平台cuda可以安装的版本 安装好显卡驱动后&#xff0c;使用nvidia-smi命令可以查看这个…
阅读更多...
为什么很多人从FPGA转IC前端岗?哪个前景好？

为什么很多人从FPGA转IC前端岗?哪个前景好？

很多入行不久的朋友潜意识里会认为FPGA是很高深的东西&#xff0c;能掌握FPGA的一定都是极其厉害的人。 其实&#xff0c;这是一个误解。 我们所讨论的FPGA只是基于已有的FPGA芯片去做后端排列组合的工作内容&#xff0c;而不是设计制造新的FPGA芯片&#xff0c;世界上能做这…
阅读更多...
Blocking waiting for file lock on the registry index 问题解决

Blocking waiting for file lock on the registry index 问题解决

问题表现&#xff1a; cargo build时一直卡在Blocking waiting for file lock on the registry index。 解决方法&#xff1a; 1、之前在linux下出现过一次&#xff0c;采用这种方法解决了&#xff1a;rust - Cargo build hangs with " Blocking waiting for file lock…
阅读更多...
图扑智慧农业：农林牧数据可视化监控平台

图扑智慧农业：农林牧数据可视化监控平台

数字农业是一种现代农业方式&#xff0c;它将信息作为农业生产的重要元素&#xff0c;并利用现代信息技术进行农业生产过程的实时可视化、数字化设计和信息化管理。能将信息技术与农业生产的各个环节有机融合&#xff0c;对于改造传统农业和改变农业生产方式具有重要意义。 图…
阅读更多...
[Linux/UOS]同一解决方案下的控制台程序依赖SO库的方法

[Linux/UOS]同一解决方案下的控制台程序依赖SO库的方法

该方法是基于VS2019的远程调试Linux的方案&#xff0c;使用的是UOS系统&#xff0c;本文不会去详述如何远程调试Linux和如何新建解决方案中的.so项目和.out项目 只关注于如何令.out项目依赖.so&#xff0c;并成功调用运行 以一个如上图结构的解决方案为例子&#xff0c;SysInfo…
阅读更多...
Unity 如何查看编译的耗时？

Unity 如何查看编译的耗时？

Unity 如何查看编译的耗时&#xff1f; 关键词: 编译、脚本、编辑器、静态类、程序集、函数、命名空间、构造函数、回调方法、注册时间、注册方法 文字记录: hello&#xff0c;大家好&#xff0c;今天和大家分享一下Unity项目如何查看编译的时间&#xff0c;或者说是编译的耗…
阅读更多...
Java学习_day08_finalnativeabstract接口

Java学习_day08_finalnativeabstract接口

文章目录 final关键字注意 native关键字abstract关键字抽象类定义继承 接口定义实现 final关键字 final关键字表示常量&#xff0c;其值在程序运行期间不会改变。 final用来修饰变量&#xff0c;可以是静态变量&#xff0c;也可以是成员变量&#xff0c;也可以是局部变量&…
阅读更多...
5G-DFS最新动态-产品不在需要走FCC官方测试

5G-DFS最新动态-产品不在需要走FCC官方测试

添加图片注释&#xff0c;不超过 140 字&#xff08;可选&#xff09; 最近&#xff0c;FCC公布了最新版本的PAG&#xff08;Product Acceptance Group&#xff09;清单&#xff0c;即388624 D02 Pre-Approval Guidance List v18r04。这个清单的主要改变是将带有雷达侦测功能的…
阅读更多...
51单片机的篮球计分器液晶LCD1602显示( proteus仿真+程序+原理图+PCB+设计报告+讲解视频）

51单片机的篮球计分器液晶LCD1602显示( proteus仿真+程序+原理图+PCB+设计报告+讲解视频）

51单片机的篮球计分器液晶LCD1602显示 &#x1f4d1;1.主要功能&#xff1a;&#x1f4d1;讲解视频&#xff1a;&#x1f4d1;2.仿真&#x1f4d1;3. 程序代码&#x1f4d1;4. 原理图&#x1f4d1;5. PCB图&#x1f4d1;6. 设计报告&#x1f4d1;7. 设计资料内容清单&&…
阅读更多...
jenkins2

jenkins2

构建docker镜像 jenkins插件管理安装&#xff1a;docker-build jenkins安装了docker 配置docke builder 添加 unix:///var/run/docker.sock rootubuntu20:~# usermod -G docker jenkins 测试失败 修改docker中service文件添加 -H tcp://0.0.0.0:2376 jenkins中系统管理…
阅读更多...
了解高防服务器的工作原理

了解高防服务器的工作原理

在当今互联网时代&#xff0c;网络安全问题日益突出&#xff0c;各种网络攻击层出不穷。为了保护企业的网络安全&#xff0c;高防服务器应运而生。那么&#xff0c;你是否了解高防服务器的工作原理呢?下面就让我们一起来探索一下。 高防服务器是一种能够有效抵御各种网络攻击的…
阅读更多...
尚硅谷Docker基础篇和Dockerfile超详细整合笔记

尚硅谷Docker基础篇和Dockerfile超详细整合笔记

Docker基础篇DockerFile Docker&#xff1a;您要如何确保应用能够在不同环境中运行和通过质量检测&#xff1f;并且在部署过程中不出现令人头疼的版本、配置问题&#xff0c;也无需重新编写代码和进行故障修复&#xff1f;而这个就是使用容器。Docker解决了运行环境和配置问题…
阅读更多...
【Unity】简单案例脚本实现 | 鼠标观察/键盘控制移动飞行/行走/碰撞检测

【Unity】简单案例脚本实现 | 鼠标观察/键盘控制移动飞行/行走/碰撞检测

《Unity5实战-使用C#和Unity开发多平台游戏》第二章-构建一个让你置身3D空间的演示 鼠标观察/键盘控制移动飞行/行走/碰撞检测 Unity版本&#xff1a;2019.4.23f1c1 注意脚本名称和组件添加&#xff0c;不在文章中一一强调场景模型都是在资源商店选择的免费下载&#xff08;选…
阅读更多...
vue-router路由守卫进阶

vue-router路由守卫进阶

vue-router路由守卫进阶 路由守卫&#xff0c;可以想象为古代御前侍卫&#xff0c;路由守卫&#xff0c;则是对路由进行权限控制 分类&#xff1a;全局守卫、独享守卫、组件内守卫 全局前置-路由守卫 作用&#xff1a;主要用来鉴权 用户点击导航区&#xff0c;随后引起路径的…
阅读更多...
最新文章

Copyright @ 2022~2023