【Python】—— 文本分析

文本分析

  • 相关知识
    • 1. 文本数据处理
    • 2. 文本可视化
    • 3. Python编程
    • 4. 词频统计
    • 5. 人名提取
    • 6. 自然段划分
    • 7. 人物出现频率分布分析
    • 8. 词云生成
  • 实验内容
    • 数据下载地址:
    • 1.对纯英文小说进行分析。
    • 2.对中文小说进行分析。
  • 问题与解决
  • 附录
    • 1.对纯英文小说进行分析。
    • 2.对中文小说进行分析。

相关知识

      当涉及到文本数据处理和可视化的任务时,我们可以通过了解下面的知识和使用Python的一些主要库和工具来完成这些任务。

1. 文本数据处理

      包括读取文本文件、对文本进行分词、去除停用词等基本文本处理步骤。

  • 读取文本文件:
  • 在Python中,我们使用open函数打开文件,指定文件名、打开模式(这里是’r’表示读取)、以及字符编码(通常是’utf-8’)。
with open('filename.txt', 'r', encoding='utf-8') as file:
    text_data = file.read()
  • 分词和去除停用词:
  • 使用Natural Language Toolkit(NLTK)库进行分词和去除停用词。分词是将文本拆分成单词的过程,而停用词是指那些在文本中频繁出现但没有实际含义的词汇,可以通过NLTK提供的停用词列表进行去除。
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize

stop_words = set(stopwords.words('english'))

words = word_tokenize(text_data)
filtered_words = [word.lower() for word in words if word.isalpha() and word.lower() not in stop_words]

2. 文本可视化

      通过词云制作实现文本数据的可视化呈现。

  • 使用wordcloud生成词云图:
  • WordCloud是一个用于生成词云图的库,它根据文本中单词的频率生成具有可视化效果的图形。在示例代码中,我们通过WordCloud生成词云图,并使用matplotlib展示。
from wordcloud import WordCloud
import matplotlib.pyplot as plt

wordcloud = WordCloud().generate(' '.join(filtered_words))

plt.imshow(wordcloud, interpolation='bilinear')
plt.axis("off")
plt.show()

使用 wordcloud 库生成词云图的过程主要分为以下几个步骤:

  1. 安装 wordcloud 库:
          在命令行或终端中运行以下命令安装 wordcloud

    pip install wordcloud
    
  2. 导入库:

    from wordcloud import WordCloud
    import matplotlib.pyplot as plt
    
  3. 准备文本数据:
          获取需要生成词云的文本数据,确保文本数据是字符串形式。

  4. 创建 WordCloud 对象并生成词云:

    wordcloud = WordCloud(width=800, height=400, background_color='white').generate(text_data)
    

          在这里,我们创建了一个 WordCloud 对象,指定了词云的宽度、高度和背景颜色。可以根据需要调整其他参数,比如字体、最大词汇量等。

  5. 可选步骤 - 自定义词云形状:
          如果你想要词云的形状为特定图形,可以使用自定义形状的图片。首先,你需要准备一张形状的图片,然后使用 WordCloudmask 参数指定该图片。

    from wordcloud import WordCloud, STOPWORDS, ImageColorGenerator
    from PIL import Image
    
    # 读取形状图片
    mask = np.array(Image.open("your_shape_image.png"))
    
    # 使用形状图片生成词云
    wordcloud = WordCloud(mask=mask, background_color="white").generate(text_data)
    
  6. 显示或保存词云图:

    plt.imshow(wordcloud, interpolation='bilinear')
    plt.axis("off")
    
    # 显示词云图
    plt.show()
    
    # 或保存词云图
    wordcloud.to_file("wordcloud_output.png")
    

          使用 plt.show() 可以在运行脚本时显示词云图,而 to_file 方法可以保存词云图为图片文件。
          总体来说,使用 wordcloud 库生成词云图是一个相对简单的过程,主要涉及创建 WordCloud 对象并调整相关参数,然后通过 imshow 方法显示或通过 to_file 方法保存生成的词云图。


3. Python编程

      可看Python专栏
      要求通过Python实现上述功能,因此需要熟悉Python编程语言及其相关库和模块。

4. 词频统计

      对文本中各个词汇的出现频率进行统计分析。

  • 使用Counter进行词频统计:
  • Counter是Python的一个内置库,用于统计可哈希对象的出现次数。在这里,我们使用Counter来统计文本中单词的出现频率。
from collections import Counter
word_freq = Counter(filtered_words)

5. 人名提取

      从文本中提取人物名称,这可能需要使用一些自然语言处理(NLP)的技术或者规则来实现。

  • 使用spaCy进行实体识别:
  • spaCy是一个自然语言处理库,它提供了实体识别功能,可以用于从文本中提取人名等实体。在示例代码中,我们加载了英文的spaCy模型,并使用它来获取文本中的人物名称。
import spacy

nlp = spacy.load('en_core_web_sm')
doc = nlp(text_data)

person_names = [ent.text for ent in doc.ents if ent.label_ == 'PERSON']

6. 自然段划分

      将文本划分成自然段,可能涉及到对文本的分段或分句处理。

  • 使用正则表达式进行自然段划分:
  • 正则表达式是一种强大的文本匹配工具,可以根据特定的模式来划分文本。在这里,我们使用\n\n来划分自然段,表示两个换行符之间的文本。
import re

paragraphs = re.split('\n\n', text_data)

7. 人物出现频率分布分析

      分析文本中人物出现的频率分布情况,可以通过统计每个人物在文本中出现的次数来实现。

  • 统计人物出现频率:
  • 通过使用Counter,我们可以轻松地统计从文本中提取的人物名称的出现频率,从而进行人物出现频率分布分析。
character_freq = Counter(person_names)

8. 词云生成

      使用wordcloud模块生成词云图,这需要将词频等信息传递给词云模块,并对生成的图像进行一定的定制。
综合来看,这涉及到文本处理、数据统计、可视化和一定的自然语言处理方面的知识和技能。

  • 定制词云图:
  • 在生成词云图时,可以通过调整WordCloud的参数来定制图形的外观,包括图像的大小、背景颜色等。示例代码中展示了如何设置词云的宽度、高度和背景颜色。
wordcloud = WordCloud(width=800, height=400, background_color='white').generate_from_frequencies(word_freq)

plt.imshow(wordcloud, interpolation='bilinear')
plt.axis("off")
plt.show()

实验内容

数据下载地址:

       文本分析所用小说(数据)

1.对纯英文小说进行分析。

主要步骤如下:
      下载一篇纯英文小说,保存为txt文档。
      打开小说文件,通过对字符串的处理(注意统计中要去掉各种标点符号,除英文以外的内容。),统计小说中所有英文单词的使用频次,结果保存在一个字典中。
      对字典中的数据进行排序,按照使用频次从高到低进行排序,并把统计结果写到一个文本文件中。
      把单词的使用频次的信息用词云的方式显示出来。

小说文件截图(处理小说源文件):
在这里插入图片描述

代码截图:
在这里插入图片描述
在这里插入图片描述
运行结果(词云):
在这里插入图片描述

生成词典并排序截图:
在这里插入图片描述

2.对中文小说进行分析。

      对于中文小说的词频统计、人名提取、自然段划分和人物出现频率分布分析,并利用wordcloud模块生成词云图。

主要步骤如下:
      下载一篇中文小说,字数在十万字以上。使用中文分词库进行分词。统计使用最多的人名和中文词汇并输出。
      列出小说中的主要人物,包括主人公,以及另外相关人物5人或以上。
      把小说分段,分析出小说一共有多少自然段。并统计出上面列出的人物共在多少个自然段中出现。并用某种输出模式体现出这种分布情况,例如在第一段出现,输出一个字符,在第二段没有出现,输出一个空格。可以直观的看出人物出现的位置和频率。
      分析主人公以及其他相关人物之间的亲密度,两个人在同一个自然段同时出现亲密度加1,最后得到统计结果。
      把词频的统计结果用词云的方式显示出来。

小说原文件截图(处理小说源文件):

在这里插入图片描述
代码截图:
在这里插入图片描述
在这里插入图片描述
运行结果(词云):
在这里插入图片描述
段落数截图:
在这里插入图片描述
细节:
人物出现频率截图
主角(阿龙纳斯):
在这里插入图片描述

配角1(康赛尔):
在这里插入图片描述

配角2(尼德•兰):
在这里插入图片描述

配角3(尼摩船长):
在这里插入图片描述

配角4(何伯逊敬启):
在这里插入图片描述

配角5(教授):
在这里插入图片描述

亲密度:
在这里插入图片描述

问题与解决

操作异常:在使用中文分词库jieba时,可能会遇到编码问题,导致分词不准确。
解决方案:在打开和处理文件时,使用正确的编码格式进行操作。可以尝试使用UTF-8编码,因为它在处理中文文本时通常表现良好。

操作异常:在使用wordcloud模块时,可能由于依赖 matplotlibNumPy 的安装问题而导致出现ImportError。

解决方案:可以尝试重新安装matplotlibnumpy模块,或者在虚拟环境中安装这些模块,以解决依赖库安装问题。

异常问题:处理中文小说时候,因为没有安装Python和jieba分词库代码无法运行。
解决方案:使用以下命令安装jieba:pip install jieba

异常问题:在处理英文小说时,代码中使用了nltk库和wordcloud库,但是用户没有提前安装这两个库,导致代码运行时报错。
解决方案:用户在运行代码前应该使用以下命令安装所需的库:pip install nltkpip install wordcloud

操作异常:因为没有设置中文字体路径词云图无法读出中文。
解决方案:下载该文件并加入代码font_path = 'zitiaozichangyinghedianshan.ttf # 设置中文字体路径

附录

1.对纯英文小说进行分析。

#英文小说单词使用频次统计和词云制作:
# 导入需要的库
from wordcloud import WordCloud
import matplotlib.pyplot as plt
import string

# 读取小说文件
with open('H:/其他/小说/after twenty years.txt', 'r' ,encoding='utf-8') as f:
    novel = f.read()

# 去除标点符号和数字
translator = str.maketrans('', '', string.punctuation + string.digits)
novel = novel.translate(translator)

# 将小说中的单词转换为小写,并按照空格分割成列表
words = novel.lower().split()

# 统计单词出现频次
word_freq = {}
for word in words:
    if word in word_freq:
        word_freq[word] += 1
    else:
        word_freq[word] = 1

# 按照单词出现频次从高到低排序
sorted_word_freq = sorted(word_freq.items(), key=lambda x: x[1], reverse=True)

# 将排序结果写入文件
with open('H:/其他/小说/word_after twenty years.txt', 'w' ,encoding='utf-8') as f:
    for word, freq in sorted_word_freq:
        f.write(f'{word}: {freq}\n')

# 生成词云
wordcloud = WordCloud(width=800, height=800, background_color='white').generate_from_frequencies(word_freq)
plt.figure(figsize=(8, 8), facecolor=None)
plt.imshow(wordcloud)
plt.axis('off')
plt.tight_layout(pad=0)
plt.show()

2.对中文小说进行分析。

from wordcloud import WordCloud
import jieba
from collections import Counter
import matplotlib.pyplot as plt

# 设置中文字体路径
font_path = 'zitiaozichangyinghedianshan.ttf'

# 读取中文小说文件
with open('H:/其他/小说/海底两万里.txt', 'r', encoding='utf-8') as file:
    chinese_novel_text = file.read()

# 中文分词
seg_list = jieba.lcut(chinese_novel_text)

# 统计词频
word_counts = Counter(seg_list)

# 将词频字典转换为单个字符串
wordcloud_text = ' '.join(seg_list)

# 生成词云
wordcloud = WordCloud(width=800, height=400, background_color='white', font_path=font_path).generate(wordcloud_text)

# 显示词云图像
plt.figure(figsize=(10, 5))
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis('off')
plt.show()

# 填入小说中的主要人物,包括主人公和其他相关人物5人或以上
main_characters = ["阿龙纳斯", "康赛尔", "尼德•兰", "尼摩船长", "何伯逊敬启", "教授"]

# 分析小说自然段
paragraphs = chinese_novel_text.split('\n')
print("小说一共有{}自然段。".format(len(paragraphs)))

# 列出主要人物在每个自然段的出现情况
character_occurrence = {char: [0] * len(paragraphs) for char in main_characters}
for i, paragraph in enumerate(paragraphs):
    for char in main_characters:
        if char in paragraph:
            character_occurrence[char][i] = 1

# 输出人物在自然段中的出现情况
for char in main_characters:
    print("{}在各自然段的出现情况:".format(char), character_occurrence[char])

# 统计主要人物之间的亲密度
intimacy_matrix = [[0] * len(main_characters) for _ in range(len(main_characters))]
for i in range(len(main_characters)):
    for j in range(i + 1, len(main_characters)):
        for k in range(len(paragraphs)):
            if character_occurrence[main_characters[i]][k] and character_occurrence[main_characters[j]][k]:
                intimacy_matrix[i][j] += 1

# 输出亲密度矩阵
print("人物亲密度矩阵:")
for row in intimacy_matrix:
    print(row)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/246374.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

正则化实战( Lasso 套索回归,Ridge 岭回归)

Lasso 套索回归 导入包 import numpy as np from sklearn.linear_model import Lasso from sklearn.linear_model import SGDRegressor, LinearRegression原方程的计算结果 # 1. 创建数据集X,y X 2 * np.random.rand(100, 20) w np.random.rand(20, 1) b np.r…

PyGame字体详解

文章目录 字体初始化获取字体字体对象内置方法 字体初始化 在pygame程序中,第一步势必进行初始化,即调用pygame.init()函数,而此初始化过程,则顺便包含了字体初始化,即默不作声地调用了pygame.font.init()函数。下面通…

FreeModbus--学习函数指针

目录 函数指针 最简单的例子 稍作修改例子 引入协议栈的函数指针 引入协议栈第二处函数指针 函数指针 该协议栈中使用到函数指针,现开展一篇专门存放函数指针的文章。 C语言的函数指针是指向函数的指针变量,可以用来存储和调用函数的地址。在C语言中…

【亲测】获取百度智能云access_token并存储,百度智能云access_token有效期

百度智能云服务内置很多api接口(文字识别,企业信息识别,等),所有百度智能云自带的接口都会用到百度的access_token 第一步:登录百度智能云管理中心 第二步:创建账户,完整身份认证 …

智能优化算法应用:基于乌燕鸥算法3D无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用:基于乌燕鸥算法3D无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用:基于乌燕鸥算法3D无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.乌燕鸥算法4.实验参数设定5.算法结果6.参考文…

jmeter判断’响应断言‘两个变量对象是否相等

1、首先需要设置变量,json、正则、csv文件等变量 2、然后在响应断言中 ①JMeter Variable Name to use —— 输入一个变量,变量名即可 ② 模式匹配规则 ——相等 ③测试模式 ——输入引用的变量命${变量名} (注意这里是需要添加一个测试模式…

安卓开发显示加载中

private ProgressDialog loadobj; // 显示 ProgressDialog loadobj loadobj.show(MainActivity.this, "正在加载", "请稍后..."); // 取消 ProgressDialog loadobj.dismiss();或者 public ProgressDialog progressDialog;public void loading(){// …

流场寻路(Flow Field Path Finding)

简介 当场景中有成千上万个寻路游戏单位需要到达同一目标点时,通过常用的A*算法进行寻路不再是合适的选择,因为每个寻路游戏单位都需要依据自身所在的位置,根据算法获得一条从自身位置寻路到目标点的路径,n个游戏单位进行寻路就需…

人工智能在大型复杂机械产品装配状态检测自动化中的应用

尊敬的读者们,本文主要围绕“大型复杂机械产品装配状态检测自动化方案”开展讨论,从这个领域存在的问题和难度,以及基于人工智能、数字图像处理、机器人控制、装配机理等技术的自动化设计与实践方案。文章提出了数字化建模和智能识别模型构建…

[Springboot 源码系列] 浅析自动配置原理

文章目录 自动配置类原理AopAutoConfigurartion条件装配的底层原理ConditionalConditionalOnXxx 自动配置类原理 public class AutoConfApplication {public static void main(String[] args) {GenericApplicationContext context new GenericApplicationContext();context.re…

Git命令之本地分支与远程分支支关联/解除关联

目录 1.应用场景2.关联远程仓库中存在的分支3.解除本地分支与远程分支的关联 1.应用场景 在实际的工作生活中,往往需要将本地的分支和远程分支关联,这样我们就可以使用git pull命令来更新拉取最新的代码,并使用git push命令将自己本地的修改…

设备远程监控系统:实时对工厂设备状态进行监控

随着工业4.0时代的到来,工业物联网平台在工业领域的应用越来越广泛。设备远程监控系统作为工业物联网的重要组成部分,能够实时对工厂设备状态进行监控,提高生产效率和管理水平。本文将详细介绍工厂设备数据的采集方式以及设备远程监控系统的应…

企业寄件运费贵?企业如何将企业快递费用降至最低?

按照上述情况,如果使用闪侠惠递商家寄件服务,相较于原本的费用,会节省很大一部分的成本费用的,显而易见,这是非常便宜的。 闪侠惠递的寄件服务支持圆通、德邦、京东、顺丰等多家主流快递公司,并可以对比多…

Git-瑞吉外卖

什么是GIt? 分布式版本控制工具,用来管理源代码文件。分布式主要体现在两种仓库(本地仓库、远程仓库)。 git的作用? 代码回溯、版本切换(切换不同框架)、多人协作、远程备份 基本命令&…

虚拟化逻辑架构:KVM虚拟机通过OVS端口组实现网络连接

目录 一、实验 1.CentOS 7 安装 OpenVSwitch(构建RPM安装包) 2.KVM虚拟机通过OVS端口组实现网络连接 二、问题 1.安装openvswitch-2.5.10报错 2.virt-install未找到命令 3.如何删除自定义网络 4.开机如何自动启动自定义网络 一、实验 1.CentOS 7 安装 Open…

双指针算法(一)

目录 移动零 复写零 快乐数 盛水最多的容器 双指针与单调性结合 有效三角形的个数 查找总价格为目标值的两个商品 两数之和 Ⅱ - 输入有序数组 双指针算法是通过定义两个指针不断单向移动来解决问题的一种算法。但双指针算法,是一个抽象的思想概念&#xf…

【C语言】超详解strncpystrncatstrncmpstrerrorperror的使⽤和模拟实现

🌈write in front :🔍个人主页 : 啊森要自信的主页 ✏️真正相信奇迹的家伙,本身和奇迹一样了不起啊! 欢迎大家关注🔍点赞👍收藏⭐️留言📝>希望看完我的文章对你有小小的帮助&am…

智能优化算法应用:基于原子搜索算法3D无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用:基于原子搜索算法3D无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用:基于原子搜索算法3D无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.原子搜索算法4.实验参数设定5.算法结果6.…

12.4~12.14概率论复习与相应理解(学习、复习、备考概率论,这一篇就够了)

未分配的题目 概率计算(一些转换公式与全概率公式)与实际概率 ,贝叶斯 一些转换公式 相关性质计算 常规,公式的COV与P 复习相关公式 计算出新表达式的均值,方差,再套正态分布的公式 COV的运算性质 如…

FastAPI访问/docs接口文档显示空白、js/css无法加载

如图: 原因是FastAPI的接口文档默认使用https://cdn.jsdelivr.net/npm/swagger-ui-dist5.9.0/swagger-ui.css 和https://cdn.jsdelivr.net/npm/swagger-ui-dist5.9.0/swagger-ui-bundle.js 来渲染页面,而这两个URL是外网的CDN,在国内响应超…