Python开源工具库使用之词云Wordcloud

文章目录

  • 前言
  • 一、基本使用
    • 1.1 文本生成词云
    • 1.2 配置项
  • 二、进阶用法
    • 2.1 自定义形状
    • 2.2 自定义着色
    • 2.3 自定义词频
    • 2.4 中文
  • 三、实际案例
    • 3.1 工作报告词云
    • 3.2 周杰伦歌词词云
  • 四、总结
    • 4.1 优点和局限性
    • 4.2 展望未来发展
  • 参考

前言

当我们需要将大量文本数据可视化展示时，WordCloud 库是一个非常有用的工具。它能够将文本中的关键词以词云的形式呈现出来，使得人们可以直观地了解文本的主题和关键词。WordCloud 库不仅能够简单地生成词云，还提供了丰富的配置选项，使用户可以根据自己的需求定制词云的外观和布局。作为Python开源库中的一员，WordCloud 库已经被广泛应用于各种领域，包括数据分析、自然语言处理、社交媒体分析等。

在本文中，我们将深入探讨WordCloud库的使用方法、实际应用案例实践，帮助读者更好地理解和利用这一强大的工具。

  • github：https://github.com/amueller/word_cloud
  • 文档：https://amueller.github.io/word_cloud/

安装

pip install wordcloud

一、基本使用

1.1 文本生成词云

import os

from os import path
from wordcloud import WordCloud

# 获取当前py文件路径
d = path.dirname(__file__) if "__file__" in locals() else os.getcwd()

# 读取文本
text = open(path.join(d, 'constitution.txt')).read()

wordcloud = WordCloud().generate(text)

wordcloud.to_file('1.jpg')
image = wordcloud.to_image()
image.show()

1

1.2 配置项

WordCloud() 可通过下面这些配置项定制词云的外观和布局

配置项类型默认值含义
font_pathstring字体路径
widthint400画布宽度
heightint200画布高度
marginint2词云图像的边距大小,以像素为单位
prefer_horizontalfloat0.9词语水平排列的偏好程度，>=1 水平排列
masknd-array or NoneNone词云的形状遮罩，使得词云图像能够按照指定的形状排列词语
contour_widthfloat0轮廓线的宽度
contour_colorcolor value“black”轮廓线的颜色
scalefloat1词云图像的缩放比例，即词云图像计算出来的大小相对于形状遮罩或者画布的大小的比例
min_font_sizeint4最小字体大小
font_stepint1字体的步长，关系词语间大小间隔
max_wordsnumber200词语最大数量
stopwordsset of strings or NoneSTOPWORDS要排除的词语
random_stateintNone随机数生成器的种子
background_colorcolor value”black”背景颜色
max_font_sizeint or NoneNone最大字体大小
modestring”RGB”主要有"RGB",“RGBA”,后者可以控制透明度
relative_scalingfloat‘auto’单词频率对字体大小影响，较大的值将增加词语之间的大小差异
color_funccallableNone自定义的颜色函数，该函数决定了词云中每个词语的颜色
regexpstring or NoneNone从输入文本中提取满足正则的词语，可选
collocationsboolTrue是否考虑词组
colormapstring or matplotlib colormap”viridis”词云的颜色映射，即词云中每个词语的颜色分布。常见的颜色映射包括单色映射（如灰度"gray"）、渐变映射（“viridis”、“magma” 和 “inferno”）
normalize_pluralsboolTrue通过结尾为s 判断复数形式是否被视为同一个词
repeatboolFalse词语是否重复出现
include_numbersboolFalse是否包含数字
min_word_lengthint0个单词必须包含的最小字母数
collocation_thresholdint30词语搭配（Collocations）的显示阈值

二、进阶用法

2.1 自定义形状

先通过一张普通图片制作mask

import cv2
import numpy as np
from PIL import Image

# 读取普通照片
image = cv2.imread('alice_color.png')

# 将图像转换为灰度图
gray_image = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

# 二值化图像，将图像转换为黑白二值图像
_, mask_image = cv2.threshold(gray_image, 250, 255, cv2.THRESH_BINARY)

# 保存生成的蒙版图像
cv2.imwrite('mask_image.png', mask_image)

import matplotlib.pyplot as plt

plt.figure(figsize=(10, 5))

# 显示第一张图片
plt.subplot(1, 2, 1)
plt.imshow(cv2.cvtColor(image, cv2.COLOR_BGR2RGB))
plt.title('Color Image')
plt.axis('off')

# 显示第二张图片
plt.subplot(1, 2, 2)
plt.imshow(cv2.cvtColor(mask_image, cv2.COLOR_BGR2RGB))
plt.title('Mask Image')
plt.axis('off')

# 显示图片
plt.show()

Figure_1

from os import path
from PIL import Image
import numpy as np
import os

from wordcloud import WordCloud, STOPWORDS

d = path.dirname(__file__) if "__file__" in locals() else os.getcwd()

text = open(path.join(d, 'alice.txt')).read()

alice_mask = np.array(Image.open(path.join(d, "mask_image.png")))

stopwords = set(STOPWORDS)
stopwords.add("said")

wc = WordCloud(background_color="white", max_words=2000, mask=alice_mask,
               stopwords=stopwords, contour_width=3, contour_color='steelblue')

wc.generate(text)

wc.to_file("alice.png")

image = wc.to_image()
image.show()

alice.png

2.2 自定义着色

from os import path
from PIL import Image
import numpy as np
import matplotlib.pyplot as plt
import os

from wordcloud import WordCloud, STOPWORDS, ImageColorGenerator

d = path.dirname(__file__) if "__file__" in locals() else os.getcwd()

# Read the whole text.
text = open(path.join(d, 'alice.txt')).read()


alice_coloring = np.array(Image.open(path.join(d, "alice_color.png")))
stopwords = set(STOPWORDS)
stopwords.add("said")

wc = WordCloud(background_color="white", max_words=2000, mask=alice_coloring,
               stopwords=stopwords, max_font_size=40, random_state=42)
# generate word cloud
wc.generate(text)

# create coloring from image
image_colors = ImageColorGenerator(alice_coloring)

# show
fig, axes = plt.subplots(1, 3)
axes[0].imshow(wc, interpolation="bilinear")
# recolor wordcloud and show
# we could also give color_func=image_colors directly in the constructor
axes[1].imshow(wc.recolor(color_func=image_colors), interpolation="bilinear")
axes[2].imshow(alice_coloring, cmap=plt.cm.gray, interpolation="bilinear")
for ax in axes:
    ax.set_axis_off()
plt.show()

123

2.3 自定义词频

当已经有了词频统计好的数据，或者想要自定义词语的词频时，可以使用 generate_from_frequencies() 函数实现自定义词频

import multidict as multidict

import numpy as np

import os
import re
from PIL import Image
from os import path
from wordcloud import WordCloud
import matplotlib.pyplot as plt


def getFrequencyDictForText(sentence):
    fullTermsDict = multidict.MultiDict()
    tmpDict = {}

    # making dict for counting frequencies
    for text in re.sub(r'\n', ' ', sentence).split(" "):
        if re.match("a|the|an|the|to|in|for|of|or|by|with|is|on|that|be", text):
            continue
        val = tmpDict.get(text, 0)
        tmpDict[text.lower()] = val + 1
    for key in tmpDict:
        fullTermsDict.add(key, tmpDict[key])
    return fullTermsDict


def makeImage(text):
    alice_mask = np.array(Image.open("mask_image.png"))

    wc = WordCloud(background_color="white", max_words=1000, mask=alice_mask)
    # generate word cloud
    wc.generate_from_frequencies(text)

    # show
    plt.imshow(wc, interpolation="bilinear")
    plt.axis("off")
    plt.show()


# get data directory (using getcwd() is needed to support running example in generated IPython notebook)
d = path.dirname(__file__) if "__file__" in locals() else os.getcwd()

text = open(path.join(d, 'alice.txt'), encoding='utf-8')
text = text.read()
makeImage(getFrequencyDictForText(text))

2.4 中文

import jieba
from os import path
from imageio import imread
import matplotlib.pyplot as plt
import os

from wordcloud import WordCloud, ImageColorGenerator

stopwords_path = 'stopwords_cn_en.txt'
font_path = r'C:\Windows\Fonts\simfang.ttf'

# Read the whole text.
text = open('CalltoArms.txt', encoding = 'utf-8').read()

mask = imread('LuXun_mask.png')

userdict_list = ['阿Ｑ', '孔乙己', '单四嫂子']

def jieba_processing_txt(text):
    for word in userdict_list:
        jieba.add_word(word)

    mywordlist = []
    seg_list = jieba.cut(text, cut_all=False)
    liststr = "/ ".join(seg_list)

    with open(stopwords_path, encoding='utf-8') as f_stop:
        f_stop_text = f_stop.read()
        f_stop_seg_list = f_stop_text.splitlines()

    for myword in liststr.split('/'):
        if not (myword.strip() in f_stop_seg_list) and len(myword.strip()) > 1:
            mywordlist.append(myword)
    return ' '.join(mywordlist)


wc = WordCloud(font_path=font_path, background_color="white", max_words=2000, mask=mask,
               max_font_size=100, random_state=42, width=1000, height=860, margin=2,)

wc.generate(jieba_processing_txt(text))
wc.to_file('LuXun.png')

luxun

luxun

三、实际案例

3.1 工作报告词云

数据来源：https://python123.io/resources/pye/%E6%96%B0%E6%97%B6%E4%BB%A3%E4%B8%AD%E5%9B%BD%E7%89%B9%E8%89%B2%E7%A4%BE%E4%BC%9A%E4%B8%BB%E4%B9%89.txt

import jieba
from os import path
from imageio import imread
import matplotlib.pyplot as plt
import os

from wordcloud import WordCloud, ImageColorGenerator

stopwords_path = 'stopwords_cn_en.txt'
font_path = r'C:\Windows\Fonts\simfang.ttf'

# Read the whole text.
text = open('新时代.txt', encoding = 'utf-8').read()

mask = imread('china_mask.png')


# The function for processing text with Jieba
def jieba_processing_txt(text):
   
    mywordlist = []
    seg_list = jieba.cut(text, cut_all=False)
    liststr = "/ ".join(seg_list)

    with open(stopwords_path, encoding='utf-8') as f_stop:
        f_stop_text = f_stop.read()
        f_stop_seg_list = f_stop_text.splitlines()

    for myword in liststr.split('/'):
        if not (myword.strip() in f_stop_seg_list) and len(myword.strip()) > 1:
            mywordlist.append(myword)
    return ' '.join(mywordlist)


wc = WordCloud(font_path=font_path, background_color="white", max_words=2000, mask=mask,
               max_font_size=100, random_state=42, width=1000, height=860, margin=2,)

wc.generate(jieba_processing_txt(text))
wc.to_file('时代.png')

baogao

3.2 周杰伦歌词词云

数据来源：https://github.com/ShusenTang/Dive-into-DL-PyTorch/blob/master/data/jaychou_lyrics.txt.zip

import jieba
from os import path
from imageio import imread
import cv2
import numpy as np
import matplotlib.pyplot as plt
import os

from wordcloud import WordCloud, ImageColorGenerator

stopwords_path = 'stopwords_cn_en.txt'
font_path = r'C:\Windows\Fonts\simfang.ttf'

# Read the whole text.
text = open('jaychou_lyrics.txt', encoding = 'utf-8').read()

image = imread('jay.jpg')
mask = imread('jay_mask.png')



# The function for processing text with Jieba
def jieba_processing_txt(text):
   
    mywordlist = []
    seg_list = jieba.cut(text, cut_all=False)
    liststr = "/ ".join(seg_list)

    with open(stopwords_path, encoding='utf-8') as f_stop:
        f_stop_text = f_stop.read()
        f_stop_seg_list = f_stop_text.splitlines()

    for myword in liststr.split('/'):
        if not (myword.strip() in f_stop_seg_list) and len(myword.strip()) > 1:
            mywordlist.append(myword)
    return ' '.join(mywordlist)


wc = WordCloud(font_path=font_path, background_color="white", max_words=2000, mask=mask,
               max_font_size=100, random_state=42, width=1000, height=860, margin=2,)

wc.generate(jieba_processing_txt(text))

image_colors = ImageColorGenerator(np.array(image))
color = wc.recolor(color_func=image_colors)


plt.figure(figsize=(10, 5))

# 显示第一张图片
plt.subplot(1, 2, 1)
plt.imshow(image)
plt.title('Color Image')
plt.axis('off')

# 显示第二张图片
plt.subplot(1, 2, 2)
plt.imshow(color)
plt.title('WordCloud Image')
plt.axis('off')

# 显示图片
plt.show()

jay

四、总结

4.1 优点和局限性

优点有：

  • 直观：通过生成词云图像，直观展示了文本数据中的关键词和热点内容，使得信息一目了然。
  • 灵活性：可通过调整参数和样式，定制化生成符合需求的词云图像，满足不同场景下的需求。
  • 便捷性：提供了简单易用的API接口，方便用户快速生成词云，无需复杂的编程知识。

在以下方面有局限性：

  • 可解释性有限：词云图像虽然直观，但对于详细的数据分析并不足够，无法提供每个词语在文本中的具体含义和背景。

  • 数据处理能力有限：在处理大规模文本数据时，WordCloud 库的性能可能受到限制，无法处理过大的数据集

4.2 展望未来发展

随着数据可视化技术的不断发展和应用场景的扩展，WordCloud 库可能会朝着以下方向发展：

  • 智能化：未来的WordCloud库可能会引入更多的自动化和智能化功能，如基于自然语言处理技术的关键词提取和主题分析，使得生成的词云更加准确和有针对性。
  • 多模态融合：未来的词云图像可能会与其他形式的可视化技术进行融合，如图表、地图等，实现多模态数据展示，提供更加全面和丰富的信息呈现。
  • 数据互动性：未来的 WordCloud 库可能会加强与用户的交互性，支持用户对词云图像进行实时调整和定制，以及与其他数据进行联动分析，提升用户体验和数据分析效率。

参考

  1. Python—— 文件和数据格式化（模块6: wordcloud库的使用）（实例:自动轨迹绘制&政府工作报告词云）

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/546169.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

不得不学的Zabbix监控系统，最细搭建详解

不得不学的Zabbix监控系统，最细搭建详解

目录 一、为什么要做监控 二、Zabbix介绍 三、zabbix组成 四、Zabbix主要功能 五、zabbix 监控原理 六、zabbix运行机制 七、Zabbix的监控方式 7.1 主动模式 7.2 被动模式 八、Zabbix监控系统监控对象 九、Zabbix的优缺点 9.1Zabbix的优点 9.2Zabbix的缺点 9.3za…
阅读更多...
ELK日志分析系统之Zookeeper

ELK日志分析系统之Zookeeper

一、Zookeeper简介 ZooKeeper是一种为分布式应用所设计的高可用、高性能且一致的开源协调服务，它提供了一项基本服务：分布式锁服务。分布式应用可以基于它实现更高级的服务，实现诸如同步服务、配置维护和集群管理或者命名的服务。 Zookeepe…
阅读更多...
腾讯云服务器CVM标准型S8实例CPU内存、网络和存储性能测评

腾讯云服务器CVM标准型S8实例CPU内存、网络和存储性能测评

腾讯云第八代云服务器标准型S8实例基于全新优化虚拟化平台，CPU采用Intel Emerald Rapids 全新处理器，睿频3.0GHz，内存采用最新DDR5，默认网络优化，最高内网收发能力达4500万pps，最高内网带宽可支持120Gbps。…
阅读更多...
61、ARM/串口通信相关学习20240415

61、ARM/串口通信相关学习20240415

一、串口通信：实现PC端串口助手与开发板的字符串通信。 代码： main： #include "uart4.h"int main(){uart4_config();//char a;char s[64];while (1){//a getchar();//putchar(a1);gets(s);puts(s);}return 0;}usrt4.c&#xff…
阅读更多...
protobuf 编码原理

protobuf 编码原理

简介 Protocol Buffers（protobuf），它是 Google 开发的一种数据序列化协议（与 XML、JSON 类似）。 优点： 效率高：Protobuf 以二进制格式存储数据，比如 XML 和 JSON 等文本格式更紧凑…
阅读更多...
【虚幻引擎】DTProjectSettings 蓝图获取基本项目配置插件使用说明 获取项目命名，项目版本，公司名，公司识别名，主页，联系方式

【虚幻引擎】DTProjectSettings 蓝图获取基本项目配置插件使用说明 获取项目命名，项目版本，公司名，公司识别名，主页，联系方式

本插件可以使用蓝图获取到项目的一些基本配置，如获取：公司名、公司识别名、版权声明、描述、主页、许可条款、隐私政策、项目ID、项目命名、项目版本、支持联系方式、项目显示标题、项目调试标题信息、应保留窗口宽高比、使用无边框窗口、以VR启动、允许…
阅读更多...
CommunityToolkit.Mvvm笔记---Ioc

CommunityToolkit.Mvvm笔记---Ioc

使用MVVM模式提高应用程序代码库中的模块化程度的最常用模式是使用某种形式的反转控制（Ioc）。其中最常见的解决方案是使用依赖关系注入，该解决方案存在于创建多个注入后端类的服务（即以参数的形式传递给 viewmodel 构造函数&#…
阅读更多...
携程景点详情API：电商发展新引擎，推动旅游智能化升级

携程景点详情API：电商发展新引擎，推动旅游智能化升级

随着信息技术的快速发展，旅游行业正迎来一场深刻的智能化升级。作为电商发展的新引擎，携程景点详情API以其丰富的数据资源和高效的服务能力，正逐渐成为推动旅游智能化升级的重要力量。本文将深入探讨携程景点详情API在电商发展中的作用&#…
阅读更多...
xhci 数据结构

xhci 数据结构

xhci 数据结构 xhci 数据结构主要在手册上有详细的定义，本文根据手册进行归纳总结： 重点关注的包括： device contexttrb ringtrb device context设备上下文 设备上下文数据结构由xHC管理，用于向系统软件报告设备配置和状态信息。…
阅读更多...
【个人博客搭建】（2）项目分层结构

【个人博客搭建】（2）项目分层结构

1、在解决方案这右击， 2、填写项目名称。（位置使用默认即可） 3、选择框架版本。（最好同创建webapi一个版本吧） 4、创建后进入该界面。会生成默认的一个Class类。（后修改名称或删除都可） 5、然后…
阅读更多...
【C/C++】什么是内存泄漏？如何检测内存泄漏？

【C/C++】什么是内存泄漏？如何检测内存泄漏？

一、内存泄漏概述 1.1 什么是内存泄漏 内存泄漏是在没有自动 gc 的编程语言里面，经常发生的一个问题。 自动垃圾回收（Automatic Garbage Collection，简称 GC）是一种内存管理技术，在程序运行时自动检测和回收不再使用…
阅读更多...
MySQL进阶-----limit、count、update优化

MySQL进阶-----limit、count、update优化

目录 前言 一、limit优化 1. 未优化案例 2.优化后案例 二、count优化 count用法 三、update优化 1.锁行情况（有索引） 2.锁表情况（无索引） 前言 上一期我们学习了order by优化和group by优化，本期我们就继续学习…
阅读更多...
不需要GPU就可以玩转模型，同时支持本地化部署

不需要GPU就可以玩转模型，同时支持本地化部署

简单一款不需要GPU就可以在Win 机器跑的模型：Ollama；用于本地运行和部署大型语言模型（LLMs）的开源工具 关于Ollama的简要介绍 平台兼容性：Ollama支持多种操作系统，包括macOS、Linux和Windows，…
阅读更多...
Spectre漏洞 v2 版本再现，影响英特尔 CPU + Linux 组合设备

Spectre漏洞 v2 版本再现，影响英特尔 CPU + Linux 组合设备

近日，网络安全研究人员披露了针对英特尔系统上 Linux 内核的首个原生 Spectre v2 漏洞，该漏洞是2018 年曝出的严重处理器“幽灵”（Spectre）漏洞 v2 衍生版本，利用该漏洞可以从内存中读取敏感数据，主要影响英…
阅读更多...
一维非线性扩展卡尔曼滤波|matlab的EKF程序|一维例程源代码

一维非线性扩展卡尔曼滤波|matlab的EKF程序|一维例程源代码

为了满足不同条件下的用途，编了一个简单的一维状态量下的EKF，后面准备出UKF和CKF的版本。 使用的系统是非线性的，以体现算法对于非线性系统的性能。（状态方程和观测方程均设计成非线性的） 程序运行截图 程序都在一个m文件里面，粘贴到matlab的编辑器就能运行，如果中文注…
阅读更多...
vivado 写入 ILA 探针信息、读取 ILA 探针信息

vivado 写入 ILA 探针信息、读取 ILA 探针信息

写入 ILA 探针信息 “调试探针 (Debug Probes) ”窗口中的“ ILA 核 (ILA Cores) ”选项卡视图包含有关您在自己的设计中使用 ILA 核探测的 信号线的信息。此 ILA 探针信息提取自您的设计 ， 并存储在数据文件内 ， 此数据文件通常带有 .ltx 文件扩…
阅读更多...
React 集成三方登录按钮样式的插件库

React 集成三方登录按钮样式的插件库

按钮不提供任何社交逻辑。 效果如下： 原地址：https://www.npmjs.com/package/react-social-login-buttons 时小记，终有成。
阅读更多...
基于注解以及配置类使用SpringIoc

基于注解以及配置类使用SpringIoc

四 基于注解方式使用SpringIoc 和 XML 配置文件一样，注解本身并不能执行，注解本身仅仅只是做一个标记，具体的功能是框架检测到注解标记的位置，然后针对这个位置按照注解标记的功能来执行具体操作。 本质上：所有一切的…
阅读更多...
UML简单小结

UML简单小结

文章目录 一、UML概述二、UML建模工具三、类图1、概念2、组成 四、类与类之间的关系1、继承2、实现3、依赖4、关联5、聚合6、组合 五、常见UML图1、用例图1） 概念2）组成3）用例图所包含的的关系关联(Association)泛化(Inheritance)包含(Includ…
阅读更多...
web笔记再整理

web笔记再整理

前四天笔记在此连接: web前端笔记表单练习题五彩导航栏练习题-CSDN博客https://blog.csdn.net/simply_happy/article/details/136917265?spm1001.2014.3001.5502 # 1.边框弧度​ div {​ width: 300px;​ height: 50px;​ background-color: aqua;​ …
阅读更多...
最新文章

Copyright @ 2022~2023