【机器学习】 朴素贝叶斯算法:原理、实例应用(文档分类预测)

1. 算法原理

1.1 朴素贝叶斯方法

朴素贝叶斯方法涉及一些概率论知识,我们先来复习一下。

联合概率:包含多个条件,并且所有的条件同时成立的概率,公式为:P(AB)=P(A)*P(B)

条件概率:事件A在另一个事件B已经发生的前提下发生的概率,记作P(A|B),如果有多个条件,

那记作:P(A1,A2|B)=P(A1|B)*P(A2|B)

朴素贝叶斯一般公式:P(A|B) = P(B|A)*P(A)/P(B)

我举个小例子帮助大家理解:

某学校有N名学生,男生占60%,女生占40%。男生都留短发,女生一半留短发,一半留长发。

问题1:随机一个学生,知道性别的情况下,他(她)留短发的概率是多少? 

答:男:P(短发|男生)=1;女:P(短发|女生)=0.5

问题2:随机一个学生,只知道他留短发,他是男生的概率是多少?

答:设 B=短发;A=男生

要求的是 P(A|B) = P(B|A)*P(A)/P(B)

P(B|A)=1, P(A)=0.6, P(B)=0.6*1+0.4*0.5=0.8

P(A|B)=1*0.6/0.8=0.75


1.2 文档分类方法

文档分类是在已经分类好了的文档中提取关键字,在以后遇到新的文档时,从这些关键字中预测这篇新文章是哪个类别。

在文档分类中,朴素贝叶斯公式为:

P(C|W) = P(W|C)*P(C)/P(W)

P(C|W) :某个关键字属于某个分类的概率

P(W|C) :某个分类下,某个关键字出现的概率

P(C)      某个类别的概率(某个类别的文档数/总文档数)

P(W)    这个关键字在需要预测的文档中出现的概率


1.3 拉普拉斯平滑系数

       假如现在有一新的篇文章,它的主题包括‘影院’‘云计算’等关键字,我计算它属于娱乐类文章的概率。公式如下:

P(娱乐类|影院,云计算) = P(影院,云计算|娱乐类)*P(娱乐类)/P(影院,云计算),

其中P(影院,云计算|科技类)=P(影院|科技类)* P(云计算|科技类)

       然而对于预测之前建立的分类模型,如果在已经分类好的文章中娱乐类文章种没有出现过云计算这个关键字,那么P(云计算|娱乐类)=0,导致P(影院,云计算|娱乐类)=0,结果就是一篇包括‘影院’‘云计算’等关键字的文章属于娱乐类的概率为0,这肯定不对。只要它里面包含了任何一个和娱乐类相关的词,都有可能是娱乐类。

       因此引入拉普拉斯平滑系数来避免出现0概率的情况。方法如下:

将 P(W|C) 更改为  P(W|C)=(Ni+a)/(N+a*m)

Ni:该W词在C类别所有文档中出现的次数,即云计算在娱乐类文章中出现了多少次。

N: C类别的文档所有词出现的次数和,即娱乐类一共有多少词。

a: 指定系数,一般为1。

m:训练文档中统计出现的特征词个数,即整个文档有多少词。


1.4 特征向量化方法

将一篇文章中出现的所有词进行特征向量化,将单词提取出来,计算它们一共出现了多少次。首先要从sklearn库中导入该方法 from sklearn.feature_extraction.text import CountVectorizer。

特征向量化方法:vect.fit_transform()

上式可理解为:fit表示提取特征,transform表示变成sparss矩阵

下面我用两个字符串例子来演示一下这个方法:

# 导入特征向量化方法
from sklearn.feature_extraction.text import CountVectorizer
# 定义两个字符串
word1 = 'i love python,  python makes me happy'
word2 = 'hello world, i love the world'
# 变量vect接收特征向量化方法
vect = CountVectorizer()
# 将2个变量传入特征向量化方法,用于提取每个单词出现的次数
words = vect.fit_transform([word1,word2])

words变量接收的是sprase类型的矩阵,sparse矩阵只会标记word1和word2中不为0的地方,为0的地方不显示,即空格符就不计数直接跳过。如'i','love'等词,sparse矩阵会对这些词进行标记,标记方式为该词出现的次数。下面用代码帮助大家理解。

使用 vect.get_feature_names() 命令来获取word1和word2中出现的所有单词。
# 查看提取了哪些单词
names = vect.get_feature_names()  #提取word1和word2中出现过的所有单词
# 将sparse矩阵转换成正常的数组形式
arr = words.toarray()  

解释:arr变量中第0行表示word1某单词出现次数,第1行表示word2,某出现次数与names列表中的对应。即name列表中的'happy'在word1中出现了1次,在word2中出现了0次‘world’这个词在word1中出现了0次,在word2中出现了2次


2. 文档分类实战

2.1 数据获取

       使用sklearn内部数据集获取新闻分组数据,下载到指定文件夹。有关系统内部数据集的获取方法可以参考我的前一篇文章机器学习-K近邻算法,或者该网页sklearn数据集,本篇文章就不进行详述。如果找不到数据集的,文末有数据集,有需要的自取。

# 使用sklearn内部数据集,获取新闻分组数据
from sklearn.datasets import fetch_20newsgroups
# 指定文件下载位置,把新闻数据下载到里面
filepath = 'C:\\Users\\admin\\.spyder-py3\\test\\文件处理\\newsgroup'
newsgroups = fetch_20newsgroups(data_home = filepath)  #返回值是一个.Bunch类型数据

       我们得到的newsgroups是一个.Bunch类型的数据;data中存放的是11314篇新闻文章;DESCR是对这个数据集的描述;filename是文件路径,可以忽视;target存放的是这11314篇文章的分类,一共有20个类别记作0到19;target_names记录的是20种分类的名称。

2.2 数据处理

        首先从.Bunch数据中提取我们需要的,news_data相当于预测所需的特征值xnews_target相当于预测目标y

# news_data中存放具体的文章,相当于x
news_data = newsgroups.data
# news_target中存放数据的目标值,即分类的结果,相当于y
news_target = newsgroups.target

        从数据中提取最后10行用于结果验证,news_predict_data 存放最后十个的文章数据,用作最后预测函数的输入值,news_predict_target 存放最后十个主题分类,用于和最终预测结果比较,验证是否正确。然后将建模所用的数据剔除最后10行,即将 news_data 和 news_target 都删除最后10行数据。

# 取最后10行特征值作为验证集。用于预测的x
news_predict_data = news_data[-10:] 
# 最后10行目标作为验证预测结果的准确性。用于验证的y
news_predict_target = news_target[-10:]
# 用于建模的特征值删除最后10行,x
news_data = news_data[:-10]
# 用于建模的目标值删除最后10行,y
news_target = news_target[:-10]

到此我们已经划分出验证所用数据和建模所用数据。


2.3 划分训练集和测试集

一般采用75%的数据用于训练,25%用于测试,因此把数据进行训练之前,先要对数据划分。
使用 sklearn.model_selection.train_test_split 进行分割

划分方式:
x_train,x_test,y_train,y_test = train_test_split(x数据,y数据,test_size=数据占比)

train_test_split() 参数
x:数据集特征值(news_data)
y:数据集目标值(news_target)
test_size: 测试数据占比,用小数表示

train_test_split() 返回值
x_train:训练部分特征值
x_test: 测试部分特征值
y_train:训练部分目标值
y_test: 测试部分目标值

# 划分测试集和训练集
from sklearn.model_selection import train_test_split
# 数据的75%用于训练,25%用于测试
x_train,x_test,y_train,y_test = train_test_split(news_data,news_target,test_size=0.25)

2.4 特征提取

       为了统计每一篇文章中各个单词出现的次数,哪些分类中哪些单词出现的比较多,从而建立分类模型,同1.4所述。因此导入特征向量化方法CountVectorizer()

        然后,对用于训练的新闻数据 x_train 进行 .fit_transform() 操作,先进行fit提取特征值,再transform 将数据sparse矩阵化,统计各个单词出现次数,特征向量化方法见1.4。

       那么为什么对于测试用的新闻数据 x_test 只需要进行 transform 操作,而不需要 fit 提取特征值呢?可以简单理解为x_train 是用来建立模型的,我需要知道它有哪些特征,这些特征值如何与目标值 y_train 相对应。模型建立完成之后,测试数据 x_test 是用来检测这个模型的准确率,相当于我给这个模型传一个 sparse 矩阵,这么模型自己就会进行一个特征的提取,内部会对我对输入值进行一系列处理得到预测结果。同理,我们也需要对验证所用的x数据 news_predict_data 进行sparse矩阵化。

# 导入特征向量化方法
from sklearn.feature_extraction.text import CountVectorizer
# news_vect 接收特征向量化方法
news_vect = CountVectorizer()  
# 将x_train传入特征向量化方法
x_train = news_vect.fit_transform(x_train) #用于训练
# 测试数据矩阵化
x_test = news_vect.transform(x_test) #用于测试
# 把验证数据变成sparss矩阵,输入sparss矩阵,输出预测结果
news_predict_data = news_vect.transform(news_predict_data) 

2.5 朴素贝叶斯方法预测

首先导入朴素贝叶斯方法库 from sklearn.naive_bayes import MultinomialNB

朴素贝叶斯函数:  MultinomialNB()

MultinomialNB() 接收的参数 (alpha=1,fit_prior=True,class_prior=None)
alpha:拉普拉斯平滑系数,默认为1

朴素贝叶斯训练方法:  .fit(self, x_train, y_train, sample_weight=None)

传入的x可以是数组、列表、sparss矩阵

# 导入朴素贝叶斯方法
from sklearn.naive_bayes import MultinomialNB  
# nb接收朴素贝叶斯方法
nb = MultinomialNB()  
# 训练,传入训练的特征sparss矩阵,训练的目标值
nb.fit(x_train,y_train)
# 评分法看模型准确率,传入测试值特征sparss矩阵,和测试目标值
accuracy = nb.score(x_test,y_test) 
# 预测,输入预测所需的特征值x
result = nb.predict(news_predict_data)
评分法计算模型准确率:  .score(x_test, y_test)

根据x_test预测结果,把预测结果和真实的y_test比较,计算准确率

朴素贝叶斯预测方法:  .predict(预测所需的x数据)

此处的x数据需要输入sparse矩阵

accuracy 存放模型准确率,result 存放分类结果,最终准确率为83%,result和实际结果news_predict_target有微小偏差。


完整代码如下:
# 文档分类实战
 
#(1)数据获取
# 使用sklearn内部数据集,获取新闻分组数据
from sklearn.datasets import fetch_20newsgroups
# 指定文件下载位置,把新闻数据下载到里面
filepath = 'C:\\Users\\admin\\.spyder-py3\\test\\文件处理\\newsgroup'
newsgroups = fetch_20newsgroups(data_home = filepath)  #返回值是一个.Bunch类型数据
 
 
#(2)数据预处理
# news_names存放分类,一共20
news_names = newsgroups.target_names
# news_data中存放具体的文章,相当于x
news_data = newsgroups.data
# news_target中存放数据的目标值,即分类的结果,相当于y
news_target = newsgroups.target
 
# 取最后10行特征值作为验证集。用于预测的x
news_predict_data = news_data[-10:] 
# 最后10行目标作为验证预测结果的准确性。用于验证的y
news_predict_target = news_target[-10:]
# 用于建模的特征值删除最后10行,x
news_data = news_data[:-10]
# 用于建模的目标值删除最后10行,y
news_target = news_target[:-10]
 
 
#(3)划分测试集和训练集
from sklearn.model_selection import train_test_split
# 数据的75%用于训练,25%用于测试
x_train,x_test,y_train,y_test = train_test_split(news_data,news_target,test_size=0.25)
 
 
#(4)特征抽取
# 导入特征向量化方法
from sklearn.feature_extraction.text import CountVectorizer
news_vect = CountVectorizer()  # news_vect 接收特征向量化方法
# 将x_train传入特征向量化方法,用于统计x_train中每篇文章的单词出现了多少次,返回sparss矩阵
# fit先提取x_train的特征,transform将x_train中的数据进行sparss矩阵化
x_train = news_vect.fit_transform(x_train) #用于训练
# 上面已经进行过提取特征的操作,这一步不需要fit,直接进行transform矩阵化即可
x_test = news_vect.transform(x_test) #用于测试,我给模型一个sparss矩阵,模型给我一个预测结果
# 同理,我也需要把验证数据变成sparss矩阵,输入sparss矩阵,输出预测结果
news_predict_data = news_vect.transform(news_predict_data) 
 
 
#(5)朴素贝叶斯方法预测
from sklearn.naive_bayes import MultinomialNB  # 导入朴素贝叶斯方法
# MultinomialNB接收的参数(alpha=1,fit_prior=True,class_prior=None)
# alpha:拉普拉斯平滑系数,默认为1
# 用于训练时的fit()方法,fit(self,x,y,sample_weight=None)
# 传入的x可以是数组、列表、sparss矩阵
 
nb = MultinomialNB()  # nb接收朴素贝叶斯方法
# 训练,传入训练的特征sparss矩阵,训练的目标值
# 朴素贝叶斯训练时,只需要提取特征值fit,不需要transform对特征进行一系列操作
nb.fit(x_train,y_train)
# 评分法看模型准确率,传入测试值特征sparss矩阵,和测试目标值
accuracy = nb.score(x_test,y_test)  # 根据x_test预测结果,把预测结果和真实的y_test比较,计算准确率
# 预测,输入预测所需的特征值x(非sparss矩阵)
result = nb.predict(news_predict_data)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/139017.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

工作十年+的测试应该具备什么能力?

大概是2014年的时候,我开始接触面试工作,就是从应聘者转为面试官,记得印象深刻的是面试了一位做了8年的测试。对方气场很足,嗯,毕竟那时的我还只是一个3、4年经验的小测试,相反,印象深刻的并不是…

Mysql基本知识

1.SQL分类 DDL【data definition language】 数据定义语言,用来维护存储数据的结构 代表指令: create, drop, alter DML【data manipulation language】 数据操纵语言,用来对数据进行操作 代表指令: insert,delete,up…

十四、W5100S/W5500+RP2040树莓派Pico<NetBIOS>

文章目录 1 前言2 简介2 .1 什么是NetBIOS?2.2 NetBIOS的优点2.3 NetBIOS工作原理2.4 NetBIOS应用场景 3 WIZnet以太网芯片4 NetBIOS网络设置示例概述以及使用4.1 流程图4.2 准备工作核心4.3 连接方式4.4 主要代码概述4.5 结果演示 5 注意事项6 相关链接 1 前言 随着…

单片机定时器讲解和实现

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言一、计数器是什么?二、单片机定时器结构2.1***两个8位如何合成16位,16位如何分成两个8位***2.2 计数器的位数组合?2.3 定时功…

C# OpenCvSharp 基于直线检测的文本图像倾斜校正

效果 代码 using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.Linq; using System.Text; using System.Windows.Forms; using OpenCvSharp;namespace OpenCvSharp_基于直线检测的文本图像…

基于若依的ruoyi-nbcio流程管理系统增加读取节点扩展属性的方法

更多ruoyi-nbcio功能请看演示系统 gitee源代码地址 前后端代码: https://gitee.com/nbacheng/ruoyi-nbcio 演示地址:RuoYi-Nbcio后台管理系统 我们的在流程设计器里会根据需要再不同的节点增加扩展属性,如何动态读取这些扩展属性&#xff…

一文了解芯片测试项目和检测方法 -纳米软件

芯片检测是芯片设计、生产、制造成过程中的关键环节,检测芯片的质量、性能、功能等,以满足设计要求和市场需求,确保芯片可以长期稳定运行。芯片测试内容众多,检测方法多样,今天纳米软件将为您介绍芯片的检测项目都有哪…

下载并安装DevEco Studio 3.1,初尝鸿蒙编程

摘自华为官网 DevEco Studio 3.1配套支持HarmonyOS 3.1版本及以上的应用及服务开发,提供了代码智能编辑、低代码开发、双向预览等功能,以及轻量构建工具DevEco Hvigor 、本地模拟器,持续提升应用及服务开发效率。 下载 官网下载地址 HUAWEI…

取暖器/暖风机上架 亚马逊美国站UL1278测试标准要求

美国是一个对安全要求非常严格的国家,美国本土的所有电子产品生产企业早在很多年前就要求有相关检测。而随着亚马逊在全球商业的战略地位不断提高,境外的电子设备通过亚马逊不断涌入美国市场。“为保证消费者得安全,亚马逊始终强调带电得产品…

CSRF 漏洞验证

CSRF 漏洞验证 环境准备: dvwa csrf 为例 burpsuite 工具 dvwa靶场(CSRF) 方法一: 1.修改密码抓包 这里是为了理解先抓包查看修改密码时的数据 GET /dvwa_2.0.1/vulnerabilities/csrf/?password_newpassword&password_con…

粉够荣获淘宝联盟区域理事会常务理事,携手共铸淘客新生态

淘宝联盟区域理事会于2021年成立,首届成立成都、广州、武汉,服务近2000个领军淘宝客企业,作为区域生态与官方交流重要枢纽,理事会举办近百场交流分享会,带动淘客跨域跨业态交流成长。 2023年9月7日第二届淘宝联盟理事…

将ChatGPT集成在AR中,Snap玩出了新花样!

著名社交媒体平台Snap在官网宣布,在最新的AR开发平台Lens Studio 5.0版本中,集成ChatGPT功能。 在ChatGPT的帮助下,开发人员可以创建更多有趣、科普、对话、创意的Snapchat镜头,例如,通过ChatGPT创建无限测验和随机生…

双十一电视盒子哪个牌子好?测评工作室整理口碑电视盒子排名

在挑选电视盒子的时候,新手朋友们不知道从何下手,最近很多粉丝评论想要我们分享双11电视盒子推荐,于是我们根据用户的评价整理了目前口碑最好的电视盒子排名,给不懂电视盒子哪个牌子好的朋友们做个参考。 TOP 1、泰捷WEBOX WE40S电…

SpringBoot项目中ModelMapper配置以及使用

这里总结一下ModelMapper的使用方式,供大家参考 前言 项目中对象与对象赋值转换使用的频率非常的高,比如数据库表实体对象(Entity)与业务类对象(Model)之间的赋值传递,或者模型对象(Model)与视图对象(View…

2023数字科技生态大会-数字安全论坛 学习笔记

监管合规->价值创造的方向,在安全领域的发展方向-安全运营服务型 ICT->数字->数据 数字安全:网络安全数据安全 传统信息化以计算为核心,数字化以数据为核心 数字安全技术发展十大趋势: 一、 数字安全技术政策环境将不…

问题 C: Oil Deposits(DFS+类并查集)

核心部分: (发现时继续深度搜索,同时将该->改为 *(即田改为空)) (使所有相连的的改为空) 相当于统计了一个集合 统计进行DFS的次数(即为集合个数)&…

一站式解决文件上传与管理难题,JVS低代码平台助力企业数字化升级

在数字化时代,文件上传与管理功能已成为各类应用程序的标配。为了满足用户在不同场景下的多样化需求,JVS低代码表单引擎中配置了灵活的文件上传组件。通过该组件,用户可以轻松实现文件的上传、管理和查看,同时还能够根据具体需求进…

常用网络命令ping、arp、tracert、route的详细用法,弄懂立马成大神

你们好,我的网工朋友。 做网工,你遇到最多的问题是啥?大部分人的回答都是网络故障吧。 所以有很多朋友多次问到,如何检测网络故障和对网络进行基础的操作。比如:网络经常掉线、网络时好时坏,ip地址冲突、…

芯片设计工程师必备基本功——《设计与验证:Verilog HDL》

Verilog HDL 作为两大硬件描述语言之一,拥有很大的用户群。据调查,目前美国有 90%左右的 IC 设计人员使用 Verilog. 在中国,大概再 50% 左右的人在使用 Verilog 。 大量高校毕业生和部分软件设计人员正在不断涌入这个领域。要想尽快在 IC设计…