机器学习作业4——朴素贝叶斯分类器

目录

一、理论

一个例子：

二、代码

对于代码的解释：

1.fit函数：

2.predict函数:

三、实验结果

原因分析：

一、理论

朴素贝叶斯分类器基于贝叶斯定理进行分类，通过后验概率来判断将新数据归为哪一类。通过利用贝叶斯定理计算后验概率，并选择具有最高后验概率的类别作为预测结果，朴素贝叶斯分类器能够在考虑了先验概率和观察到的数据特征后，做出基于统计推断的分类决策，从而实现有效的分类。

步骤：

1.计算先验概率：先验概率表示了在没有任何其他信息的情况下，一个数据点属于每个类别的概率。

2.计算条件概率：条件概率表示了在给定某一类别的情况下，某个特征取某个值的概率。

3.计算后验概率：当有一个新的数据点需要分类时，朴素贝叶斯根据该数据点的特征值，利用贝叶斯定理计算每个类别的后验概率。后验概率表示了在考虑了新的观察结果后，每个类别的概率。

4.做出分类：根据计算得到的后验概率，选择具有最高后验概率的类别作为预测结果。

先验概率：

P(Y=c_k) = \frac{|D_{c_k}|}{|D|}

其中：ck是类别，D是数据数量，Dck是类别为ck的数据数量。

条件概率：

P(X^{(i)}=a_{i,j}|Y=c_k) = \frac{|D_{c_k}^{(i)}(a_{i,j})|}{|D_{c_k}|}

其中：Xi代表第i个特征，ai,j代表第i个特征中第j个类型，D_{c_k}^{(i)}(a_{i,j})代表在类别为ck时，在第i个特征中的第j个类型的数量。

后验概率：

P(Y=c_k|X=x) = \frac{P(Y=c_k) \cdot \prod_{j=1}^{n} P(X^{(j)}=x^{(j)}|Y=c_k)}{\sum_{i=1}^{K} P(Y=c_i) \cdot \prod_{j=1}^{n} P(X^{(j)}=x^{(j)}|Y=c_i)}

因为我们只需要分类，因为不同后验概率分母都相同，所以可以把分母去掉，只需要比较分子的大小即可，即：

P(Y=c_k|X=x) = {P(Y=c_k) \cdot \prod_{i=1}^{n} P(X^{(i)}=x^{(i)}|Y=c_k)}

其中：\prod_{i=1}^{n} P(X^{(i)}=x^{(i)}|Y=c_k)代表当前测试数据的每个类型为xi，在ck类别下的条件概率的连乘积。

可以看到公式简洁了不少。

一个例子：

假设数据集：

特征1特征2类别
11A
10A
01B
01A
10B

现在预测一个特征1为1，特证2为1的测试元组是什么类别。

首先计算类别的先验概率和所有条件概率：

P(A)= 3/5，P(B)= 2/5

对于特征1：
P1(1∣A)= 2/3，P1(1 | B)= 1/2，

对于特征2：

P2(1 | A) = 2/3，P2(1 | B) = 1/2

然后计算预测为A和B的后验概率，并比较大小，得出结果

P(A|X) = P(A)*P1(1∣A)*P2(1 | A) = 4/15
P(B|X) = P(B)*P1(1 | B)*P2(1 | B) = 1/10

可以看到P(A|X)比较大，所以是A类​

 

二、代码

import numpy as np  
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, f1_score, precision_score, recall_score 

class NaiveBayesClassifier:
    def __init__(self):
        self.class_prior = {}  # 存储类别的先验概率
        self.feature_prob = {}  # 存储特征在各个类别下的条件概率

    def fit(self, X, y):
        n_samples, n_features = X.shape  # 获取样本数和特征数
        self.classes = np.unique(y)  # 获取目标标签中的唯一类别值
        
        print("计算先验概率:")
        for c in self.classes:
            # 统计每个类别在目标标签中的出现次数，并除以样本总数，得到先验概率
            self.class_prior[c] = np.sum(y == c) / n_samples
            print("先验概率: 类别， 概率 "+repr(c)+" "+repr(self.class_prior[c]))

        # 外层循坏遍历类别，内层循环遍历每个特征，内层循环每次要计算出每个特征下不同取值的在当前类别下的条件概率，存放到[c][feature_index]下
        print("计算条件概率：")
        for c in self.classes:
            self.feature_prob[c] = {}  # 初始化存储特征条件概率的字典
            for feature_index in range(n_features):
                # 对于每个特征，统计在当前类别下的取值及其出现次数，并除以总次数，得到条件概率
                # values是feature_index列中不同的取值，counts是这些不同取值的个数（在类别为C下的）
                values, counts = np.unique(X[y == c, feature_index], return_counts=True)
                self.feature_prob[c][feature_index] = dict(zip(values, counts / np.sum(counts)))#dict是变为以values和counts/np.sum的字典，zip就是一个方便的操作
                for i in range(len(counts)):
                    print("条件概率：P(" + repr(values[i]) + "|" + repr(c) + ") = " + repr(self.feature_prob[c][feature_index][values[i]]))

    def predict(self, X):
        predictions = []  # 存储预测结果的列表
        #对于测试集中的每个元素
        cnt = 0
        for x in X:
            print("\n对于第" + repr(cnt) + "个测试集：")
            cnt+=1
            max_posterior_prob = -1  # 最大后验概率初始化为-1
            predicted_class = None  # 预测类别初始化为空
            #对于每个类别
            for c in self.classes:
                # 计算后验概率，先验概率乘以各个特征的条件概率
                posterior_prob = self.class_prior[c]
                print("对于类别"+repr(c)+" = "+"[先验"+repr(self.class_prior[c])+"]", end = '')
                #对于每个特征
                for feature_index, feature_value in enumerate(x):
                    if feature_value in self.feature_prob[c][feature_index]:
                        print(" * [P("+ repr(feature_value) + "|" + repr(c) + ") = " + repr(self.feature_prob[c][feature_index][feature_value]) + "]", end = '')
                        posterior_prob *= self.feature_prob[c][feature_index][feature_value]
                    else:
                        print(" * 1")
                # 更新预测值
                print(" = " + repr(posterior_prob))
                if posterior_prob > max_posterior_prob:
                    max_posterior_prob = posterior_prob
                    predicted_class = c
            predictions.append(predicted_class)  # 将预测结果添加到列表中
        return predictions  # 返回预测结果列表


data = {
    'outlook': ['sunny', 'sunny', 'overcast', 'rain', 'rain', 'rain', 'overcast', 'sunny', 'sunny', 'rain', 'rain', 'overcast', 'overcast', 'rain'],
    'temperature': ['hot', 'hot', 'hot', 'mild', 'cool', 'cool', 'cool', 'mild', 'cool', 'mild', 'mild', 'mild', 'hot', 'mid'],
    'humidity': ['high', 'high', 'high', 'high', 'normal', 'normal', 'normal', 'high', 'normal', 'normal', 'normal', 'high', 'normal', 'high'],
    'wind': ['weak', 'strong', 'weak', 'weak', 'weak', 'strong', 'strong', 'weak', 'weak', 'weak', 'strong', 'strong', 'weak', 'strong'],
    'playtennis': ['no', 'no', 'yes', 'yes', 'yes', 'no', 'yes', 'no', 'yes', 'yes', 'yes', 'yes', 'yes', 'no']
}
#创建DataFrame
df = pd.DataFrame(data)
X = df.drop('playtennis', axis=1)#axis=1删除列，=0删除行
y = df['playtennis']

# 将数据集分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=3)
X_train = X_train.values#化为二维数组，便于遍历
X_test = X_test.values
y_train = y_train.values
y_test = y_test.values

print("训练集：")
for i in range(len(y_train)):
    print(repr(i)+": "+repr(X_train[i])+"  "+repr(y_train[i]))
print("测试集：")
for i in range(len(y_test)):
    print(repr(i)+": "+repr(X_test[i])+"  "+repr(y_test[i]))


nb_classifier = NaiveBayesClassifier()
nb_classifier.fit(X_train, y_train)


y_pred = nb_classifier.predict(X_test)
print("预测结果：")
for i in range(len(y_pred)):
    print(repr(i)+"正确,预测: "+repr(y_test[i])+", "+repr(y_pred[i]))

accuracy = accuracy_score(y_test, y_pred)
precision = precision_score(y_test, y_pred, pos_label='yes')
recall = recall_score(y_test, y_pred, pos_label='yes')
f1 = f1_score(y_test, y_pred, pos_label='yes')
print("准确率:", accuracy)  
print("精确率:", precision)  
print("召回率:", recall)  
print("f1:", f1)

对于重要代码的解释：

1.fit函数：

      训练测试集的主要代码，先把训练集中所有的条件概率和先验概率算出来，在后面的预测中会使用到。

先验概率：

print("计算先验概率:")
        for c in self.classes:
            # 统计每个类别在目标标签中的出现次数，并除以样本总数，得到先验概率
            self.class_prior[c] = np.sum(y == c) / n_samples
            print("先验概率: 类别， 概率 "+repr(c)+" "+repr(self.class_prior[c]))

所有条件概率：

print("计算条件概率：")
        for c in self.classes:
            self.feature_prob[c] = {}  # 初始化存储特征条件概率的字典
            for feature_index in range(n_features):
                # 对于每个特征，统计在当前类别下的取值及其出现次数，并除以总次数，得到条件概率
                # values是feature_index列中不同的取值，counts是这些不同取值的个数（在类别为C下的）
                values, counts = np.unique(X[y == c, feature_index], return_counts=True)
                self.feature_prob[c][feature_index] = dict(zip(values, counts / np.sum(counts)))
                for i in range(len(counts)):
                    print("条件概率：P(" + repr(values[i]) + "|" + repr(c) + ") = " + repr(self.feature_prob[c][feature_index][values[i]]))

 结果：

2.predict函数:

这个函数用于测试集的预测，对于测试集中的每个元组，都要对于所有类别，计算一次该类别下的后验概率，然后选择所有类别中后验概率最大的，作为预测结果，而每个后验概率，通过该元组下的每个特征下的类型对应的条件概率的累乘和该类别的先验概率的乘积来确定。

对于每个元组：

for x in X:
            print("\n对于第" + repr(cnt) + "个测试集：")
            cnt+=1
            max_posterior_prob = -1  # 最大后验概率初始化为-1
            predicted_class = None  # 预测类别初始化为空

对于每个类别：

for c in self.classes:
                posterior_prob = self.class_prior[c]

对于每个特征：

for feature_index, feature_value in enumerate(x):
                    if feature_value in self.feature_prob[c][feature_index]:
                        print(" * [P("+ repr(feature_value) + "|" + repr(c) + ") = " + repr(self.feature_prob[c][feature_index][feature_value]) + "]", end = '')
                        posterior_prob *= self.feature_prob[c][feature_index][feature_value]
                    else:
                        print(" * 1")

每次计算完后，维护最大值以及类型：

if posterior_prob > max_posterior_prob:
                    max_posterior_prob = posterior_prob
                    predicted_class = c

每个元组计算完后，添加到预测数组中，最后返回预测数组即可。

三、实验结果

上图是最好的一个实验结果，所有指标为1，其他的实验结果准确率较低

原因分析：

        这个训练集数据过小，但是特征和每个特征中的类型又比较多，再加上测试集一共就13条，数据使用不同的随机种子会使得一些测试集中的特征在不同类别下的条件概率没有出现过，因为没有出现过，直接就不处理这个特征了，就容易出现误差。

例如：

当随机种子为1时：

当随机种子为4时：

朴素贝叶斯分类器优缺点分析：

优点：

  1. 适用广：朴素贝叶斯算法在处理大规模数据时表现良好，适用于许多实际问题。

  2. 对小规模数据表现良好：即使在小规模数据集上，朴素贝叶斯分类器也能有好的结果。

  3. 对缺失数据不敏感：朴素贝叶斯算法对缺失数据不敏感，即使有部分特征缺失或者未出现，仍然可以有效地进行分类。

缺点：

  1. 假设过于简化：朴素贝叶斯假设特征之间相互独立，在现实中，数据一般难以是真正独立的，因此会导致结果不准确。

  2. 处理连续性特征较差：朴素贝叶斯算法通常假设特征是离散的，对于连续性特征的处理不够灵活，可能会影响分类性能。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/618684.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

“知识世界”项目的自动化测试

“知识世界”项目的自动化测试

目录 1.项目介绍 1.1 项目功能介绍 2. 项目测试 2.1 需求分析 2.2 测试计划 2.3 设计测试用例 （1） 设计 登录 的测试用例 （2）设计 文章列表页 的测试用例 （3）设计 详情页 的测试用例 &#xff08…
阅读更多...
线下研讨会 技术沙龙｜乐鑫芯片与 ESP RainMaker® 为科技初创企业赋能

线下研讨会 技术沙龙｜乐鑫芯片与 ESP RainMaker® 为科技初创企业赋能

众多科技初创企业在智能硬件市场迅猛发展的背景下，对不断变化的需求展现出了高度的敏锐性，期望能够快速将其转化为切实的产品方案。然而，面对复杂繁重的软硬件集成任务，这些企业往往容易陷入研发瓶颈、资金短缺以及效率低下等多重…
阅读更多...
BGP综合大实验

BGP综合大实验

实验要求 1.AS1中存在两个环回，一个地址是192.168.1.0/24，改地址不能在任何协议中宣告；AS3中存在两个环回，一个地址为192.168.2.0/24，该地址不能在任何协议中宣告，最终要求这两个环回可以ping通&#xff1b…
阅读更多...
【超详细】跑通YOLOv8之深度学习环境配置1

【超详细】跑通YOLOv8之深度学习环境配置1

环境配置1下载安装内容如下： Anaconda：https://www.anaconda.com/download/success VScode：https://code.visualstudio.com/Download Pycharm：https://www.jetbrains.com/pycharm/download/?sectionwindows Visual Studio2019&a…
阅读更多...
Linunx应急响应

Linunx应急响应

Linux应急流程 1,请提交攻击者的 IP 地址2,请提交攻击者使⽤的操作系统3,请提交攻击者进⼊⽹站后台的密码4,请提交攻击者⾸次攻击成功的时间，格式：DD/MM/YY:hh:mm:ss5,请提交攻击者上传的恶意⽂件名（含路径）6,请提交攻击者写⼊的恶…
阅读更多...
Python vs MATLAB：选择深度学习的首选编程语言

Python vs MATLAB：选择深度学习的首选编程语言

Python vs MATLAB：选择深度学习的首选编程语言 在深度学习领域，编程语言的选择对于初学者的学习路径和未来的职业发展至关重要。目前，Python和MATLAB都是进行科学计算和数据分析的流行工具，但它们在深度学习社区中的应用和受欢迎…
阅读更多...
天机学堂—学习辅助功能（含场景问答和作业）

天机学堂—学习辅助功能（含场景问答和作业）

我的课表 需求分析 原型图 管理后台 用户端 流程图 数据设计 接口设计 支付成功报名课程后, 加入到我的课表(MQ)分页查询我的课表查询我正在学习的课程根据id查询指定课程的学习状态删除课表中的某课程 代码实现 数据表设计 添加课程到课表（非标准接口&#x…
阅读更多...
猫头虎分享已解决Bug || **Babel转换器下载问题** Failed to resolve babel-loader dependency`

猫头虎分享已解决Bug || **Babel转换器下载问题** Failed to resolve babel-loader dependency`

猫头虎分享已解决Bug 🐯 || Babel转换器下载问题 🚫Failed to resolve babel-loader dependency 博主猫头虎的技术世界 🌟 欢迎来到猫头虎的博客 — 探索技术的无限可能！ 专栏链接： 🔗 精选专栏&#xff1a…
阅读更多...
网络 | 应用层-websocket协议报文格式解析

网络 | 应用层-websocket协议报文格式解析

websocket的官方文档为rfc(request for comments)，是网络协议的规范文档。它包含了许多计算机世界的核心知识 除了这里的websocket，它里边还包含我们熟知的http,tcp等协议的解析。 websocket协议对应的编号是rfc 6455 websocket协议格式解析 由图可知&a…
阅读更多...
【RAG论文】RAG中半结构化数据的解析和向量化方法

【RAG论文】RAG中半结构化数据的解析和向量化方法

论文简介 论文题目： 《A Method for Parsing and Vectorization of Semi-structured Data used in Retrieval Augmented Generation》 论文链接： https://arxiv.org/abs/2405.03989 代码: https://github.com/linancn/TianGong-AI-Unstructure/tree/m…
阅读更多...
数据结构学习/复习13

数据结构学习/复习13

一、选择排序 1.直接选择排序 2.堆排序 3.性能测试 二、交换排序 1.冒泡排序 2.快速排序 1.Hore版(递归) 2.随机选关键字Hore版(递归) 3.三数取中Hore版(递归) 3.挖坑法改进Hore版(递归) 4.前后指针法 5.小区间优化 5.性能测试 注意事项1：关键字选取时&#xff0c…
阅读更多...
微服务架构与单体架构

微服务架构与单体架构

微服务架构与与单体架构比较 微服务架构是一种将应用程序作为一组小的、独立服务的系统架构风格，每个服务运行在其自己的进程中，并通常围绕业务能力组织。这些服务通过定义良好且轻量级的机制（通常是HTTP REST API）进行通信。微服…
阅读更多...
常用的简单友好的工单系统（免费）- WGCAT

常用的简单友好的工单系统（免费）- WGCAT

最近在项目中，有工单系统的需求场景，所以想寻找一款轻量简单的运维工单软件，主要用来记录和处理工作中的一些故障、维护，主要用来记录设备的维护状态，包括服务器、主机、交换机那些 WGCAT，是一款简单轻量的…
阅读更多...
上位机图像处理和嵌入式模块部署（树莓派4b的软件源）

上位机图像处理和嵌入式模块部署（树莓派4b的软件源）

【 声明：版权所有，欢迎转载，请勿用于商业用途。 联系信箱：feixiaoxing 163.com】 很多文章都建议替换一下树莓派4b的软件源，不过我自己实际使用下来，官方的软件下载速度其实还可以。这里下载的时候&#xf…
阅读更多...
前端Vue架构

前端Vue架构

1 理解： 创建视图的函数（render）和数据之间的关联； 当数据发生变化的时候，希望render重新执行； 监听数据的读取和修改； defineProperty：监听范围比较窄，只能通过属性描…
阅读更多...
QX---mini51单片机学习---（8）8*8点阵屏

QX---mini51单片机学习---（8）8*8点阵屏

目录 1LED点阵屏简绍 2 8*8点阵屏电路图74 3 74HC595芯片 4实践编程 1LED点阵屏简绍 2 8*8点阵屏电路图74 怎么点亮，正极给高负极给低 不能同时静态显示，跟数码管动态显示一样，反复横跳，利用视觉效果 3 74HC595芯片 …
阅读更多...
kilimall非洲电商培训，基础版+进阶版+高阶版 从0-1个人可入驻的平台（12节）

kilimall非洲电商培训，基础版+进阶版+高阶版 从0-1个人可入驻的平台（12节）

亲爱的朋友们，你们知道吗？有一个神奇的电商平台——kilimall，它可以帮助你实现创业梦想，让你走上财富之路！ 首先，让我给大家介绍kilimall的基础版。基础版针对的是0经验的小白，提供了详细的教程…
阅读更多...
有没有适合女生或者宝妈下班后可以做的副业？

有没有适合女生或者宝妈下班后可以做的副业？

宝妈与上班族女生的新篇章：水牛社副业兼职之旅 在繁忙的职场和温馨的家庭之间，不少女性渴望找到一种既能兼顾家庭又能实现自我价值的兼职方式。对于上班族女生和宝妈们来说，水牛社这样的线上任务平台为她们提供了一个全新的选择。 上班族女…
阅读更多...
MFC的CPen与CBush画图对象使用步骤

MFC的CPen与CBush画图对象使用步骤

在MFC中，CPen和CBrush是两个常用的绘图对象，分别用于定义画笔和画刷，可以用于绘制图形、填充区域等。下面我会详细介绍如何在MFC中使用CPen和CBrush来绘制和填充图形。 使用 CPen 绘制图形： 创建 CPen 对象： 首先&am…
阅读更多...
2000-2022年各地级市知识产权审判结案数数据

2000-2022年各地级市知识产权审判结案数数据

2000-2022年各地级市知识产权审判结案数数据 1、时间：2000-2022年 2、指标：城市知识产权审判结案数 3、来源：整理自北大法宝 4、范围：287个地级市 5、用途：可用于衡量地级市知识产权保护水平 6、指标解释&#x…
阅读更多...
最新文章

Copyright @ 2022~2023