数据分析实战 | 贝叶斯分类算法——病例自动诊断分析

目录

一、数据及分析对象

二、目的及分析任务

三、方法及工具

四、数据读入

五、数据理解

六、数据准备

七、模型训练

八、模型评价

九、模型调参

十、模型预测

一、数据及分析对象

CSV文件——“bc_data.csv”

数据集链接：https://download.csdn.net/download/m0_70452407/88524905

该数据集主要记录了569个病例的32个属性，主要属性/字段如下：

（1）ID：病例的ID。

（2）Diagnosis（诊断结果）：M为恶性，B为良性。该数据集共包含357个良性病例和212个恶性病例。

（3）细胞核的10个特征值，包括radius（半径）、texture（纹理）、perimeter（周长）、面积（area）、平滑度（smoothness）、紧凑度（compactness）、凹面（concavity）、凹点（concave points）、对称性（symmetry）和分形维数（fractal dimension）等。同时，为上述10个特征值分别提供了3种统计量，分别为均值（mean）、标准差（standard error）和最大值（worst or largest）。

二、目的及分析任务

理解机器学习方法在数据分析中的应用——采用朴素贝叶斯算法进行分类分析。

（1）以一定比例将数据集划分为训练集和测试集。

（2）利用训练集进行朴素贝叶斯算法的建模。

（3）使用朴素贝叶斯分类模型在测试集上对诊断结果进行预测。

（4）将朴素贝叶斯分类模型对诊断结果的分类预测与真实的诊断结果进行对比分析，验证朴素贝叶斯分类模型的有效性。

三、方法及工具

Python语言及scikit-learn包。

四、数据读入

import pandas as pd
df=pd.read_csv("D:\\Download\\JDK\\数据分析理论与实践by朝乐门_机械工业出版社\\第4章 分类分析\\bc_data.csv"
                   ,header=0)
df.head()

五、数据理解

查看数据集中是否存在缺失值，可以使用pandas包的isnull()方法判断数据是否存在空值，并结合any()方法查看每个特征中是否存在缺失值。

df.isnull().any()
id                         False
diagnosis                  False
radius_mean                False
texture_mean               False
perimeter_mean             False
area_mean                  False
smoothness_mean            False
compactness_mean           False
concavity_mean             False
concave points_mean        False
symmetry_mean              False
fractal_dimension_mean     False
radius_se                  False
texture_se                 False
perimeter_se               False
area_se                    False
smoothness_se              False
compactness_se             False
concavity_se               False
concave points_se          False
symmetry_se                False
fractal_dimension_se       False
radius_worst               False
texture_worst              False
perimeter_worst            False
area_worst                 False
smoothness_worst           False
compactness_worst          False
concavity_worst            False
concave_points_worst       False
symmetry_worst             False
fractal_dimension_worst    False
dtype: bool

从输出结果可以看出，数据集中不存在缺失值。

对数据框df进行探索性分析，这里采用的实现方式为调用pandas包中数据框的describe()方法。

df.describe()

除了describe()方法，还可以调用shape属性对数据框进行探索性分析。

df.shape
(569, 32)

六、数据准备

本项目的分类任务属于二分类任务，需要将数据框df中诊断结果“diagnosis”的值转换为0和1的数值类型，这里使用scikit-learn包中preprocessing模块的LabelEncoder()方法。

from sklearn.preprocessing import LabelEncoder
encoder=LabelEncoder()
df['diagnosis']=encoder.fit_transform(df['diagnosis'])
df

可以看出原先诊断结果diagnosis从M（表示恶性）和B（表示良性）转换成1（表示恶性）和0（表示良性）。

将数据集以7：3的比例分为训练集和测试集，这里首先将细胞核的特征集（即数据框df中除了前两列的数据集）赋值到变量x中，并将诊断结果赋值到变量y中以便后续使用。接着使用scikit-learn包中model_selection模块的train_test_split()方法进行数据集的划分。

from sklearn.model_selection import train_test_split
x=df.iloc[:,2:]
y=df['diagnosis']
x_train,x_test,y_train,y_test=train_test_split(x,y,
                                               test_size=0.3,
                                               random_state=40,stratify=y)

七、模型训练

scikit-learn包中naive_bayes模块里根据特征类型和分布提供了多个不同的模型，如GaussianNB、BernoulliNB以及MultinomialNB。其中：

（1）GaussianNB假设数据符合正态分布，是用于连续值较多的特征。

（2）BernoulliNB是用于二元离散值得特征。

（3）MultinomialNB是用于多元离散的特征。

这里的数据集的特征均为连续变量，因此使用GaussianNB进行模型的训练。

from sklearn.naive_bayes import GaussianNB
gnb_clf=GaussianNB()
gnb_clf.fit(x_train,y_train)
GaussianNB()

八、模型评价

这里使用准确率、精确率、召回率和f1值对模型进行评价，scikit-learn中的metrics模块提供了accuracy_score()、precision_score(),recall_score(),f1_score()方法。

from sklearn.metrics import accuracy_score,precision_score,recall_score,f1_score
gnb_ypred=gnb_clf.predict(x_test)
print("准确率：%f,\n精确率：%f,\n召回率：%f,\nf1值：%f."
      %(accuracy_score(y_test,gnb_ypred),precision_score(y_test,gnb_ypred)
        ,recall_score(y_test,gnb_ypred),f1_score(y_test,gnb_ypred)))
准确率：0.935673,
精确率：0.964912,
召回率：0.859375,
f1值：0.909091.

九、模型调参

GaussianNB可输入两个参数prior和var_smoothing。prior用于定义样本类别的先验概率，默认情况下会根据数据集计算先验概率，因此一般不对prior进行设置。var_smoothing的默认值为1e-9，通过设置特征的最大方差，进而以给定的比例添加到估计的方差中，主要用于控制模型的稳定性。

这里调用scikit-learn包model_selection模块中的网络搜索功能，即GridSearchCV()方法对模型进行调参。先定义一个变量params来存储alpha的不同取值（这里假设var_smoothing的取值范围为[1e-7,1e-8,1e-9,1e-10.1e-11,1e-12])。

from sklearn.model_selection import GridSearchCV
params={'var_smoothing':[1e-7,1e-8,1e-9,1e-10,1e-11,1e-12]}
gnb_grid_clf=GridSearchCV(GaussianNB(),params,cv=5,verbose=2)
gnb_grid_clf.fit(x_train,y_train)
Fitting 5 folds for each of 6 candidates, totalling 30 fits
[CV] END ................................var_smoothing=1e-07; total time=   0.0s
[CV] END ................................var_smoothing=1e-07; total time=   0.0s
[CV] END ................................var_smoothing=1e-07; total time=   0.0s
[CV] END ................................var_smoothing=1e-07; total time=   0.0s
[CV] END ................................var_smoothing=1e-07; total time=   0.0s
[CV] END ................................var_smoothing=1e-08; total time=   0.0s
[CV] END ................................var_smoothing=1e-08; total time=   0.0s
[CV] END ................................var_smoothing=1e-08; total time=   0.0s
[CV] END ................................var_smoothing=1e-08; total time=   0.0s
[CV] END ................................var_smoothing=1e-08; total time=   0.0s
[CV] END ................................var_smoothing=1e-09; total time=   0.0s
[CV] END ................................var_smoothing=1e-09; total time=   0.0s
[CV] END ................................var_smoothing=1e-09; total time=   0.0s
[CV] END ................................var_smoothing=1e-09; total time=   0.0s
[CV] END ................................var_smoothing=1e-09; total time=   0.0s
[CV] END ................................var_smoothing=1e-10; total time=   0.0s
[CV] END ................................var_smoothing=1e-10; total time=   0.0s
[CV] END ................................var_smoothing=1e-10; total time=   0.0s
[CV] END ................................var_smoothing=1e-10; total time=   0.0s
[CV] END ................................var_smoothing=1e-10; total time=   0.0s
[CV] END ................................var_smoothing=1e-11; total time=   0.0s
[CV] END ................................var_smoothing=1e-11; total time=   0.0s
[CV] END ................................var_smoothing=1e-11; total time=   0.0s
[CV] END ................................var_smoothing=1e-11; total time=   0.0s
[CV] END ................................var_smoothing=1e-11; total time=   0.0s
[CV] END ................................var_smoothing=1e-12; total time=   0.0s
[CV] END ................................var_smoothing=1e-12; total time=   0.0s
[CV] END ................................var_smoothing=1e-12; total time=   0.0s
[CV] END ................................var_smoothing=1e-12; total time=   0.0s
[CV] END ................................var_smoothing=1e-12; total time=   0.0s
GridSearchCV(cv=5, estimator=GaussianNB(),
             param_grid={'var_smoothing': [1e-07, 1e-08, 1e-09, 1e-10, 1e-11,
                                           1e-12]},
             verbose=2)

这里在GridSearchCV()方法中传入了GaussianNB模型、需优化的参数取值变量params、交叉验证的参数cv（这里设置了五折交叉验证）以及显示训练日志参数verbose（verbose取值为0时不显示训练过程，取值为1时偶尔输出训练过程，取值>1时对每个子模型都输出训练过程。

接着使用GridSearchCV中的best_params_查看准确率最高的模型参数。

gnb_grid_clf.best_params_
{'var_smoothing': 1e-10}

由此可知，在给定的var_smoothing取值范围内，当取值为1e-10时模型的准确率最高。

十、模型预测

模型的预测可通过训练好的模型的predict()方法使用，这里使用默认的情况下和调参后 的两个GaussianNB模型对测试集进行分类预测，并使用模型评价方法进行比较。

首先使用默认情况下的GaussianNB对测试集进行分类预测，然后将分类结果存储到变量gnb_ypred中，并输出模型的准确率、精确率、召回率以及f1值。

gnb_ypred=gnb_clf.predict(x_test)
print("准确率：%f,\n精确率：%f,\n召回率：%f,\nf1值：%f."
      %(accuracy_score(y_test,gnb_ypred),precision_score(y_test,gnb_ypred)
        ,recall_score(y_test,gnb_ypred),f1_score(y_test,gnb_ypred)))
准确率：0.935673,
精确率：0.964912,
召回率：0.859375,
f1值：0.909091.

接着，使用调参后的GaussianNB对测试集进行分类预测，然后将分类结果存储到tuned_ypred中，并输出模型的准确率、精确率、召回率以及f1值。

tuned_ypred=gnb_grid_clf.best_estimator_.predict(x_test)
print("准确率：%f,\n精确率：%f,\n召回率：%f,\nf1值：%f."
      %(accuracy_score(y_test,tuned_ypred),precision_score(y_test,tuned_ypred)
        ,recall_score(y_test,tuned_ypred),f1_score(y_test,tuned_ypred)))
准确率：0.941520,
精确率：0.965517,
召回率：0.875000,
f1值：0.918033.
tuned=GaussianNB(var_smoothing=1e-10)
tuned.fit(x_train,y_train)
tuned_ypred1=tuned.predict(x_test)
print("准确率：%f,\n精确率：%f,\n召回率：%f,\nf1值：%f."
      %(accuracy_score(y_test,tuned_ypred1),precision_score(y_test,tuned_ypred1)
        ,recall_score(y_test,tuned_ypred1),f1_score(y_test,tuned_ypred1)))
tuned=GaussianNB(var_smoothing=1e-10)
tuned.fit(x_train,y_train)
tuned_ypred1=tuned.predict(x_test)
print("准确率：%f,\n精确率：%f,\n召回率：%f,\nf1值：%f."
      %(accuracy_score(y_test,tuned_ypred1),precision_score(y_test,tuned_ypred1)
        ,recall_score(y_test,tuned_ypred1),f1_score(y_test,tuned_ypred1)))

可见，通过调参GaussianNB，在4个评价指标上均得到一定的提高。 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/132767.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

RocketMQ(一)：基本概念和环境搭建

RocketMQ(一)：基本概念和环境搭建

Spring源码系列文章 RocketMQ(一)：基本概念和环境搭建 目录 一、RocketMQ简介二、各个MQ产品的比较三、RocketMQ重要概念1、基本概念2、消息从发送到被消费的的流程3、生产和消费理解 四、RocketMQ安装1、下载RocketMQ2、解压并配置环境变量3、修改nameServer的运行…
阅读更多...
微软和Red Hat合体：帮助企业更方便部署容器

微软和Red Hat合体：帮助企业更方便部署容器

早在2015年，微软就已经和Red Hat达成合作共同为企业市场开发基于云端的解决方案。时隔两年双方在企业市场的多个方面开展更紧密的合作，今天两家公司再次宣布帮助企业更方便地部署容器。 双方所开展的合作包括在微软Azure上部署Red Hat OpenShift&#xf…
阅读更多...
学习c#的第四天

学习c#的第四天

目录 C# 变量 C# 中的变量定义与初始化 接受来自用户的值 C# 中的 Lvalues 和 Rvalues 不同类型变量进行运算 静态变量 局部变量 C# 常量 整数常量 浮点常量 字符常量 字符串常量 定义常量 扩展知识 Convert.ToDouble 与 Double.Parse 的区别 静态常量和动态常…
阅读更多...
Vue中的常用指令v-html / v-show / v-if / v-else / v-on / v-bind / v-for / v-model

Vue中的常用指令v-html / v-show / v-if / v-else / v-on / v-bind / v-for / v-model

前言 持续学习总结输出中，Vue中的常用指令v-html / v-show / v-if / v-else / v-on / v-bind / v-for / v-model 概念：指令（Directives）是Vue提供的带有 v- 前缀 的特殊标签属性。可以提高操作 DOM 的效率。 vue 中的指令按照不…
阅读更多...
Hadoop入门——数据分析基本步骤

Hadoop入门——数据分析基本步骤

文章目录 1.概述2.分析步骤2.1第一步 明确分析目的和思路2.2第二步 数据收集2.3第三步 数据处理2.4第四步 数据分析2.5第五步 数据展现2.6第六步 报告撰写 3.总结 1.概述 2.分析步骤 2.1第一步 明确分析目的和思路 2.2第二步 数据收集 2.3第三步 数据处理 2.4第四步 数据分析 …
阅读更多...
Java Web——HTTP协议

Java Web——HTTP协议

目录 1. HTTP协议概述 1.1. HTTP数据传输格式 1.2. HTTP协议特点 2. HTTP 1.0和HTTP 1.1 3. HTTP请求协议 3.1. GET方式请求协议 3.2. POST方式请求协议 3.3. GET请求和POST请求的区别 4. HTTP相应协议 4.1. 响应状态码 如果两个国家进行会晤需要遵守一定的礼节。所以…
阅读更多...
ConcurrentHashMap详解

ConcurrentHashMap详解

要避免 HashMap 的线程安全问题，有多个解决方法，比如改用 HashTable 或者 Collections.synchronizedMap() 方法。 但是这两者都有一个问题，就是性能，无论读还是写，他们两个都会给整个集合加锁，导致同一时间…
阅读更多...
顺序图——画法详解

顺序图——画法详解

百度百科的定义： 顺序图是将交互关系表示为一个二维图。纵向是时间轴，时间沿竖线向下延伸。横向轴代表了在协作中各独立对象的类元角色。类元角色用生命线表示。当对象存在时，角色用一条虚线表示，当对象的过程处于激活状态时&…
阅读更多...
逐步学习 Swagger enum：从入门到精通

逐步学习 Swagger enum：从入门到精通

enum 是 Swagger 规范中用来定义枚举类型的一种方式。它允许开发者在 API 文档中明确列出该接口的参数、返回值或请求体中可接受的枚举值。通过使用 Swagger enum，开发者可以更清晰地描述 API 的输入和输出，提高 API 文档的可读性和可维护性。 enum 使用…
阅读更多...
ROS 多级tf坐标转换

ROS 多级tf坐标转换

题目 现有一移动机器人，该机器人的基坐标系为“base_link”，机器人包含3个子坐标系分别为“joint1”，“joint2”，“joint3”。 要求：利用多坐标转换，实现joint1下的坐标向joint2下的坐标转换，…
阅读更多...
YOLOv8-seg改进：复现HIC-YOLOv5，HIC-YOLOv8-seg助力小目标分割

YOLOv8-seg改进：复现HIC-YOLOv5，HIC-YOLOv8-seg助力小目标分割

🚀🚀🚀本文改进：HIC-YOLOv8-seg：1)添加一个针对小物体的额外预测头，以提供更高分辨率的特征图2）在backbone和neck之间采用involution block来增加特征图的通道信息；3）在主干网末端加入 CBAM 的注意力机制； 🚀🚀🚀HIC-YOLOv8-seg小目标分割检测&复杂场景…
阅读更多...
find和grep命令的简单使用

find和grep命令的简单使用

find和grep命令的简单使用 一、find例子--不同条件查找 二、grep正则表达式的简单说明例子--简单文本查找例子--结合管道进行查找 一、find find 命令在指定的目录下查找对应的文件。 find [path] [expression]● path 是要查找的目录路径，可以是一个目录或文件名…
阅读更多...
Vue3-组合式API下的父传子和子传父

Vue3-组合式API下的父传子和子传父

组合式API下的父传子 基本思想： 1.父组件中给子组件绑定组件 2.子组件内部通过props选项接收 const propsdefineProps({属性名:类型}) 由于script上写了setup，所以无法直接配置props选项，所以需要借助于“编译器宏”函数接收传递的数据 …
阅读更多...
GPT4 Turbo 究竟更新了什么

GPT4 Turbo 究竟更新了什么

GPT4 Turbo 究竟更新了什么 记忆力和上下文理解能力增强 现在的GPT4可以理解128K的文本，相当于几百页的内容，你的GPT4再也不会忘记你之前说的什么了，换句话说之前他只能记住一篇文章，而现在可以记住一整本书的内容了 API降价 输入…
阅读更多...
基于FANUC工业机器人的坐标系转换、多视角拼接与三维重建

基于FANUC工业机器人的坐标系转换、多视角拼接与三维重建

0.简介 总体任务：机械臂末端安装三维相机，绕着工件进行拍摄，并在计算机中将每次拍摄的点云合并在同一个坐标系下，从而获得更加完整全面的点云。机械臂：FANAUC相机：梅卡曼德技术方案：使用相机外…
阅读更多...
零代码+分布式微服务架构打造新一代一站式服务集成平台

零代码+分布式微服务架构打造新一代一站式服务集成平台

目 录 01 项目背景 02 普元ESB产品介绍 03 新版本功能特性 04 应用案例‍‍‍‍ 05 展望与发展 01 项目背景 企业在实现数字化转型的过程中，随着信息化程度的提高，越来越多的企业开始采用微服务架构来构建自己的业务系统,各种系统之间的集成、数据共享…
阅读更多...
k8s上对Pod的管理部分详解

k8s上对Pod的管理部分详解

目录 一.Pod结构介绍 1.user container 2.pause 二.Pod工作形式介绍 1.自主式pod 2.控制器管理下的pod 三.对Pod的操作介绍 1.run/apply -f/create -f运行pod 2.get查看pod信息 3.exec操作运行中的pod （1）进入运行中的pod （2&…
阅读更多...
Linux RPM包安装、卸载和升级

Linux RPM包安装、卸载和升级

我们以安装 apache 程序为例。因为后续章节还会介绍使用源码包的方式安装 apache 程序，读者可以直观地感受到源码包和 RPM 包的区别。 RPM包默认安装路径 通常情况下，RPM 包采用系统默认的安装路径，所有安装文件会按照类别分散安装到表 1 所…
阅读更多...
阿里云付费用户破100万 用户规模亚洲最大

阿里云付费用户破100万 用户规模亚洲最大

导读阿里巴巴集团公布2018财年第一季度财报，阿里云达到一个重要里程碑，云计算付费用户数量首次超过100万，成为亚洲首家达到百万级用户规模的云计算公司。同时，企业级市场被云计算人工智能等新技术全面激活，推动该季度营…
阅读更多...
Stable Diffusion：最先进的文本生成图像模型

Stable Diffusion：最先进的文本生成图像模型

稳定扩散 生成式 AI 技术正在迅速发展，现在可以简单地根据文本输入生成文本和图像。Stable Diffusion 是一种文本到图像模型，使您能够创建逼真的应用程序。 扩散模型通过学习去除添加到真实图像中的噪声进行训练。这种降噪过程会产生逼真的图像。这些模…
阅读更多...
最新文章

Copyright @ 2022~2023