深度学习指标| 置信区间、Dice、IOU、MIOU、Kappa

深度学习部分指标介绍

  • 置信区间
  • 混淆矩阵
  • Dice
  • IOU和MIOU
  • Kappa

置信区间

95%CI指标
读论文的时候,常会看到一个“95%CI”的评价指标。

其中CI指的是统计学中的置信区间(Confidence interval,CI)。在统计学中,一个概率样本的置信区间,是对产生这个样本的总体的参数分布中的某一个未知参数值,以区间形式给出的估计。

这样解释有点抽象,直观理解可以为“用样本估计总体平均值,给出总体均值最有可能落的区域”。

置信区间怎么得到?
下面用一个例子理解来最直观理解一下“置信区间”得到的过程。

一个10人的班级,这是每个人考的分数。

学生1学生2学生3学生4学生5学生6学生7学生8学生9学生10
60708090667288916575

在已经知道全部学生成绩的时候,可以很好推出平均值为75.7。

但是现实生活中,通常需要计算的总体数量很大,我们是没办法在上帝视角下知道总体所有的值,例如需要知道全市所有学生的平均成绩,这个时候我们只能采用抽样的方式来估计。

从这10个人里,取出3个人作为抽样标本并计算其平均值,取5组。

  • 学生1、2、5:65.3
  • 学生3、4、8:87
  • 学生4、6、7:83.3
  • 学生7、8、9:81.3
  • 学生3、6、9:72.3

每次抽样取平均值实际上就是在对全部学生平均成绩的一次点估计,点估计估计一个值,笃定了这个值是精确。
但是这五次点估计,在不知道总体学生成绩的时候,我们也依旧不知道那个是最接近真实平均值的。

于是就有区间估计,区间估计估计了一个范围,认为这个区间内至少有一个值使得待定参数最接近于真实值。通常可以用点估计算出来的数据加上一个变动幅度形成一个区间。
但是就算估计出来了区间,也有可能这个区间未必包含或者很靠近真实平均值,依旧还是不知道那个是最好的区间。

于是又有了置信区间来知道这个区间范围包含真实值的可信度,来评估区间的好坏。

根据大数定理和中心极限定律,样本均值M服从正态分布:
M ∼ N ( μ , σ 2 n ) M\sim N(\mu,\frac{{\sigma}^2}{n}) MN(μ,nσ2)

μ \mu μ为中心, σ \sigma σ是总体分布的标准差,面积为0.95的区间就是置信区间。95%置信区间可以理解为对总体抽样1000次,然后发现95%抽样均值分布在这个区间中。
在这里插入图片描述
但实际情况中我们是不知道真实的 μ \mu μ是多少的,可以用抽样样本均值替代。

混淆矩阵

因为后面说Dice、IOU和MIOU要用到混淆矩阵的一些概念,所以放在这里方便理解。

预测为正类别预测为负类别
实际为正类别True Positive (TP)False Negative (FN)
实际为负类别False Positive (FP)True Negative (TN)

混淆矩阵中TP、TN、FP、FN:
TP(True Positives):预测为正类别,并且预测对了
TN(True Negatives):预测为负类别,而且预测对了
FP(False Positives):预测为正类别,但是预测错了
FN(False Negatives):预测为负类别,但是预测错了

Dice

Dice系数又叫做骰子系数,作用在于计算两个集合相似度,取值范围在[0,1]。

对于集合X和集合Y的Dice系数计算公式可以写成:
D i c e ( X , Y ) = 2 ∗ ∣ X ∩ Y ∣ ∣ X ∣ + ∣ Y ∣ Dice(X,Y)=\frac{2*|X\cap Y|}{|X|+|Y|} Dice(X,Y)=X+Y2XY

对于混淆矩阵中,Dice系数的表述可以看作是预测为正类的集合与真实正类集合两者之间的相似度。

Dice系数计算公式可以写成:
D i c e = 2 ∗ T P ( T P + F N ) + ( T P + F P ) Dice=\frac{2*TP}{(TP+FN)+(TP+FP)} Dice=(TP+FN)+(TP+FP)2TP

在这里插入图片描述

IOU和MIOU

IOU(Intersection over Union)是交并比,MIOU(Mean Intersection over Union)指平均交并比,也称为平均IOU。两个都是用于衡量语义分割任务中预测结果与真实标签之间的相似度。

图像语义分割是像素级别上的分类,每个像素都被赋予一个特定的类别标签。可以把每个类别的预测结果和真是标签分别视为两个二值图像,IOU交并比是计算两个之间重叠区域与它们的并集之间的比例,来衡量相似度。

I O U = ∣ X ∩ Y ∣ ∣ X ∪ Y ∣ IOU=\frac{|X\cap Y|}{|X\cup Y|} IOU=XYXY

在这里插入图片描述

IOU=某类别的交集区域 / 某类别的并集区域
MIOU = 所有类别的IoU之和 / 类别总数

例如一张图片可以分为两个标签分别是背景和人,则MIOU=(IOU人+IOU背景)/2

Kappa

Kappa系数是一个用于一致性检验的指标,可用于衡量分类的效果,取值范围在[-1,1]。

一致性通常指模型的预测结果和实际分类结果是否一致。

Kappa系数的计算公式可以写成:
K a p p a = p 0 − p e 1 − p e Kappa=\frac{p_0-p_e}{1-p_e} Kappa=1pep0pe

其中 p 0 p_0 p0是总体分类精度,每一类正确分类的样本数量之和除以总样本数。
设每一类的真实样本个数分别为 a 1 、 a 2 . . . a_1、a_2... a1a2...,而预测出来的每一类的样本个数分别为 b 1 、 b 2 . . . b_1、b_2... b1b2...,则 p e = a 1 × b 1 + a 2 × b 2 . . . n × n p_e=\frac{a_1×b_1+a_2×b_2...}{n×n} pe=n×na1×b1+a2×b2...

虽然说Kappa系数取值范围在[-1,1],但是通常落在[0,1],根据结果通常可以分成五个级别的一致性:

  • 极低的一致性(slight):0.0~0.20
  • 一般的一致性(fair):0.21~0.40
  • 中等的一致性(moderate):0.41~0.60
  • 高度的一致性(substantial):0.61~0.80
  • 几乎完全一致(almost perfect): 0.81~1

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/466410.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

用python写网络爬虫:2.urllib库的基本用法

文章目录 urllib库抓取网页data参数timeout参数更灵活地配置参数登录代理Cookies 参考书籍 建议新入门的小伙伴先看我同一专栏的文章:用python写网络爬虫:1.基础知识 urllib库 urllib是python中一个最基础的HTTP库,一般是内置的,…

Linux网络基础2

目录 实现网络版本计算器 自己定协议实现用json协议实现 重谈OSI七层模型HTTP协议 域名介绍url介绍HTTP请求和响应 实现一个简易的HTTP服务器 实现简易Http服务器初级版实现简易Http服务器中级版 实现一个简易的HTTP服务器最终版 请求方法HTTP状态码HTTP常见的Header 实现网…

【鸿蒙HarmonyOS开发笔记】常用组件介绍篇 —— Progress进度条组件

概述 Progress为进度条组件,用于显示各种进度。 参数 Progress组件的参数定义如下 Progress(options: {value: number, total?: number, type?: ProgressType})● value value属性用于设置当前进度值。 ● total total属性用于设置总值。 ● type type属…

加拿大光量子计算公司Xanadu入局英国多企业量子合作计划

内容来源:量子前哨(ID:Qforepost) 编辑丨慕一 编译/排版丨沛贤 深度好文:1200字丨8分钟阅读 英国航空发动机制造商罗尔斯罗伊斯(Rolls-Royce)、英国量子计算公司Riverlane和加拿大量子计算公…

【赠书】从深度学习到图神经网络:模型与实践

文章目录 赠书:《从深度学习到图神经网络:模型与实践》一、编辑推荐二、内容简介三、作者简介张玉宏杨铁军 四、精彩书评五、目录第1章 图上的深度学习 11.1 人工智能与深度学习 21.2 图神经网络时代的来临 61.3 图数据处理面临的挑战 91.4 图神经网络的…

AS-V1000视频监控平台如何加强系统安全,满足等保2.0规范要求

目 录 一、概述 (一)信息安全技术网络安全等级保护标准 (二)解读 1、等级保护工作的内容 2、等级保护的等级划分 3、不同等级的安全保护能力 第一级安全保护能力 第二级安全保护能力 第三级安全保护能力 第…

电子科技大学链时代工作室招新题C语言部分---题号D

1. 题目 这道题大概的意思就是对一个整形数组的元素进行排序,然后按新的顺序打印原本的下标; 例如,在题目给出的Note部分,{a1, a2, a3, a4, a5}进行排序之后变为了{a2, a1, a4, a3, a5},于是输出2 1 4 3 5。 排序的规则…

MyBatisPlus中MetaObjectHandler的使用

系列文章目录 文章目录 系列文章目录前言前言 前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站,这篇文章男女通用,看懂了就去分享给你的码吧。 起因是公司一个同事接到需求,让把一条数据录入时createTime字段,设置为…

DM数据库(docker)

docker安装 安装必要的系统工具 yum install -y yum-utils device-mapper-persistent-data lvm2 配置阿里云Docker Yum源: yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 更新yum缓存 yum makecache fast 安装docker-CE: y…

抛弃Superhuman?这些替代方案让你眼前一亮!

Superhuman是一个极好的人工智能工具在电子邮件助理领域。根据SimilarWeb的最新统计,它在全球网站排名中排名第21980位,月访问量为1751798。然而市场上还有许多其他优秀的选择。为了帮助您找到最适合您需求的解决方案,我们为您精心挑选了10种…

海淘注意事项,海淘虚拟卡

2024年海淘visa信用卡,点击获取卡片 海淘注意事项 海淘(跨境购物)可以让人们在国外购买到更多种类的商品,但是也需要注意一些事项,以确保购物的顺利进行和商品的质量。以下是一些建议: 海淘网站的选择&…

零代码编程:用kimichat合并一个文件夹下的多个文件

一个文件夹里面有很多个srt字幕文件,如何借助kimichat来自动批量合并呢? 在kimichat对话框中输入提示词: 你是一个Python编程专家,完成如下的编程任务: 这个文件夹:D:\downloads\life.on.our.planet.(202…

C++中的using关键字

1. 类型别名 using关键字可以用来为类型创建一个新的名字,这在代码的可读性和维护性方面非常有帮助。 // 定义类型别名 using IntPtr int*;// 使用 int value 5; IntPtr ptr &value;2. 命名空间别名 如果你正在使用一个非常长的命名空间,可以使…

如何在MT4平台查询自己的账户杠杆?

如何在MT4平台查询自己的账户杠杆?MT4中直接没有这个选项,犟嘴的投资者千万不要犟嘴,说可以根据保证金水平计算。其实在交易账户中有3中方法可以查询自己的账户,投资者可以在这里开立一个MT4帐户,并将其附加到具有登录名和密码的…

Jenkins-pipeline流水线构建完钉钉通知

添加钉钉机器人 在钉钉群设置里添加机器人拿出Webhook地址,设置关键词 Jenkins安装钉钉插件 Dashboard > 系统管理 > 插件管理,搜索构建通知,直接搜索Ding Talk也行 安装DingTalk插件,重启Jenkins 来到Dashboard > 系…

想要了解更多商品信息?淘宝天猫详情接口API助你一键搞定!

想要了解更多商品信息?淘宝天猫详情接口API是你的理想选择!作为唯一提供官方商品数据的接口,它能够帮助你快速获取商品的多种详细信息,联讯数据让你在购物过程中做出更明智的决策。 简介:淘宝天猫详情接口API的功能及…

普通人搞副业,空闲时间做,月入5w+

我是电商珠珠 大家会发现,朱砂越来越火,不仅是因为它好看,而且商家对外扬言可以招财。现在的人对爱情不屑一顾,财神殿里可以长跪不起,人人都想求财,想要在空余时间搞副业赚大钱,但做什么还没有…

客服知识库到底好用在哪?企业真的需要吗?

在企业运营的众多环节中,客户服务无疑是至关重要的一环。然而,面对如洪水般涌入的客户问题和查询,你的客服团队是否能够做到快速应对,准确解答?这时,一个客服知识库就显得尤为重要。那么,客服知…

Java项目实战记录:雷达数据渲染

目录 Java项目实战记录:雷达数据渲染业务背景代码逻辑数据结构颜色渲染MapContent加载数据并输出截图 完整代码GenerateMapImage地图渲染工具测试代码 渲染效果 Java项目实战记录:雷达数据渲染 业务背景 我之前已经成功使用Java语言解析了C处理的雷达数…

Linux编程4.8 网络编程-建立连接

1、服务器端 #include <sys/types.h> #include <sys/socket.h>int listen(int sockfd, int backlog);返回&#xff1a;成功返回0&#xff0c;出错返回-1。参数&#xff1a;sockfd:套接字的文件描述符backlog:定义了sockfd的挂起连接队列可能增长的最大长度。…