深度学习中one-hot 编码的正确理解

one-hot编码 是一种表示类别标签的方法。对于一个分类问题(例如图像分割中的类别标签),one-hot编码会将一个类别标记转换为一个向量,这个向量中只有一个位置为1,其余位置为0。
划重点:一个one hot 编码可以理解为是对ground truth的向量化。它可以有很多维,但是只有一个位置是1,其余的位置全都是0。
例子:

1. 分类任务的例子

假设我们在进行水果分类任务,目标是将图像分为三类:苹果(类别0)、香蕉(类别1)和橙子(类别2)。

  • 真实标签
    • 图像1:苹果(类别0)
    • 图像2:香蕉(类别1)
    • 图像3:橙子(类别2)

将这些标签转化为 one-hot 编码:

图像       真实标签(ground truth)One-hot 编码
图片10[1,0,0]
图片21[0,1,0]
图片32[0,0,1]


假设模型的输出概率如下:

图像模型输出概率
图片1[0.8,0.1,0.1]
图片2[0.2,0.7,0.1]
图片3[0.1,0.3,0.6]

对图像1的损失计算如下:

对图像2的损失计算如下:

同理,对图像3的损失计算如下:

整个任务的总损失则为所有图像损失的平均值。

2. 分割任务的例子

现在我们来看一个医学图像分割的例子。目标是将一张包含心脏的图像分割为两类:背景(类别0)和心脏(类别1)。

  • 真实标签(简化为一维):
真实标签: [0, 1, 1, 0, 1, 0]

对应的 one-hot 编码为:

one-hot标签:
[
    [1, 0],  # 背景
    [0, 1],  # 心脏
    [0, 1],  # 心脏
    [1, 0],  # 背景
    [0, 1],  # 心脏
    [1, 0]   # 背景
]
模型输出概率

假设模型的输出概率如下:

模型输出的概率:
[
    [0.7, 0.3],  # 背景: 70%,心脏: 30%
    [0.2, 0.8],  # 背景: 20%,心脏: 80%
    [0.1, 0.9],  # 背景: 10%,心脏: 90%
    [0.6, 0.4],  # 背景: 60%,心脏: 40%
    [0.4, 0.6],  # 背景: 40%,心脏: 60%
    [0.9, 0.1]   # 背景: 90%,心脏: 10%
]
损失函数计算

对于每个像素,我们可以计算交叉熵损失。

对于第一个像素:

  • 真实标签: [1,0][1, 0][1,0]
  • 预测概率: [0.7,0.3][0.7, 0.3][0.7,0.3]

损失计算如下:

对于第二个像素:

  • 真实标签: [0,1][0, 1][0,1]
  • 预测概率: [0.2,0.8][0.2, 0.8][0.2,0.8]

损失计算如下:

最终,整体损失为所有像素损失的平均值。

四、总结

  • One-hot 编码 是将类别标签转化为向量的有效方法,确保模型理解类别之间的独立性。
  • 通过具体的分类和分割任务的实例,我们看到 one-hot 编码如何帮助我们表示真实标签。
  • 结合概率输出,one-hot 标签使得我们可以利用交叉熵损失等方法来衡量模型的预测性能,从而指导模型的学习和优化。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/904077.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

vscode和pycharm在当前工作目录的不同|python获取当前文件目录和当前工作目录

问题背景 相信大家都遇到过一个问题:一个项目在vscode(或pycharm)明明可以正常运行,但当在pycharm(或vscode)中时,却经常会出现路径错误。起初,对于这个问题,我也是一知…

《操作系统真象还原》第3章 完善MBR【3.1 — 3.2】

目录 引用与说明 3.1、地址、section、vstart 浅尝辄止 1、什么是地址 2、什么是 section【汇编】 3、什么是 vstart【汇编】 3.2、CPU 的实模式 1、CPU 工作原理【重要】 2、实模式下的寄存器 4、实模式下 CPU 内存寻址方式 5、栈到底是什么玩意儿 6 ~ 8 无条件转移…

tiktok双旋转验证码识别,利用图像处理技术准确率达97

注意,本文只提供学习的思路,严禁违反法律以及破坏信息系统等行为 如有侵犯,请联系作者下架 该文章模型已经上线ocr识别网站,欢迎测试!!,地址:https://yxlocr.windy-rain.cn/ocr/othe…

TVM前端研究--Relay

文章目录 深度学习IR梳理1. IR属性2. DL前端发展3. DL编译器4. DL编程语言Relay的主要内容一、Expression in Relay1. Dataflow and Control Fragments2. 变量3. 函数3.1 闭包3.2 多态和类型关系3.3. Call4. 算子5. ADT Constructors6. Moudle和Global Function7. 常量和元组8.…

angular使用http实现get和post请求

说明: angular使用http实现get和post请求 提示:在运行本项目前,请先导入路由router,可以参考我上一篇文章。 效果图: step1:E:\projectgood\ajsix\untitled4\package.json “angular/cdk”: “^18.2.10”, “angula…

虚拟现实辅助工程技术助力航空航天高端制造业破局

在当今竞争激烈的航天产业环境中,高昂的研发成本、复杂的制造流程、繁重的维护任务以及对关键太空资产需求的不断升级,是航空航天高端制造业亟待破解的困境。在此背景下,虚拟现实辅助工程技术正以前所未有的速度渗透至各行各业,成…

LySocket 远程ShellCode注入工具

一款基于C/C开发的远程ShellCode注入工具,通常配合Metasploit一起使用,可实现远程注入反弹代码到指定进程,它由服务端和客户端两部分组成,并使用最少的代码实现了多Socket套接字管理机制,目前主要功能包括,…

【JVM第2课】类加载子系统(类加载器、双亲委派)

类加载系统加载类时分为三个步骤,加载、链接、初始化,下面展开介绍。 文章目录 1 类加载器1.1 引导类加载器(BootStrapClassLoader)1.2 拓展类加载器(ExtClassLoader)1.3 应用类加载器(AppClas…

进一步认识ICMP协议

在日常工作中,我们经常需要判断网络是否连通,相信大家使用较多的命令就是 ping啦。ping命令是基于 ICMP 协议来实现的,那么什么是 ICMP 协议呢?ping命令又是如何基于 ICMP 实现的呢? 今天这篇文章,我们就来…

计算机网络-MSTP的基础概念

前面我们大致了解了MSTP的由来,是为了解决STP/RSTP只有一根生成树导致的VLAN流量负载分担与次优路径问题,了解MSTP采用实例映射VLAN的方式实现多实例生成树,MSTP有很多的理论概念需要知道,其实与其它的知识一样理论复杂配置还好的…

宠物空气净化器哪个牌子好?有没有噪音低的宠物空气净化器推荐?

如今随着社会竞争越来越激烈,不少人开始焦虑内耗,但为了能更好的生活,养宠物便成为不少人的排忧解乏的方法。 我也不例外,作为一名996社畜,天刚亮就出门,天黑很久才回家,所以选择养猫来陪我度过…

Linux shell编程学习笔记87:blkid命令——获取块设备信息

0 引言 在进行系统安全检测时,我们需要收集块设备的信息,这些可以通过blkid命令来获取。 1 blkid命令的安装 blkid命令是基于libblkid库的命令行工具,可以在大多数Linux发行版中使用。 如果你的Linux系统中没有安装blkid命令,…

华为手机卸载系统应用的方法

摘要: 1.手机环境:手机需要开启开发者模式并使用usb连接电脑,并选择文件传输模式 2.电脑环境:使用鸿蒙工具箱进行傻瓜操作或安装adb工具进行命令卸载 3.鸿蒙工具箱和adb工具本质都是使用adb shell pm uninstall -k --user 0 xx…

聊聊我在新加坡的近况

我是 2022 年 4 月初过来新加坡的,然后两个月后就把老婆孩子们也接了过来。时至今日,已经两年半有余了。 22 年 8 月初的时候,写过一篇文章「聊聊我在新加坡的生活和工作体验」,没想到成了一篇热门文章,在知乎上不知不…

C语言笔记(指针题目)例题+图解

本文分为两部分 ,第一部分为数组、字符串、字符指针在sizeof和strlen中的辨析,第二部分是一些笔试题目。若有错误,请批评指正。 目录 1.第一部分 1.1.数组名的使用 1.1.1一维整型数组在sizeof中的使用 1.1.2一维字符数组在sizeof中的使用…

ADC开启

ADC性能参数: 1.分辨率 用LSB表示: LSBVref/2^N 2.失调误差 3.增益误差 4.微分非线性误差 微分非线性:指的是数字输出每增加“1”时,输出模拟量的变化值与LSB的差距。 DNL (2.2-1)LSB 1.2LSB 5.积分非…

深度学习案例:带有一个隐藏层的平面数据分类

该案例来自吴恩达深度学习系列课程一《神经网络和深度学习》第三周编程作业,作业内容是设计带有一个隐藏层的平面数据分类。作业提供的资料包括测试实例(testCases.py)和任务功能包(planar_utils.py),下载请…

学习threejs,使用粒子实现下雪特效

👨‍⚕️ 主页: gis分享者 👨‍⚕️ 感谢各位大佬 点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍⚕️ 收录于专栏:threejs gis工程师 文章目录 一、🍀前言1.1 ☘️THREE.Points简介1.11 ☘️…

在Excel中如何快速筛选非特定颜色

Excel中的自动筛选是个非常强大的工具,不仅可以筛选内容,而且可以筛选颜色,例如筛选A列红色单元格。但是有时希望筛选除了红色之外的单元格(下图右侧所示),其他单元格的填充色不固定,有几种颜色…

llama.cpp基础知识与原理导读

llama.cpp 是一个轻量化的 C++ 实现,专注于 Meta 的 LLaMA 模型的推理和部署。该项目致力于在不依赖庞大的深度学习框架(如 PyTorch、TensorFlow 等)的情况下,实现对 LLaMA 模型的高效运行,特别是在资源受限的设备上(如个人电脑和手机)。以下是 llama.cpp 的主要工作原理…