具有不确定性感知注意机制的肺结节分割和不确定区域预测| 文献速递-深度学习结合医疗影像疾病诊断与病灶分割

Title

题目

Lung Nodule Segmentation and UncertainRegion Prediction With an Uncertainty-Aware Attention Mechanism

具有不确定性感知注意机制的肺结节分割和不确定区域预测

01

文献速递介绍

肺结节分割在肺癌计算机辅助诊断(CAD)系统中至关重要,提供了关键信息,如结节大小、形状和其他重要医学特征。然而,在深度学习方法的通用训练和测试范式中,每个结节图像数据仅有一个由一名放射科医生勾画的注释掩模。因此,网络每次只能提供结节区域的单一预测。然而,在临床实践中,不同的放射科医生可能会针对肺结节提供各种分割注释,这是由于他们不同的培训和临床经验所致。因此,基于单一注释的传统方法无法反映临床经验的多样性,限制了深度学习方法的应用。

解决影像科医生之间注释变化问题的一个直接方法是为每个肺结节图像结合多个注释。然而,这会带来另一个问题:多个注释不可避免地会带来不确定性和冲突,因为放射科医生可能会以不同方式对同一区域进行注释。为了克服这个问题,Kohl等人在2018年提出了概率U-Net,利用条件变分自动编码器将多个分割变体编码为低维潜在空间。通过从该空间中采样,网络可以影响相应的分割图。基于这项研究,胡等人提出将地面真实不确定性与概率U-Net相结合,可以提高预测不确定性估计、样本准确性和样本多样性。这些方法依赖于潜在空间和在该空间中的随机样本。因此,这些方法只能通过多次预测提供不确定区域。

Abstract

摘要

Radiologists possess diverse training andclinical experiences, leading to variations in the segmentation annotations of lung nodules and resulting insegmentation uncertainty. Conventional methods typically*select a single annotation as the learning target or attemptto learn a latent space comprising multiple annotations.**However, these approaches fail to leverage the valuableinformation inherent in the consensus and disagreementsamong the multiple annotations. In this paper, we propose an Uncertainty-Aware Attention Mechanism (UAAM)that utilizes consensus and disagreements among multipleannotations to facilitate better segmentation. To this end,we introduce the Multi-Confidence Mask (MCM), which com bines a Low-Confidence (LC) Mask and a High-Confidence(HC) Mask. The LC mask indicates regions with low segmen tation confidence, where radiologists may have differentsegmentation choices. Following UAAM, we further designan Uncertainty-Guide Multi-Confidence Segmentation Network (UGMCS-Net), which contains three modules: a Feature Extracting Module that captures a general feature ofa lung nodule, an Uncertainty-Aware Module that producesthree features for the annotations’ union, intersection, andannotation set, and an Intersection-Union ConstrainingModule that uses distances between the three features tobalance the predictions of final segmentation and MCM.To comprehensively demonstrate the performance of ourmethod, we propose a Complex-Nodule Validation on LIDCIDRI, which tests UGMCS-Net’s segmentation performanceon lung nodules that are difficult to segment using common methods. Experimental results demonstrate that ourmethod can significantly improve the segmentation performance on nodules that are difficult to segment usingconventional methods.

影像科医生具有不同的培训和临床经验,导致肺结节分割注释的差异,从而产生分割的不确定性。传统方法通常选择单个注释作为学习目标,或者尝试学习包含多个注释的潜在空间。然而,这些方法未能充分利用多个注释之间的共识和分歧中蕴含的宝贵信息。在本文中,我们提出了一种不确定性感知注意机制(UAAM),利用多个注释之间的共识和分歧来促进更好的分割。为此,我们引入了多置信度蒙版(MCM),其中包括低置信度(LC)蒙版和高置信度(HC)蒙版。LC蒙版指示具有低分割置信度的区域,放射科医生可能具有不同的分割选择。在UAAM之后,我们进一步设计了一个不确定性引导的多置信度分割网络(UGMCS-Net),其中包含三个模块:一个特征提取模块,捕获肺结节的通用特征,一个不确定性感知模块,产生注释的并集、交集和注释集的三个特征,以及一个交集-并集约束模块,使用三个特征之间的距离来平衡最终分割和MCM的预测。为了全面展示我们方法的性能,我们提出了在LIDC IDRI上进行复杂结节验证,测试UGMCS-Net在使用常规方法难以分割的肺结节上的分割性能。实验结果表明,我们的方法可以显著改善对使用传统方法难以分割的结节的分割性能。

Method

方法

NetworkIn Figure 3, we present the architecture of the UncertaintyGuided Multi-Confidence Segmentation Network (UGMCSNet). The network takes the lung nodule CT image as inputs,and produces two outputs: a predicted Multi-Confidence Mask(MCM) and a final segmentation X**S. The MCM combinespredicted union ∪(X) and intersection ∩(X). The learningtargets of the network are the annotation set GT , as well astheir Union Mask ∪(**GT ) and Intersection Mask ∩(GT ). Theinput images and their corresponding masks have dimensionsof 50 × 50 pixels, obtained through cropping from the LIDCIDRI dataset with official annotations. Before being fed intothe network, the input images and masks are resized todimensions of 3 × 64 × 64 pixels.

在图3中,我们展示了不确定性引导的多置信度分割网络(UGMCS-Net)的架构。该网络以肺结节CT图像作为输入,并产生两个输出:预测的多置信度掩码(MCM)和最终分割XS。MCM结合了预测的并集∪(X)*和交集∩(X)。网络的学习目标是注释集GT,以及它们的并集掩码∪(GT )和交集掩码∩(GT )。输入图像及其相应的掩码的尺寸为50×50像素,通过从LIDC IDRI数据集中裁剪获得,带有官方注释。在输入网络之前,输入图像和掩码被调整大小为3×64×64像素。

Conclusion

结论

This paper introduces the Uncertainty-Aware AttentionMechanism (UAAM), which leverages the consensus ordisagreements among multiple annotations to improve segmentation and identify regions with low segmentation confidence. UAAM captures features from the Multi-ConfidenceMask (MCM), a combination of a Low-Confidence (LC)Mask and a High-Confidence (HC) Mask. Based on UAAM,we further design an Uncertainty-Guide Segmentation Network (UGMCS-Net), which contains a Feature ExtractingModule*, an Uncertainty-Aware Module, and an IntersectionUnion Constraining Module*. These modules together learnvaluable information from the consensus or disagreementsamong multiple annotations, providing regions with high andlow segmentation confidences, and a segmentation result thatcan balance all possibilities. Besides the traditional validationmethod, we propose a Complex-Nodule Validation on LIDCIDRI, which tests UGMCS-Net’s segmentation performanceon the lung nodules that are difficult to segment by U-Net.Experimental results demonstrate that our method can significantly improve the segmentation performance on nodules withpoor segmentation by U-Net.

本文介绍了一种不确定性感知注意机制(UAAM),利用多个注释之间的共识或分歧来改善分割,并识别具有低分割置信度的区域。UAAM从多置信度掩码(MCM)中捕获特征,该掩码是低置信度(LC)蒙版和高置信度(HC)蒙版的组合。基于UAAM,我们进一步设计了一个不确定性引导的分割网络(UGMCS-Net),其中包含一个特征提取模块、一个不确定性感知模块和一个交集-并集约束模块。这些模块共同从多个注释之间的共识或分歧中学习有价值的信息,提供具有高和低分割置信度的区域,以及可以平衡所有可能性的分割结果。除了传统的验证方法外,我们提出了在LIDC IDRI上进行的复杂结节验证,该验证测试UGMCS-Net在U-Net难以分割的肺结节上的分割性能。实验结果表明,我们的方法可以显著改善U-Net对于分割困难结节的分割性能。

Figure

图片

Fig. 1. (A). Uncertainty caused by multiple annotations. HC is highconfidence mask, which is the intersection of the annotation set. LC isLow-Confidence mask, which is the difference between the annotationset’s union and intersection. Multi-Confidence mask is the combinationof LC and HC. (B). Hounsfield unit kernel estimations in HC and LC ofLIDC-IDRI.

图1. (A). 多个注释引起的不确定性。HC代表高置信度蒙版,即注释集的交集。LC代表低置信度蒙版,即注释集的并集与交集之间的差异。多置信度蒙版是LC和HC的组合。(B). LIDC-IDRI中HC和LC的Hounsfield单位核估计。

图片

Fig. 2. Overview of Uncertainty-aware attention mechanism. The difference between union and intersection masks is the low-confidence mask,which guides the learning of low-certainty features. The intersectionmask is the high-confidence mask, which guides the learning of highcertainty features. The annotation set guides the learning of a plausiblesegmentation, which is a balance between all annotations.

图2. 不确定性感知注意机制 概述。并集掩码与交集掩码之间的差异是低置信度掩码,指导低确定性特征的学习。交集掩码是高置信度掩码,指导高确定性特征的学习。注释集指导了一个合理分割的学习,这是所有注释之间的平衡。

图片

Fig. 3. Overview of uncertainty-guided multi-confidence segmentation network. This network contains three modules: (1) Feature extracting module,(2) Uncertainty-aware module, and (3) Intersection-union constraining module.

图3不确定性引导的多置信度分割网络概述。该网络包含三个模块:(1) 特征提取模块,(2) 不确定性感知模块,以及 (3) 交集-并集约束模块。

图片

Fig. 4. Intersection-union constraining module. It contains three featureaware attention blocks, and each block has specific feature learningpreferences.

图4. 交集-并集约束模块。它包含三个特征感知注意力块,每个块具有特定的特征学习偏好。

图片

Fig. 5. Multiple annotation fusion loss.

图5. 多注释融合损失。

图片

Fig. 6. Segmentation results of U-Net, Attention U-Net, R2U-Net,Channel U-Net, Nested U-Net, UGS-Net, and UGMCS-Net. The redboxes corresponding to the Input column indicate the features thatshould be noted or the error-prone locations of the nodules duringsegmentation. The red boxes in the UGMCS-Net column indicate thesegmentation detail of UGMCS-Net at these locations. The green boxesindicate the inadequacies in the suboptimal segmentation result. The lastcolumn is the diameter of the corresponding nodule in mm.

图6. U-Net、Attention U-Net、R2U-Net、Channel U-Net、Nested U-Net、UGS-Net 和 UGMCS-Net 的分割结果。与 输入 列相对应的红色框表示在分割过程中应注意的特征或结节的易错位置。UGMCS-Net 列中的红色框表示 UGMCS-Net 在这些位置的分割细节。绿色框表示次优分割结果中的不足之处。最后一列是相应结节的直径,以毫米为单位。

图片

Fig. 7. The predicted intersection ∩(X), predicted union ∪(X), final segmentation XS, and MCM are generated by the UGMCS-Net. Colors in MCMare used for better visualization, red for ∩(X) and blue for ∪(X). In addition, final segmentation is represented in the MCM and marked with greento facilitate comparison. Red boxes indicate areas or features of nodules that are not easily distinguishable. The last column is the diameter of thecorresponding nodule in mm.

图7. UGMCS-Net 生成了预测的交集 ∩(X),预测的并集 ∪(X),最终分割 XS 和 MCM。在MCM中,红色代表 ∩(X),蓝色代表 ∪(X),用于更好地可视化。此外,最终分割也呈现在MCM中,并用绿色标记以便比较。红色框表示结节的区域或特征不易区分。最后一列是相应结节的直径,以毫米为单位。

图片

Fig. 8. Comparison of HU value kernel density estimation of real HC,LC, and predicted HC and LC.

图8. 实际高置信度(HC)、低置信度(LC)和预测的高置信度(HC)和低置信度(LC)的HU值核密度估计的比较。

图片

Fig. 9. Visualization of different convolutional layers. The Result in each case represents the final prediction of the network. M3, M2, and M1respectively represent the visual feature maps of the third from the bottom, the second, and the first convolution layer under different networkconfigurations. Red arrows indicate areas of nodules that need attention. d represents the diameter of the corresponding nodule in mm.

图9.不同卷积层的可视化。每种情况下的 结果 表示网络的最终预测。M3、M2 和 M1 分别表示在不同网络配置下,从底部数起的第三、第二和第一卷积层的视觉特征图。红色箭头表示需要注意的结节区域。d 表示相应结节的直径,以毫米为单位。

图片

Fig. 10. Failure cases demonstration. The number below each segmen tation mask is its DSC score. The unit of DSC is the percentage.

图10. 失败案例展示。每个分割掩码下方的数字是其 DSC 分数。DSC 的单位是百分比。

图片

Fig. 11. The feature visualizations of R ′ LC and R ′ HC

图11. R ′ LC 和 R ′ HC 的特征可视化

图片

Fig. 12. Complex-nodule validation. This validation tests UGMCS-Net’s segmentation performance on the lung nodules that are difficult to segmentby U-Net by three levels. The last two masks of each CT image are the segmentation results of UGMCS-Net and U-Net respectively. The segmentationresults of U-Net are shown in black, and the UGMCS-Net are shown in red. All indicators are expressed in percentages.

图12. 复杂结节验证。此验证通过三个级别测试UGMCS-Net在U-Net难以分割的肺结节上的分割性能。每张CT图像的最后两个掩码分别是UGMCS-Net和U-Net的分割结果。U-Net的分割结果显示为黑色,UGMCS-Net显示为红色。所有指标均以百分比表示。

Table

图片

TABLE I performance comparison between our ugmcs-net and ten networks based on the u-net structure on the lidc-idridataset. ugs-net represents a preliminary version of this work in a . all indicators are expressed in percentages

表格 I:基于LIDC-IDRI数据集的UGMCS-Net和十个基于U-Net结构的网络性能比较。UGS-Net代表本工作的初步版本。所有指标均以百分比表示。

图片

TABLE II statistical analysis of u-net, attentionu-net, and ugmcs-net

表II U-Net、Attention U-Net 和 UGMCS-Net 的统计分析

图片

TABLE III performance comparison between u-net, attention u-net, ugs-net, and ugmcs-net on label1 and label2, which are presented as subscript 1 and 2

表格 IIIU-Net、Attention U-Net、UGS-Net 和 UGMCS-Net 在 Label1 和 Label2 上的性能比较,它们分别表示为下标 1 和 2

图片

TABLE IV ablation study for modules. all indicators are expressed in percentages

表格 IV模块消融研究。所有指标均以百分比表示

图片

TABLE V  the parameter quantity and computation of the model under different variants

表格 V 不同变体下模型的参数数量和计算量

图片

TABLE VI  performance comparison between different backbone

表格 VI 不同骨干网络之间的性能比较

图片

TABLE VII  performance comparison between different filter settings

表格 VII 不同滤波器设置之间的性能比较

图片

TABLE VIII performance comparison between different α settings

表格 VIII 不同 α 设置之间的性能比较

图片

TABLE IX analysis of segmentation performances in complex-nodule validation. ugmcs-8a + 8b, ugmcs-iucm, and ugmcs-netaverage dsc and iou are followed by the difference (green number) from the corresponding metric of attention u-net. all indicators are expressed in percentages

表IX 复杂结节验证中分割性能的分析。UGMCS-8a + 8b、UGMCS-IUCM 和 UGMCS-Net的平均DSC和IOU,后跟着与Attention U-Net相应指标的差异(绿色数字)。所有指标均以百分比表示。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/706763.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

终结国企虚假贸易:监管闭环下的关系排查与风控增强

2024年5月28日,国务院正式公布《国有企业管理人员处分条例》(以下简称《条例》),将于2024年9月1日起施行。作为国家经济的重要支柱,国有企业的管理人员在企业运营中扮演着至关重要的角色,《条例》的颁布&am…

Sm4【国密4加密解密】

当我们开发金融、国企、政府信息系统时,不仅要符合网络安全的等保二级、等保三级,还要求符合国密的安全要求,等保测评已经实行很久了,而国密测评近两年才刚开始。那什么是密码/国密?什么是密评?本文就关于密…

Android低代码开发 - InputMenuPanelItem详解

我们知道MenuPanel是一个菜单面板容器,它里面可以放各式各样的菜单和菜单组。今天我们就来详细讲解输入菜单这个东西。 InputMenuPanelItem源码 package dora.widget.panel.menuimport android.content.Context import android.text.Editable import android.text…

Vue2/Vue3使用video播放视频--捕获截图

基本步骤 在JavaScript中&#xff0c;实现从<video>元素中截图的基本步骤如下&#xff1a; 1、创建Canvas元素&#xff1a;首先&#xff0c;需要创建一个<canvas>元素&#xff0c;因为截图操作会借助Canvas的绘图上下文来完成。 2、获取Video帧&#xff1a;从<v…

Elasticsearch-经纬度查询(8.x)

目录 一、开发环境 二、pom文件 三、ES配置文件 四、ES相关字段 五、ES半径查询 ES的字段类型:geo_point&#xff0c;可以实现以一个点为中心的半径查询(geo_distance query) ES地理位置查询: 半径查询(geo_distance query)查询指定矩形内的数据(geo_bounding_box query…

现代易货模式:重塑物品价值,引领交换新潮流

在日益繁荣的现代社会&#xff0c;物品交换文化正逐渐兴起&#xff0c;一种新型的交易模式——现代易货模式&#xff0c;正在成为市场的新宠。它不仅是对传统“以物易物”模式的现代化演绎&#xff0c;更是对物品价值再认识和交换方式创新的体现。 现代易货模式&#xff0c;简言…

【表单视图】-卡片视图支持统计设置

06/05 主要更新模块概览 统计设置 快捷回复 背景设置 帮助中心 01 表单管理 1.1 【表单视图】-卡片视图新增统计设置 说明&#xff1a; 在卡片视图中成功新增了统计功能和统计效果。现在&#xff0c;用户无需额外操作&#xff0c;即可在卡片视图状态下直接清晰地看到需求…

STM32开发过程中碰到的问题总结 - 1

文章目录 前言1. 怎么生成keil下可以使用的文件和gcc下编译使用的makefile2. STM32的时钟树3.怎么查看keil5下的编译工具链用的是哪个4. Arm编译工具链和GCC编译工具链有什么区别吗&#xff1f;5. 怎么查看Linux虚拟机是x86的还是aarch646. 怎么下载gcc-arm的编译工具链7.怎么修…

推挽与开漏输出

一般来说&#xff0c;微控制器的引脚都会有一个驱动电路&#xff0c;可以配置不同类型的数字和模拟电路接口。输出模式一般会有推挽与开漏输出。 推挽输出 推挽输出&#xff08;Push-Pull Output&#xff09;&#xff0c;故名思意能输出两种电平&#xff0c;一种是推&#xf…

天降流量于雀巢?元老品牌如何创新营销策略焕新生

大家最近有看到“南京阿姨手冲咖啡”的视频吗&#xff1f;三条雀巢速溶咖啡入杯&#xff0c;当面加水手冲&#xff0c;十元一份售出&#xff0c;如此朴实的售卖方式迅速在网络上走红。而面对这一波天降的热度&#xff0c;雀巢咖啡迅速做出了回应&#xff0c;品牌组特地去到了阿…

君子签帮助物流组织打造线上签约平台,助力简化成本,高效运转

各类物流组织日常业务可能涉及“企业入驻、快递、整车运输、货运、仓储、供应链等”多种类型&#xff0c;各个环节都存在大量的文件/单据签署&#xff0c;网点、客户、司机、收货人遍布全国各地&#xff0c;复杂的签署需求&#xff0c;以及庞大的签字、用印需求&#xff0c;让各…

2.6数据报与虚电路

数据报 当作为通信子网用户的端系统要发送一个报文时&#xff0c;在端系统中实现的高层协议先把报文拆成若干个带有序号的数据单元&#xff0c;并在网络层加上地址等控制信息后形成数据报分组(即网络层PDU)中间结点存储分组一段很短的时间&#xff0c;找到最佳的路由后&#x…

讯飞有一个可以根据描述文本自动生成PPT的AI接口,有趣

文档&#xff1a;https://www.xfyun.cn/doc/spark/PPTGeneration.html 价格方面提供了免费1000点的额度&#xff0c;生成一次是10点&#xff0c;正好100次&#xff0c;如果要购买的话最低要购买1344元的&#xff0c;没有按量付费的模式&#xff0c;个人小开发者可买不起。 让我…

无线网络与物联网技术[1]之近距离无线通信技术

无线网络与物联网技术 近距离无线通信技术WIFIWi-Fi的协议标准Wi-Fi的信道Wi-Fi技术的术语Wi-Fi的组网技术Ad-hoc模式无线接入点-APAP&#xff1a;FAT AP vs FIT AP Wi-Fi的特点与应用Wi-Fi的安全技术 Bluetooth蓝牙技术概论蓝牙的技术协议蓝牙的组网技术微微网piconet(了解)散…

安装操作系统1-Win10版本介绍及硬件要求

注意&#xff1a;安装系统&#xff0c;首先弄清有哪些版本及所需硬件环境。 1.Win10有哪些版本 微软将 Win10为以下7个版本&#xff1a; Windows 10 家庭版&#xff08;Home&#xff09; 面向所有普通用户&#xff0c;提供Win 10的基本功能。此版本适合个人家庭用户使用&am…

ATFX汇市:美国5月通胀率回落,降息预期刺激黄金走高

ATFX汇市&#xff1a;据美国劳工部发布的最新数据&#xff0c;美国5月核心CPI年率最新值3.4%&#xff0c;低于前值3.6%&#xff1b;名义CPI年率最新值3.3%&#xff0c;低于前值3.4%。核心CPI年率和名义CPI年率双双下降&#xff0c;超出此前市场预期&#xff08;预期为整体保持不…

App自动化之dom结构和元素定位方式(包含滑动列表定位)

DOM结构 先来看几个名词和解释&#xff1a; dom: Document Object Model 文档对象模型 dom应用: 最早应用于html和js的交互。界面的结构化描述&#xff0c; 常见的格式为html、xml。核心元素为节点和属性 xpath: xml路径语言&#xff0c;用于xml 中的节点定位&#xff0c;X…

postman教程-20-Newman安装入门

上一小节我们学习了Postman mock测试的方法&#xff0c;本小节我们讲解一下Postman Newman的安装方法。 Newman是Postman团队开发的一个命令行工具&#xff0c;它允许用户通过命令行接口&#xff08;CLI&#xff09;运行Postman集合&#xff08;Collections&#xff09;和环境…

STM32程序启动过程

&#xff08;1&#xff09;首先对栈和堆的大小进行定义&#xff0c;并在代码区的起始处建立中断向量表&#xff0c;其第一个表项是栈顶地址&#xff08;32位&#xff09;&#xff0c;第二个表项是复位中断服务入口地址&#xff1b; &#xff08;2&#xff09;然后执行复位中断&…

关于FPGA对 DDR4 (MT40A256M16)的读写控制 I

关于FPGA对 DDR4 &#xff08;MT40A256M16&#xff09;的读写控制 I 语言 &#xff1a;Verilg HDL EDA工具&#xff1a;ISE、Vivado 关于FPGA对 DDR4 &#xff08;MT40A256M16&#xff09;的读写控制 I一、引言二、DDR4的特性&#xff08;MT40A256M16&#xff09;&#xff08;1…