文献速递:多模态深度学习在医疗中的应用--多模式婴儿脑分割技术:模糊引导深度学习

Title 

题目

Multimodal Infant Brain Segmentation by Fuzzy-informed Deep Learning

多模式婴儿脑分割技术:模糊引导深度学习

01

文献速递介绍

日益普及的非侵入式婴儿脑磁共振图像(MRI)为准确理解脑主要发展轨迹的动态性提供了机会,从而增加了我们对早期脑发育阶段的了解,并提供了关于神经生长障碍(例如自闭症和精神分裂症)根源和异常生长模式的直觉。例如,两岁以下的自闭症儿童被观察到脑部过度生长,这取决于皮层表面积的增加。大多数神经发育性疾病使用缓解而不是治疗性药物进行治疗,对这些疾病的早期识别将使定向的预防性干预政策有望提前或消除它们。为了评估早期脑发育并识别生物标志物,将MRI分割为感兴趣区域(ROI),如灰质(GM)、白质(WM)和脑脊液(CSF),是最重要的阶段。这种方法能够有效地量化GM和WM的体积结构(例如表面积、皮质厚度和皱褶),从而提供有关神经解剖发展的早期进程的重要线索。在这一时刻精确地分割婴儿脑MRI组织对于理解正常和异常的早期脑发育有着重要影响。婴儿脑分割被广泛认为比成人脑分割要困难得多,这是由于组织对比度降低、噪音增强、白质髓鞘化持续以及严重不完整体积的影响。已经采用了多种方法,通常集中于三个月以上或一岁以上的婴儿的图像,通过单一模态(T1或T2)]。这些图像经常显示出白质和灰质组织之间相当低的对比度,导致错误的检测和误分类,从而阻止了准确的分割。因此,对于这一任务的自动化深度学习(DL)方法需要改进。多模态医学图像对于病理学方法的发展和提高统计表征能力以检测脑发育过程并识别生物标志物至关重要。鉴于医学图像分割的重要性和手动进行分割的复杂性,已经引入了许多医学图像分割方法,主要针对模态,通常通过集成来克服独立成像技术的缺点。融合多个MRI模态对于实现婴儿脑分割的精确结果至关重要,特别是对于低对比组织。最近在多模态医学成像方面的进展增加了疾病诊断的负担。这些方法耗时、容易出错,并且不适合广泛的研究。因此,高效而可靠的多模态分割方法对医学界具有重要意义。这促使我们将婴儿脑分割作为多模态分割问题来解决。

Abstract

摘要

Magnetic resonance imaging (MRI) is a prevailingmethod of modal infant brain tissue analysis that preciselysegments brain tissue and is vitally important for diagnosis,remediation, and analysis of early brain development. To achieve such segmentation is challenging, particularly for the brain of a six-month-old, owing to several factors: 1) poor image quality; 2)isointense contrast between white and gray matter and the simpleincomplete volume consequence of a tiny brain size; and 3)discrepancies in brain tissues, illumination settings, and the vagarious region. This paper addresses these challenges with a fuzzy-informed deep learning segmentation (FI-DL-Seg) network**that takes T1- and T2-weighted MRIs as inputs. First, a fuzzylogic layer encodes input to the fuzzy domain. Second, A volumetric fuzzy pooling (VFP) layer models the local fuzzinessof the volumetric convolutional maps by applying fuzzification,accumulation, and defuzzification on the adjacency feature map*neighborhoods. Third, the VFP layer is employed to design the *fuzzy-enabled multiscale feature learning (F-MFL) module to enable the extraction of brain features in different receptivefields. Finally, we redesign the Project & Excite module using the VPF layer to enable modeling uncertainty during featurerecalibration, and a comprehensive training paradigm is used to learn the ideal parameters of every building block. Extensive experimental comparative studies substantiate the efficiency and accuracy of the proposed model in terms of different evaluationmetrics to solve multimodal infant brain segmentation problems on the iSeg-2017 dataset.

磁共振成像(MRI)是一种流行的婴儿脑组织分析方法,能够精确地分割脑组织,对早期脑发育的诊断、矫正和分析至关重要。实现这种分割是具有挑战性的,特别是对于六个月大的婴儿的大脑,原因如下:1)图像质量较差;2)白质和灰质之间的等强对比及体积不完整的结果;3)脑组织、照明设置和变异区域之间的差异。本文通过一种模糊引导的深度学习分割(FI-DL-Seg)网络来解决这些挑战,该网络以T1-和T2加权MRI作为输入。首先,一个模糊逻辑层将输入编码为模糊域。其次,一个体积模糊池化(VFP)层通过在邻域特征图上应用模糊化、积累和去模糊化来模拟体积卷积地图的局部模糊性。第三,利用VFP层设计模糊启用的多尺度特征学习(F-MFL)模块,以实现在不同感受野中提取脑特征。最后,我们使用VFP层重新设计Project & Excite模块,以在特征重新校准过程中建模不确定性,并使用全面的训练范式来学习每个构建块的理想参数。大量的实验比较研究证实了所提出模型在解决iSeg-2017数据集上的多模式婴儿脑分割问题时在不同评估指标方面的效率和准确性。

Method

方法

We explain the proposed fuzzy-informed deep learning segmentation (FI-DL-Seg) guided network, the relevantprinciples, and building blocks to learn multimodalinformation from MRI images. The architecture is presented inFig. 2, which include three main processes, such as the image refinement, fuzzy-enabled multi-scale learning and deep supervision. A volumetric fuzzy pooling layer models the local fuzziness of the volumetric convolutional maps by applying fuzzification, accumulation, and defuzzification on the adjacency feature map neighborhoods. The VFP layer is employed to design the fuzzy-enabled multiscale feature learning (F-MFL) module to enable the extraction of brain features in different receptive fields. Meanwhile, we introduce a fuzzified multichannel dense model for multimodal segmentation. Every MRI modality has its own channel and all layers from all channels are densely connected. The main construction processes of FI-DL-Seg are described as follows:

我们解释了提出的模糊引导深度学习分割(FI-DL-Seg)引导网络,相关原理和从MRI图像中学习多模态信息的构建模块。该架构如图2所示,包括三个主要过程,即图像细化、模糊启用的多尺度学习和深度监督。体积模糊池化层通过在邻域特征图上应用模糊化、累积和去模糊化来模拟体积卷积地图的局部模糊性。VFP层用于设计模糊启用的多尺度特征学习(F-MFL)模块,以实现在不同感受野中提取脑特征。同时,我们引入了一种用于多模态分割的模糊多通道密集模型。每个MRI模态都有自己的通道,所有通道的所有层都是密集连接的。FI-DL-Seg的主要构建过程如下描述:

Conclusion

结论

In this paper, we provide a volumetric framework for braintissue segmentation from a whole MRI image that can beadopted for various multimodal MRI settings. The proposedfuzzification layer is shown to reduce uncertainty within MRI images and feature maps. Making use of dilated convolutioneffectively helps to capture multiscale features, and thus to further fine-tune the segmentation quality. The 3Drecalibration of DenseNet output can enable better exploitationof 3D spatial information and hence it can boost therepresentative capabilities of features. We adopt BN to attainthe rapid and optimal network convergence, and a trainablefuzzy module to minimize the uncertainty of feature maps. Experimental comparisons validated the effectiveness of fuzzyguidance and deep supervision structures. Such superiorsegmentation performance validated our model as an accurateand trustworthy tool to identify and assess the humanneurodegeneration.

本文提出了一种从整个MRI图像进行脑组织分割的体积框架,可适用于各种多模态MRI设置。所提出的模糊化层被证明能够减少MRI图像和特征图中的不确定性。有效利用膨胀卷积有助于捕获多尺度特征,从而进一步调优分割质量。DenseNet输出的三维重新校准可以更好地利用三维空间信息,从而提高特征的代表性能力。我们采用BN来实现快速和最佳的网络收敛,并采用可训练的模糊模块来最小化特征图的不确定性。实验比较验证了模糊引导和深度监督结构的有效性。这种优越的分割性能验证了我们的模型作为一种准确可靠的工具,用于识别和评估人类神经退化。

Figure

图片

Fig. 1. Sample of MRI of a six-month-old. (a) Mid-axial T1-weighted slice,(b) T2-weighted slice, and (c) Ground-truth mask.

图1. 六个月大婴儿的MRI样本。(a) 中轴T1加权切片, (b) T2加权切片,以及 (c) 地面真实掩膜。

图片

Fig. 2. Architecture of proposed fuzzy-guided-framework for multimodal brain MRI segmentation

图2. 提出的用于多模态脑MRI分割的模糊引导框架架构

图片

Fig. 3. Architecture of proposed dilation inception module

图3. 提出的膨胀启动模块的架构

图片

Fig. 4. Architecture of proposed multichannel dense connection

图4. 提出的多通道密集连接的架构

图片

Fig. 5. Architecture of fuzzy project and excitation block.

图5. 模糊项目和激励块的架构

图片

Fig. 6. Sample of segmentation outcomes for unimodal and multimodal schema. (a) Ground truth, (b) Unimodal FI-DL-Seg on T1-weighted image, (c) Unimodal FI-DL-Seg on T2-weighted image, and (d) Multimodal FI-DL-Segon T1 and T2 weighted images.

图6. 单模态和多模态方案的分割结果示例。(a) 地面真实情况,(b) T1加权图像上的单模态FI-DL-Seg,(c) T2加权图像上的单模态FI-DL-Seg,以及(d) T1和T2加权图像上的多模态FI-DL-Seg。

图片

Fig.7. Performance of the proposed FI-DL-Seg on the subjects of iSeg-2017 datasets. (a) DSC, (b) MHD, and (c) AHD

图7. 提出的FI-DL-Seg在iSeg-2017数据集的主题上的性能。(a) DSC,(b) MHD,和(c) AHD。

图片

Fig. 8. Average DSC of FI-DL-Seg on unimodality/multimodality images.

Fig. 8. FI-DL-Seg在单模态/多模态图像上的平均DSC。

图片

Fig. 9. Average DSC of our model with/without BN.

Fig. 9. 我们模型的平均 DSC(Dice similarity coefficient),带有/不带有 BN(Batch Normalization)的情况。

图片

Fig. 10. Average DSC of our model using different weight initialization methods.

Fig. 10. 我们模型使用不同的权重初始化方法的平均DSC。

图片

Fig. 11. Average DSC of our model againstbaseline version without F-MSL.

Fig. 11. 我们模型相对于没有F-MSL的基线版本的平均DSC。

图片

Fig. 12. DSC from implementing the F-MSL.

Fig. 12. 通过实施F-MSL获得的DSC。

图片

Fig. 13. Average DSC for FI-DL-Seg with/without PE.

Fig. 13. FI-DL-Seg带有/不带有PE的平均DSC。

图片

Fig. 14. Average DSC for FI-Inf-Seg with/without fuzzification.

Fig. 14. FI-Inf-Seg带有/不带有模糊化的平均DSC

Table

图片

Table I. Proposed hyperparameters

表I. 提出的超参数

图片

Table II. Parameters of iSeg-2017 datasets

表II. iSeg-2017数据集的参数

图片

Table III. Performance comparison on ISeg2017 dataset.

表III. iSeg2017数据集上的性能比较

图片

Table IV. Significant test results (p-values) attained by FI-DL-Seg against baseline architecture.

表IV. FI-DL-Seg与基准架构之间获得的显著性测试结果(p值)。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/626772.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

10,hadoop优化与LZO压缩

hadoop多目录与LZO压缩 1.HDFS存储多目录 存储多目录: namenode, datanode namenode: 可以在当前节点中创建几个 namenode的多目录, 就是 虽说可以是多个目录,但是这个namenode多目录中,内容都是一样, 就…

使用System.Drawing绘制基本几何图形

1.使用System.Drawing绘制一个正方形 using System; using System.Drawing; using System.Windows.Forms;public partial class MyForm : Form {public MyForm(){// 你可以在这里设置Form的双缓冲,以避免绘制时出现的闪烁 this.DoubleBuffered true;}protected o…

基于django医用耗材网上申领系统的实现

基于django医用耗材网上申领系统的实现 开发语言:Python 数据库:MySQL所用到的知识:Django框架工具:pycharm、Navicat、Maven 系统功能实现 管理员登录 系统在安全性的验证方面究竟做了什么功能呢?在做之前我们也进行了思量&…

全面提升数据采集效率:亮数据产品的应用与评估详解

全面提升数据采集效率:亮数据产品的应用与评估详解 文章目录 全面提升数据采集效率:亮数据产品的应用与评估详解背景应用场景:平台首页信息抓取准备评测素材详细的产品使用和评测流程产品介绍亮数据的IP代理服务亮数据的爬虫工具及采集技术 注…

一个视频AI自动抠像 速度快 操作简单 - RobustVideoMattingGU

RVM的GUI版本: 一款基于Robust Video Matting(RVM)源码的图形用户界面(GUI)版本,采用先进的pyqt6框架和qdarkstyle风格设计,为视频编辑爱好者和二次创作者打造了一个功能丰富的工具箱。这款软件…

基于springboot实现的家具销售电商平台

开发语言:Java 框架:springboot JDK版本:JDK1.8 服务器:tomcat7 数据库:mysql 5.7(一定要5.7版本) 数据库工具:Navicat11 开发软件:eclipse/myeclipse/idea Maven包&…

JavaScript异步编程——10-async异步函数【万字长文,感谢支持】

异步函数(用 async 声明的函数) 异步函数的定义 使用async关键字声明的函数,称之为异步函数。在普通函数前面加上 async 关键字,就成了异步函数。语法举例: // 写法1:函数声明的写法async function foo1(…

基于SVPWM的飞轮控制系统的simulink建模与仿真

目录 1.课题概述 2.系统仿真结果 3.核心程序与模型 4.系统原理简介 5.完整工程文件 1.课题概述 基于SVPWM的飞轮控制系统的simulink建模与仿真。SVPWM的核心思想是将逆变器输出的三相电压矢量在两相静止坐标系(αβ坐标系)中表示,通过控…

基于EKF扩展卡尔曼滤波的一阶环形倒立摆控制系统simulink建模与仿真

目录 1.课题概述 2.系统仿真结果 3.核心程序与模型 4.系统原理简介 5.完整工程文件 1.课题概述 基于EKF扩展卡尔曼滤波的一阶环形倒立摆控制系统simulink建模与仿真。基于扩展卡尔曼滤波(Extended Kalman Filter, EKF)的一阶环形倒立摆控制系统&…

常类API(Math,System,Runtime)

1、Math 是帮助我们用于进行数学计算的工具类私有化构造方法,所有的方法都是静态的 方法名 说明public static int abs(int a) 获取参数绝对值 public static double ceil(int a)向上取整public static double floor(int a)向下取…

算法分析与设计复习__渐近+复杂度

算法v.s.程序: 程序 数据结构 算法; 1.时空复杂度T(n)/O(n)(衡量一个算法的优劣) 1.1最坏/最好/平均(所有输入等概出现)时间复杂度; 1.1.1 E.g.手算某算法(冒泡排序)程序段的T,O; 1.2算法的渐近表示; …

C++|多态性与虚函数(2)|虚析构函数|重载函数|纯虚函数|抽象类

前言 看这篇之前,可以先看多态性与虚函数(1)⬇️ C|多态性与虚函数(1)功能绑定|向上转换类型|虚函数-CSDN博客https://blog.csdn.net/weixin_74197067/article/details/138861418?spm1001.2014.3001.5501这篇文章会…

Selenium 自动化 —— 四种等待(wait)机制

更多关于Selenium的知识请访问CSND论坛“兰亭序咖啡”的专栏:专栏《Selenium 从入门到精通》 ​ 目录 目录 需要等待的场景 自己实现等待逻辑 Selenium 提供的三种等待机制 隐式等待(Implicit Waits) 隐式等待的优点 隐式等待的缺点 …

【保姆级介绍自动化的讲解】

🌈个人主页: 程序员不想敲代码啊 🏆CSDN优质创作者,CSDN实力新星,CSDN博客专家 👍点赞⭐评论⭐收藏 🤝希望本文对您有所裨益,如有不足之处,欢迎在评论区提出指正,让我们共…

mysql根据字段值关联查不同表

mysql根据字段值关联查不同表: 实现: 使用left join 结合case when 判断直接取值: select mp.member_id ,mp.store_id, case mp.store_type when 1 then bs.store_namewhen 2 then sc.store_namewhen 3 then be.store_name end as store_na…

Windows / Linux 查看计算机支持的最大内存

该操作一般用不到,主要用于给计算机扩展内存用。 一、Windows 系统 以管理员身份运行 cmd 1、查看主板最大支持内存容量 wmic memphysical get maxcapacity /format:value将返回值值是以KB为单位的,除以 1024,再除以 1024,即…

银行核心背后的落地工程体系丨混沌测试的场景设计与实战演练

本文作者: 张显华、窦智浩、卢进文 与集中式架构相比,分布式架构的系统复杂性呈指数级增长,混沌工程在信创转型、分布式架构转型、小机下移等过程中有效保障了生产的稳定性。本文分享了 TiDB 分布式数据库在银行核心业务系统落地中进行混沌测…

【AI学习】对指令微调(instruction tuning)的理解

前面对微调(Fine-tuning)的学习中,提到指令微调。当时,不清楚何为指令微调,也一直没来得及仔细学习。 什么是指令微调?LLM经过预训练后,通过指令微调提升模型的指令遵循能力。所谓指令&#xf…

【微记录】dmidecode是干什么的?常用来做什么?如何查看系统支持的PCIe版本号(本质:标准,Desktop Management Interface)

是什么 dmidecode 是一个在 Linux 系统提取硬件信息的命令行工具。DMI 代表桌面管理接口(Desktop Management Interface),是一种标准,收集桌面计算机的硬件信息,包括系统制造商、序列号、BIOS 信息、系统资产标签等。…

AI图像生成-基本步骤

模型板块 1、新建采样器:新建节点-》采样器-》K采样器 2、拖动模型节点后放开,选择checkpoint加载器(简易),模型新建成功 提示词板块 1、拖动正面条件节点后放开,选择CLIP文本编码器,模型新建…