一基于不确定性感知的脑肿瘤分割多维互学习

背景

现有脑肿瘤数据分割方法通常在3D体积上或者是2D切片上。基于体积的方法得到了好的空间关系，基于切片的方法擅长捕获精细的局部特征。它们的分割预测之间存在丰富的互补信息。本文用2D，2.5D，3D并行以及不确定性门控机制促进软标签的选择，以确保共享信息的可靠性

贡献

该框架建立在三维模型（即2D-CNN、2.5D-CNN和3D-CNN）的基础上，并在关于基本事实的硬监督和关于软标签的弱监督下同时训练它们。我们进一步利用不确定性门控机制来选择软标签，以防止一个模型教授具有不可靠共享信息的其他模型。

1. 我们设计了一个具有不确定性感知的多维互学习（UMM）框架，该框架具有三个分割模型（2D-CNN、2.5D-CNN、3D-CNN），用于脑和脑肿瘤分割。
2. 每种模型都为其他两种模型提供了额外的软监督。我们利用不确定性门控机制来过滤互学习中的不确定性区域，以提高共享信息的可靠性。
3. 以U-Net为骨干，在我们从天津环湖医院收集的公共IBSR脑组织分割数据集、公共脑肿瘤分割BraTS2020数据集和私人3D脑膜瘤脑肿瘤分割数据集上，我们的框架优于最先进的（SOTA）分割方法。

实验

数据集：三个数据集上评估了我们框架的有效性，包括自收集的脑膜瘤分割数据集（表示为MeniSeg）、公共脑分割库（IBSR）数据集1和公共脑肿瘤分割（BraTS2020）数据集

方法

Uncertainty-Aware Mutual Learning（具有不确定性的相互学习）

Os，Op，Ov是2D，2.5D，3D得到的分割图，分割图应该是一致的，用MSE损失相互监督。与（1）中提供硬标签的监督损失相比，一致性损失为每个体素提供软标签，以学习重要的数据分布知识，从而提高分割性能。然而，除了交换有用的信息外，最初的相互学习可能不可避免地会引入噪声。例如，如果2D-CNN在某些区域中有错误的预测，则相互学习将这些错误传递给3D-CNN和2.5D-CNN，最终导致不稳定的训练。为了缓解这个问题，我们利用训练样本[30]、[31]的更可靠的分割区域来帮助相互学习。在这项工作中，我们通过使用蒙特卡罗Dropout[32]（见图2的MC Dropout）来估计2D-CNN、3D-CNN和2.5D-CNN的三个不确定性图（表示为Us、Uv、Up）。具体来说，我们在随机丢弃的情况下执行T次随机前向传递，并**根据经验设置T=8[**33]。如果模型倾向于生成错误的分割预测，则体素具有大的不确定性分数。具体而言，Us、Uv和Up的定义如下：


不确定性引导损失

Thinking

认为2D，2.5D，3D网络可以学到互补信息，利用三个网络联合训练相互学习，为了防止往都不好的方向训练，加入了不确定性，在推理的时候对三个网络进行加权求和