Learning Unified Hyper-Network for Multi-Modal MR Image Synthesis and Tumor Segmentation With Missing Modalities

背景

脑肿瘤的准确分割需要多种MR模态提供互补信息，实际场景中可能会缺失一种或多种模态。现有的方法需要针对各种可能的模态缺失情况训练多个网络或一个统一但固定的网络。提出了一种统一的、自适应的多模态MR图像合成方法，并进一步将其应用于模态缺失的肿瘤分割。

贡献

在将多模态MR图像分解为公共特征和模式特异性特征的基础上，我们设计了

• 一个共享超编码器用于将每个可用模态嵌入到特征空间中，
• 一个基于图注意力的融合模块用于将可用模态的特征聚合到融合特征中，
• 一个用于图像重建的共享超解码器。
• 我们还提出了一种对抗式的共同特征约束，以强制融合后的特征处于共同的空间中。
• 对于缺失模态分割，我们首先使用我们的合成方法进行特征级和图像级的补全，然后基于补全后的MR图像和提取的共同特征对肿瘤进行分割。

实验

数据集：BraTs 2019、2018
预处理：数据组织者的预处理，共同配准到相同的模态，插值到相同分辨率，颅骨剥离。额外预处理：N4校正，模糊均值归一化白质峰，裁剪大脑以外的黑色背景区域，线性归一化到[-1, 1]

缺失Flair的合成PSNR：34.78，分割Dice：87.01（BraTs2019)
精度很高

方法

多模态合成方法

基于多种成像方式提供的互补的诊断信息，将多模态MR图像分解为公共特征和模态特异性特征。根据公共特征和模态特异性特征来估计目标模态影像。
首先使用共享编码器提取特征，将这些特征通过基于图注意力的融合块进行交互和聚合得到融合特征。对抗约束，将融合特征约束到一个共同的特征空间，对共同的解剖结构进行建模。共同特征输入到解码器，重建输出模态。自适应地合成丢失的模态

超编码器解码器 模态调制器

相当于模态embedding？ 解决了需要为每个模态单独提供编解码器的痛点，模态调制器可以动态自适应的适应每个模态

基于图注意力的融合块

可以自适应地交互和融合从不同输入模态中提取的多模态特征。每个图节点对应每个模态的特征，节点数量动态适应可用模态的数量，边建模了每一对可用模态之间的联系。通过平均融合来聚合这些更新的节点特征。

Adversarial Common Feature Constraint（对抗共同特征约束）

用于强制提取的融合特征处于不同确实模态共享的共同空间中，隐式建模模态-共同解剖结构。引入额外的分类器，预测提取融合特征时每个模态是否可用，对抗性地迫使超编码器和融合块产生无法被分类器正确分类的融合特征，即保证提取到的融合特征再公共特征空间中。

保证融合特征分不出属于哪一个类别，保证融合特征的生成

MISSING-MODALITY MR IMAGE SEGMENTATION（缺失模态的MR分割）

将模态补全作为正则化，将补全后的图像作为分割的输入，将补全过程中提取的共同特征作为额外的分割输入。

利用提取到的公共特征重建多模态MR，将特征和完整的模态MR图像合并，输入到分割网络来估计肿瘤标签。输入的类型有真实和合成，设计了一种HBM调制模块，自适应地利用这些图像，该模块可以根据输入的真实和合成模态组合自适应地调整参数。

级联分割网络

[6] Z. Jiang, C. Ding, M. Liu, and D. Tao, “Two-stage cascaded U-Net: 1st place solution to BraTS challenge 2019 segmentation task,” in Proc. Int. MICCAI Brainlesion Workshop, 2019, pp. 231–241.
把HBM加入[6]中，作为分割网络

HBM （Hypernet-Based Modulation Module）:

调制器是一个以模态可用性向量va为输入的MLP，调制器中的每一层都与骨干分段器中的特定层相连接并调整其参数。

损失函数

S1产生的y^c，S2产生的y^fd和y^fi

Thinking

先做缺失模态的合成，用一个超编解码结构，所谓的超编解码结构就是把Va（模态标志）传入了个MLP（模态调节器），并逐层传入编解码结构中，以提取特异性特征。通过图注意力融合模块，以及对抗损失的约束，提取分辨不出来属于哪个模态的公共特征图。
一方面公共特征被解码重建回原始模态。
另一方面公共特征和重建的模态输入到分割器S1得到一个分割图。分割图和重建的影像共同输入到S2，进行分割。
框架新颖，不仅利用了合成模态正则化分割，还使用了提取到的公共特征去辅助分割。