Hi-Net：用于多模态MR图像合成的混合融合网络

IEEE TRANSACTIONS ON MEDICAL IMAGING, VOL. 39, NO. 9, SEPTEMBER 2020

背景

磁共振成像（MRI）是一种广泛使用的神经成像技术，可以提供不同对比度（即模态）的图像。事实证明，在许多任务中，融合这些多模态数据对于提高模型性能特别有效。然而，由于数据质量差和患者频繁辍学，为每位患者收集所有模式仍然是一项挑战。医学图像合成已被提出作为一种有效的解决方案，其中任何缺失的模态都是从现有模态合成的。

贡献

首先学习特定于模态的网络，以从每个单独的模态捕获信息。该网络被形成为自动编码器，以有效地学习高级特征表示。然后，提出了一种融合网络来利用多种模态之间的相关性。我们还提出了一种分层多模态融合策略，该策略可以有效地利用不同特征层之间的相关性。此外，还提出了一种MFB来自适应地加权不同的融合策略（即元素求和、乘积和最大化）。最后，我们的Hi-Net将模态特定网络和融合网络相结合，以学习各种模态的潜在表示，并用于生成目标图像

• 主要贡献如下与大多数现有的单模态合成方法不同，提出了一种新的医学图像合成框架，该框架使用多个模态来合成目标模态图像。
• 通过特定模态网络捕获单个模态特征，并使用分层多模态融合策略利用多模态之间的相关性，有效地集成多模态多级表示。
• 提出了一种新的MFB模块，对不同的融合策略进行自适应加权，有效地提高了融合性能。本文的其余部分组织如下。我们在第二节介绍相关工作。然后，我们在第三节中描述了我们用于医学图像合成的Hi-Net的框架。我们在第四节中进一步介绍了实验结果和讨论

实验

数据集：BraTs2018，裁剪到160x180，还评估了在缺血性中风病变分割挑战2015（ISLES2015）数据集上使用T1和Flair图像合成T2模态图像的性能[49]


消融实验：
(1) We use the “ConcateFusion” strategy both in the fusion network and generator network, denoted as “Oursdegraded1”;
(2) We use MFB modules in the fusion network and the “ConcateFusion” in the generator network, denoted as “Ours-degraded2”;
(3) We use the “ConcateFusion” in the fusion network and MFB modules in the generator network, denoted as “Ours-degraded3”

方法

the modality-specific network（模态特定网络）

在多模态学习中，来自多模态的互补信息和相关性有望提高学习成绩。因此，至关重要的是要利用多种模态之间的潜在相关性，同时还要捕获模态特定信息以保留其属性。为了实现这一目标，我们首先为每个单独的模态（例如，xi）构建一个模态特定网络

multi-modal fusion network

在多模态融合任务中，流行的策略包括逐元素求和、逐元素乘积和逐元素最大化。然而，目前还不清楚哪一种最适合不同的任务。因此，为了从每种策略的优势中获益，我们同时使用所有三种融合策略，然后将它们连接起来。然后，添加卷积层以自适应地对三个融合进行加权
可以使用低级和高级特征来利用多个模态之间的相关性

multi-modal synthesis network

判别器模型

损失函数

重建损失：

对抗损失：



总损失：

Thinking

提取多个模态的特征，合成某一缺失模态，效果好于单模态生成缺失模态
MFB融合，自适应调整逐元素加、逐元素乘、最大之间的融合效果
实验充分，消融实验丰富，单纯拼接、MFF融合、早期融合、后期融合