重新思考U-Net在医学超声图像分割中的应用（NU-net）

Rethinking the Unpretentious U-net for Medical Ultrasound Image Segmentation

摘要：

乳腺肿瘤分割是帮助我们描述和定位肿瘤区域的关键步骤之一。然而，乳腺肿瘤形态多变、边界模糊、强度分布相似，给乳腺肿瘤的准确分割带来了挑战。近年来，许多U-net变异体被提出并广泛用于乳腺肿瘤的分割。然而，这些体系结构有两个局限性:(1)忽略了基准网络的表征能力;(2)引入额外的复杂操作增加了理解和再现网络的难度。为了缓解这些挑战，本文提出了一种简单而功能强大的嵌套U-net (NU-net)来精确分割乳腺肿瘤。关键思想是利用不同深度和共享权重的U-Nets来实现乳腺肿瘤的鲁棒表征。NUnet主要有以下优点:(1)提高了网络对不同规模乳腺肿瘤的适应性和鲁棒性;(2)该方法易于重现和执行;(3)额外的运算增加了网络参数，而不会显著增加计算成本。在3个公开的乳腺超声数据集上使用12种最先进的分割方法进行的大量实验结果表明，NU-net对乳腺肿瘤的分割性能更具竞争力。进一步说明了NU-net在肾脏超声图像分割上的鲁棒性。源代码可在https://github.com/CGPxy/NU-net上公开获得。

1 介绍

乳腺癌是女性最可怕的癌症之一，严重威胁着女性的健康[1]。

目前，超声成像以其灵活、无害、成本低等优点被广泛应用于临床预筛查。从乳腺超声图像中分割病变区域对于肿瘤诊断和术后随访至关重要[2]-[4]。然而，复杂的超声图像、相似的强度分布、多变的肿瘤形态、模糊的边界给乳腺肿瘤的自动分割带来了很大的挑战[5]，如图1所示。

图1所示。U-net和我们的方法对乳腺肿瘤的分割结果。从这些图像中可以看出，形态学变化，边界模糊，周围问题相似，严重影响了乳腺肿瘤，尤其是小肿瘤和恶性肿瘤的分割精度。

卷积神经网络(convolutional neural networks, cnn)由于其强大的非线性表征能力，已成功并广泛应用于医学图像分割[6]-[9]或自然图像分割[10]-[12]。其中，U-net[8]是医学图像分割中最成功的网络架构之一。它使用跳跃连接将编码器中的浅、低、细粒度特征映射与解码中的深、语义和粗粒度特征映射融合在一起，以提高网络的分割精度[13]。在此激励下，Almajalid等[14]首次使用U-net对增强和去噪的乳腺超声图像进行分割。

然而，这些预处理操作削弱了对象的空间结构，平滑了边缘。此外，原始的U-net不能处理周围组织和肿瘤形态的扰动，使其难以学习乳腺肿瘤的鲁棒表示为了进一步提高乳腺肿瘤的分割精度，人们开发了许多基于编码器-解码器架构的变体网络来分割乳腺肿瘤[15]-[19]。这些变体网络大致可分为多尺度U-net[20] -[23]、注意力优化U-net[24] -[28]、深度监督U-net[29] -[31]和多模块混合U-net[32] -[36]四种类型，如图2所示。已有研究表明，引入不同的策略(如残差学习、注意模块、多尺度、深度监督)可以提高U-net对乳腺肿瘤的分割性能[19]。然而，这些变体体系结构也受到两个明显的限制。

(A)的鲁棒性。

虽然这些附加操作的引入提高了乳腺肿瘤的分割精度，但它们并没有充分剖析基准网络的表征能力。因此,我们可以合理地假设，在具有良好表示能力的基准U-net中引入额外的操作可以获得更稳健的分割性能。

(B)的复杂性。

这些额外的操作不可避免地增加了网络的理解和再现的难度，这势必会阻碍网络的广泛应用。因此，我们需要建议的网络易于复制和实现。

为了解决上述局限性，我们开发了一个简单的嵌套U-net (NU-net)来提高乳腺肿瘤的分割精度。具体来说，我们首先利用更深的U-net(15层)作为基线网络。

然后，将开发的多出u网作为编码器和解码器之间的骨干嵌入。最后，利用基于多步降采样的三段短连接增强编码特征的长程信息的相关性。与U-net的各种网络相比，NU-net主要具有以下优点:

首先，NU-net没有复杂的组件，不会显著增加计算成本，易于复制和执行。

•其次，简单地增加基线U-net的深度可以显著提高乳腺肿瘤分割的准确性，并且优于许多变体网络。

•第三，嵌套的多出U-nets在细化编码特征映射的同时，进一步增强了细粒度特征和语义特征之间的相关性。

进一步提高了网络对不同规模乳腺肿瘤的适应性。

•此外，在公共乳腺超声数据集上的大量实验结果表明，NU-net在乳腺肿瘤分割方面具有更好的鲁棒性。

2. 相关工作

2.1 多尺度UNet

构建多尺度u型网络的一种常用方法是使用不同核大小的初始层[10]作为卷积层，如STAN[20]和ARFNet[22]。然而，Li等[37]指出，这种人为设计的多尺度卷积层不能自适应地提取不同尺度接受野下的客观信息。为了自适应捕捉乳腺肿瘤在不同感受野下的特征信息，Byra等[21]开发了一种选择性核U-net (SKU-net)来分割乳腺肿瘤。Chen等[23]指出SKU-net存在明显的局限性它只考虑通道维度上的特征选择。为了克服这一局限性，提出了一种自适应注意U-net (AAU-net)，从通道和空间维度上自适应地选择不同感受野下的乳腺肿瘤特征[23]。AAU-net可以选择更具有代表性的乳腺肿瘤特征，但在空间和通道维度上的运算成本较高。此外，完全适应多变的肿瘤形态仍然是一个挑战。

2.2注意力优化U-net

随着注意力u型网络(Att U-net)的出现[38]，许多整合了注意力模块的u型网络也被开发出来用于乳腺肿瘤的分割。Yan等[27]提出了一种基于注意U-net的混合扩张卷积的注意增强U-net (AE - Unet)，用于从超声图像中分割乳腺肿瘤。然而，在更深的卷积层上使用扩展卷积无法捕获足够的上下文信息[39]。此外，其对乳腺病变的分割性能受到Att U-net的限制。Lee等人

[25]通过引入带有多尺度网格平均池化的通道关注模块，提高了U-net对乳腺肿瘤的分割性能。随后，Lei等[24]通过整合空间注意、通道注意和非局部模块，设计了一个更复杂的网络来分割乳腺肿瘤。然而，类似的周围组织可能会干扰非局部手术的表现。Chen等[28]设计了一种双向感知引导网络，使用全局特征和局部特征的双向校准来提高网络的鲁棒性。不同注意力模块的引入虽然提高了U-net的分割性能，但仍然受到各种干扰因素的影响。

2.3深度监督U-net

与多尺度U-net和注意力优化U-net不同，深度监督U-net对网络的每个阶段进行约束，使学习到的特征更接近真实目标。Wang等[29]在U-net的每个阶段捕获的特征图上使用深度监督策略约束来分割乳腺病变。然而，过度引入深度监督约束不仅不会提高网络的性能，而且会增加网络参数。Qu等[30]通过在解码阶段加入深度监督，提高了U-net对乳腺肿瘤的分割精度。引入深度监督机制可以引导网络学习预测分段结果的尺度-该策略可以在一定程度上提高乳腺肿瘤的分割精度。

图2所示。U-net及其变体网络的粗略说明。

2.4多模块混合U-net

为了使U-net对乳腺肿瘤实现更好的分割性能，在U-net中联合引入残差学习、多尺度、关注和深度监督机制。Abraham等[33]通过在Att U-net中引入多尺度图像输入金字塔和深度监督机制，构建了一种新的u型网络(MADU-net)来分割乳腺超声图像。多图像输入可以提供更细粒度的特征映射，但引入过多的底层特征映射会影响表征高层语义特征，降低网络性能。Tong等[34]利用残差卷积块替代Att U-net卷积块对乳腺肿瘤进行分割。随后，庄等人[32]在Tong等人[34]的基础上引入了扩展卷积层，以捕获不同接受场下的特征。然而，在更深的卷积层上捕获的客观特征缺乏上下文信息[39]。此外，这些残差操作通常是在相同比例尺的特征映射上进行的。为了更好地捕捉乳腺肿瘤的多尺度信息，Punn等[35]将Att Unet的卷积块替换为初始卷积层构建的残差块。同样，Wang等[36]通过整合初始卷积层和深度监督策略，提高了U-net对乳腺肿瘤的分割精度。然而，Li等[37]指出初始卷积层捕获的多尺度信息更依赖于人为设置的卷积核大小，不能自适应捕获乳腺肿瘤的多尺度信息。表1总结了现有的用于乳腺肿瘤分割的u型网络。

3 方法

本节以概述的陈述开始。然后介绍了分割网络的体系结构和实现技术细节。

3.1概述

通过对U-net及其变体网络在乳腺超声图像分割上的系统分析，发现了它们的一些局限性:(1)倾向于使用较浅的U-net。(2)引入复杂的额外操作。(3)复制应用不方便。为了缓解这些局限性，进一步提高乳腺肿瘤的分割精度，我们提出了一种简单的嵌套Unet (NU-net)，如图3所示。u -net可以粗略地看作是7个不同深度、共享权值的u -net的组合。因此，它很容易理解和复制。具体而言，我们首先利用更深的U-net(15层)作为骨干网络，提取更充分的乳腺肿瘤特征。然后，将开发的多出u网(MOU)作为编码器和解码器之间的骨干嵌入。嵌套的多出u网可以在细化编码特征映射的同时，进一步增强细粒度特征和语义特征之间的相关性。最后，利用基于多步降采样(MDSC)的短连接来增强编码特征间长程信息的相关性。

3.2更深的骨干u网

U-net及其变体网络广泛应用于乳腺病变分割。然而，这些变体网络的深度往往是9或更浅。已有研究也表明，增加网络的深度可以提高网络的泛化能力和鲁棒性[43]。因此，这些浅薄的网络架构师

对于复杂的超声图像(如:质量低、形态多变、周围组织相似、边界模糊)，往往无法充分提取和表征乳腺肿瘤的空间和位置信息。为了从复杂的乳房超声图像中捕获足够有效的客观特征，我们使用深度为15的U-net作为我们方法的基线网络，参见5.1节。

3.3 MOU (Multi-Out U-net)

众所周知，u型网络中编码器和解码器的作用分别是提取和重构目标特征。因此，编码器和解码器对目标的表征能力直接影响到网络的性能。然而，如何保证编码器的每个卷积层捕获的特征映射是有效的和充分利用是一个挑战。在本文中，我们设计了一个多出U-net，在编码阶段对每组特征映射进行细化。如图所示，NU-net包含6个MOU模块，深度分别为11、9、7、5、3、1。每个MOU模块中所有卷积层的滤波器大小相同，即输入特征映射的通道数。MOU模块主要有三个关键功能:(1)通过MOU模块对每组编码特征图进行细化，可以帮助网络更好地处理更复杂的乳腺超声图像。(2)各MOU模块的中间层输出与骨干网编码器的输出相结合，送入骨干网解码器。MOU模块捕获的不同深度的特征图FX可以为解码器的重建过程提供足够的特征信息。(3) MOU模块的使用进一步增强了同一尺度下编码特征与解码特征之间的相关性。

通过MOU模块的嵌入，我们可以将NU-net大致视为7个不同深度、共享权值的unet的组合。

3.4多步下采样短连接

神经网络容易出现网络退化。缓解网络退化的常用方法是利用短连接将细粒度特征映射到高级特征[44]，如图4(a)和图4(b)所示。然而，这些短连接通常是在具有相同或相邻尺度的特征图上实现的，这不能完全补偿长距离信息的损失。为了进一步提高远距离特征图的相关性，我们采用多步降采样作为短连接操作，如图4(c)所示。多步下采样短连接由池大小为4 4的池化层和过滤器大小为32的卷积层组成，并伴随着批处理归一化层和激活层。我们方法的编码器包含三个多步降采样短连接，如图4(d)所示。多出u网与多阶下采样短连接相结合，可以减轻乳腺肿瘤形状和尺度对分割结果的干扰，提高网络对不同尺度输入的适应性。

图3所示。U-net示意图，主要由深层骨干U-net(15层)和多出U-net (MOU)组成。NUnet可以粗略地看作是7个不同深度、共享权值的U-nets的组合。

图4所示。说明不同的短连接(SC)

4 材料与实验

在本节中，我们首先介绍三种公共乳房trasound数据集。然后，详细描述了网络训练的实验细节。最后，介绍了常用的五种网络性能评价指标。

4.1数据集描述

在本文中，使用三个广泛使用的公共乳房超声数据集来评估分割网络的性能。al - dhabyani等[41]构建了第一个乳房超声数据集(BUSI)，包含600名女性患者的780张图像。其中，正常133例，良性肿瘤437例，恶性肿瘤210例。这些图像是由巴海亚医院的两种超声设备(LOGIQ E9超声和LOGIQ E9 Agile超声系统)获得的。本文使用的第二个乳腺超声数据集B是由Yap等人[2]收集的。数据集B包含163张图像，由西门子ACUSON Sequoia C512系统采集。数据集B中的良性和恶性病例分别为110例和53例。第三个公开的乳房超声数据集是Zhuang等人提供的STU[32]。

图中包含了汕头大学使用GE Voluson E10超声诊断系统采集的42张乳腺超声图像。STU数据集不能区分良性和恶性病例。由于STU数据集包含的图像太少，因此仅用作评估分割网络泛化性能的外部测试数据。

4.2评价指标

本文采用五种常用的分割指标，定量评价不同方法对乳腺超声图像分割的效果。

它们是Jaccard, Precision, Recall, Specificity和Dice[23]。Jaccard、Precision、Recall、Specificity和Dice这5个指标值越高，网络的分割效果越好。

4.3实验细节

为了充分验证该方法的有效性和鲁棒性，我们使用三个乳腺超声数据集进行了广泛的实验，如消融研究、与最新分割方法的比较、鲁棒性分析等。在消融研究中，我们分别对BUSI和数据集B进行了四次交叉验证。同样，我们在对比实验中对BUSI和数据集B执行了四重交叉验证。在稳健性分析实验中，我们对良性和恶性进行了四重和三重交叉验证

恶性肿瘤分别为BUSI。最后，对训练好的分割网络进行外部验证实验。

用于网络训练的损失函数是二元交叉熵。我们利用Adam优化器来训练我们的网络，它的超参数被设置为默认值，其中初始学习率为0.001。多重交叉验证表明，epoch size为50,batch size为12时，分割效果最好。开发环境为TensorFlow 2.6.0、Python 3.6和两块NVIDIA RTX 3090 GPU。

5 结果

在本节中，我们首先演示NU-net的不同组成部分的有效性。然后，将该方法与12种最先进的分割方法进行了比较。最后，我们全面评估了我们的方法的稳健性。

5.1 建筑消融

为了验证U-net的主要组成部分，即深层U-net、多出U-net (MOU)和多步下采样短连接(MDSC)的有效性，我们在BUSI和数据集b上进行了消融实验。基线网络是U-net，包括4次下采样和4次上采样操作。在消融实验中，我们分别在BUSI和数据集B上实现了四重交叉验证。

表2显示了建筑消融研究的定量结果。

为了获得最佳网络深度，我们对不同深度的U-nets进行了比较。从图5可以看出，通过增加基准U-net的深度，可以进一步提高对乳腺肿瘤的分割性能。这也说明了增加网络深度以应对复杂乳腺超声图像的必要性。如图5所示，当U-net深度为15或17时，分割效果最好。

因此，我们选择网络参数较少的15层U-net作为我们的基准网络。对比U-net和Deeper U-net的结果可以发现，网络深度的增加显著提高了U-net对乳腺肿瘤的分割性能。

通过deep U-net和“deep Unet + MOU”的对比，我们可以看到，嵌入MOU模块可以进一步提高乳腺肿瘤的分割精度。这证明了特征映射的细化

编码器的设计有利于网络性能的提高。从“更深的U-net + MOU”和“更深的U-net + MOU + MDSC”的结果可以得出结论，多阶下采样短连接的加入可以进一步帮助网络捕获足够的目标特征，从而提高网络的适应性。通过以上分析，我们可以得出结论，本文设计的这些组件对于提高U-net的乳腺肿瘤分割性能至关重要。

此外，我们还从网络参数和计算成本的角度分析了不同组件的复杂性。添加不同组件后U-net的网络复杂度如表3所示。虽然增加网络深度和MOU模块会显著增加网络参数，但不会显著增加计算成本。此外，MDSC的加入对增加网络参数和计算成本的影响很小。总的来说，我们的方法在较小的计算成本下实现了更稳健的分割性能。

5.2与最先进方法的比较

在本文中，我们的方法与12种最先进的乳房超声图像和医学图像分割的深度学习方法进行了比较。我们的比较方法包括U-net[8]、Att U-net[38]、U-net+[13]、U-net3+[46]、STAN[20]、SKU-net[21]、AAU-net[23]、AE U-net[27]、RDAU-Net[32]、MADU-net[33]、scSEUnet[47]、SegNet[11]和BASNet[31]。其中，SegNet、u -net++、U-net3+、BASNet也是广泛应用于图像分割的u型网络。在对比实验中，我们分别在BUSI和数据集B上实现了四重交叉验证。

表4显示了不同方法在BUSI和数据集b上的定量评价结果。实验结果表明，本文方法在BUSI和数据集b上获得了最具竞争力的分割结果。为了进一步证明我们方法的优势，我们对第二种结果进行了配对学生t检验，p值(p < 0.05)表明我们的方法与比较方法之间存在显著差异。

5.3稳健性分析

为了证明NU-net的鲁棒性，我们首先分析了NU-net对乳腺良恶性肿瘤的分割性能。然后，我们评估了NU-net在不同站点数据上的分割性能。

良性肿瘤与恶性肿瘤在形态、边界、强度分布等方面存在较大差异。为了评估NU-net的鲁棒性，我们分别对恶性肿瘤和良性肿瘤进行了比较分析。我们对BUSI良性肿瘤进行了四重交叉验证，对BUSI恶性肿瘤进行了三重交叉验证。

表5为良性肿瘤和恶性肿瘤的分割结果。从表5可以看出，我们的方法在良性肿瘤和恶性肿瘤的分割上仍然取得了最好的效果。

此外，与第二种结果相比，p值表明我们的方法在分割精度上有显著提高。由于超声模态的复杂性，这些变体网络对单个图像仍然存在严重的漏检和误检，甚至分割失败。各种方法对良恶性肿瘤的分割失败比例如图6所示。我们的方法实现了良恶性肿瘤分割的最小失败率。本方法对良恶性肿瘤的失败率分别为1.43%和4.12%。

5.3.2 E外部V验证

由于不同部位的差异，采集到的超声图像差异较大[26]。这些差异可能导致模型在训练数据集上表现良好，但在外部数据集上表现不佳。为了进一步评估本文提出的方法的鲁棒性，我们使用数据集B和STU作为外部验证数据来评估不同方法对不同站点数据的适应性。具体而言，我们以数据集B作为BUSI的外部验证数据，以STU作为数据集B的外部验证数据，各种方法对外部验证数据集的分割结果如表6和图7所示。

显然，该方法在两次外部验证实验中获得了最好的分割效果。

6 应用程序

我们进一步评估了该方法在肾脏超声图像分割任务中的有效性。为了保证实验的公平性，我们使用了与近期肾脏分割工作相同的实验设置来获得我们方法的分割结果(参考C- Net[48])。类似地，我们使用三次交叉验证来训练我们的方法。表7显示了各种分割方法在肾脏超声图像分割评价指标上的得分。图8为不同方法对肾脏超声图像的分割结果。显然，我们的方法达到了最好的分割性能，并且优于所有比较的方法。这可以从肾超声图像的Y分割。

7 讨论

7.1与U-net变型网络的比较

在这项研究中，我们提出了一个朴素的嵌套U-net (NU-net)，利用不同深度的U-net来细化编码特征。与现有的Unet变体网络相比，该方法在不显著增加计算成本的情况下增加了网络参数，如图9所示。此外，我们的方法中引入的额外操作(MOU和MDSC模块)非常容易理解和执行。

表4和图10给出了不同分割方法在BUSI和数据集B上进行四重交叉验证的分割结果。显然，我们的方法在五个定量评价指标上达到了最先进的结果。如图10所示，我们的方法可以有效地降低漏检率和误检率，获得更接近于ground-truth mask的分割结果。此外，我们的方法可以有效缓解异构、模糊边界和肿瘤形态对分割结果的扰动，如图10所示。根据U-net和U-net变异网络的分割结果，可以观察到两个关键点:(1)现有的U-net变异网络对不同的乳腺超声图像更敏感，鲁棒性较差。(2)虽然这些变体网络提高了乳腺肿瘤的分割精度，但在单个图像上存在严重的漏检和误检，甚至无法检测到感兴趣的区域。

7.2 稳健性分析

从表5可以看出，我们的方法对良性肿瘤和恶性肿瘤的分割准确率最好，说明该方法对乳腺肿瘤的不同类别具有更好的适应性。从表5可以看出，与U-net相比，STAN、Att U-net和RDAU-net对恶性肿瘤的分割精度降低，说明它们对复杂的恶性超声图像更为敏感。其余的变异网络仍然提高了乳腺肿瘤(良性或恶性)的分割精度。每种方法对良恶性肿瘤分割的失败率也进一步说明了我们方法的鲁棒性，如图6所示。该方法对良恶性肿瘤的分割失败率最小。虽然U-net和scSEU-net在恶性肿瘤分割上的失败率也最小，但整体分割对恶性肿瘤的分割效果较差。同样，scSEU-net和SKU-net对良性肿瘤的分割性能也是相同的。

通过外部验证的实验进一步证明了我们的方法对乳腺肿瘤分割的鲁棒性。从表6可以看出，AA Unet、SKNet和BASNet三种方法在对比方法中仍然获得了有竞争力的结果，说明这三种方法在乳腺病变分割中具有一定的潜力。scSEU-net在BUSI的外部实验中取得了较好的效果，但在数据集b的外部实验中表现不佳，说明该方法对不同乳腺超声图像敏感，鲁棒性较差。同样，其余的方法也会遇到同样的问题。此外，从图7中可以清楚地看到，各种干扰因素导致分割结果出现严重的漏检和误检，甚至分割失败。我们的方法可以减轻这些因素的干扰，获得更接近于ground-truth mask的分割结果。

7.3 统计检验

为了研究开发的网络在不同定量指标上的比较方法的统计显著性，我们对每个比较实验中的p值进行了统计分析。从表4、表5、表6、表7中我们可以发现，这5个指标的值几乎都小于0.05，表明我们的方法在这些评价指标上比其他被比较的方法有了显著的改进。总体而言，本文提出的方法具有较好的鲁棒性和泛化能力，更适合于乳腺肿瘤的分割。

8 结论

通过对U-net及其变体网络的分析，我们发现了它们的一些局限性:(1)倾向于使用较浅的U-nets。(2)引入复杂的额外操作。(3)复制应用不方便。为了缓解这些局限性，进一步提高乳腺肿瘤的分割精度，我们提出了一种简单的嵌套U-net (NU-net)方法。该架构的设计不仅降低了网络对不同尺度输入图像的灵敏度，而且进一步提高了对物体或区域特征的表征能力。与几种最先进的深度学习分割方法进行的大量实验(对比实验、鲁棒性分析和外部验证)表明，我们的方法在乳腺病变分割上具有更好的性能。此外，在肾脏超声图像上的应用也证明了该方法的鲁棒性。

表1 用于乳腺超声图像分割的u-net变体网络综述。