图像几何变换和生成对抗网络
通过旋转、反转、剪切图像对乳腺医学图像进行数据增强之后，可以提高模型的准确性。但是当前简单的分割和几何变换在医疗图像数据中不会简单使用，而是会集合生成对抗网络（GAN）结合使用。使用生成对抗网络生成合成图像，以扩展数据集并生成具有多样性的图像。GANs还可用于生成医疗图像的假象。
自监督方法
自监督学习的主要优势在于它能够充分利用未标记的数据，通过使用自监督学习的方法，从未标记的医疗图像中生成伪标签，从而提高数据的利用率，降低数据标记的成本。
乳腺医学图像的传统分割方法
基于阈值的分割方法
基于边缘的分割方法
结合马尔科夫随机场（MRF）能量和模糊速度函数的半自动分割方法，以显著改善乳腺癌病灶的分割效果。
基于边缘的方法在处理噪声、弱边缘和复杂结构时存在限制
基于区域的分割方法
- 通过像素值的相似性构建分割区域，以某一像素作为种子像素进行区域的扩大，从而实现有效分割。
- 基于分水岭分割算法和中值滤波处理的方法，以解决传统方法过度依赖人工干预的问题。
- 结合区域生长法和多竞争最小二乘拟合算法，减少其他器官对分割效果的干扰，对深度学习分割任务有积极影响。
基于聚类的分割方法
聚类分割方法无需训练样本就可实现图像分割。
使用复小波域双变量模型结合各向异性扩散函数，通过聚类和自适应方法改进了乳腺核磁图像的分割。
乳腺医学图像的U-net分割方法
- U-Net 网络采用了编码器－解码器结构，旨在解决传统卷积神经网络在图像分割任务中精确定位细节和边界时的困难。
- U-net将低分辨率信息（提供对象类别识别标准）与高分辨率信息（提供精确的分割定位标准）相结合，使得分割精度显著提高。
U-net详解 （侵权联系删除）
基于残差结构的改进
- 提出Dual Channel U-net（DC-net）使用残差模块取代传统跳跃连接，并使用更高效的双通道卷积神经网络结构来实现更多空间特征的提取。
- DC-Unet根据MultiResUNet受图像噪声和背景干扰等问题做出改进，使用三个3*3卷积层代替MultiRes块中的残差连接构成新的Dual-Channel块。
- DC-Unet比U-Net有更少的参数量，但是有着双倍的高分辨率特征，实现对微小目标和模糊边界的精确分割。
Residual multi-scale U-Net (RMS-SE-UNet)网络使用新的残差多尺度（RMS）来扩大感受野来判断肿瘤的边缘部分。
在传统CNN网络中使用多个卷积核或者加深网络的层数可以实现扩大感受野，但是相对会引入大量的参数对模型性能有着相反的作用。残差块的加入可以很好解决深层次网络的问题，同时引入膨胀卷积获取更多感受野，通过并行实现不同分支有着不同的膨胀系数，对于空间信息和上下文的信息有着高效的提取效果。
膨胀卷积的详解
https://blog.csdn.net/m0_50004939/article/details/131712275
膨胀卷积的作用：①增大感受野；②保持原输入特征图
膨胀卷积有一个超参数：膨胀因子 r，通过膨胀因子我们可以控制卷积核的膨胀程度。
Kc=r ×（Ko-1）+1
Kc:普通卷积核通过膨胀设计后的卷积核尺寸
Ko:普通卷积核尺寸
将传统U-Net 的跳跃连接引入RES路径，通过残差连接可以减少高分辨率特征和低分辨率特征之间的差异。加入密集块，最大程度上保留有效特征信息，同时对梯度消失问题起到减弱作用。
为了解决U-Net及其变种模型产生的特征提取器设计复杂，未考虑空间通道维度池化操作导致信息丢失等问题，我们可以结合残差深度可分离卷积和多尺度通道注意力门设计的网络（RMAU-Net），RMAU-Net的RDw块，具有简单的结构和较大的感受野，可以克服卷积操作的局部化问题。
为了解决乳腺图像边界模糊、结构复杂
- 我们可以开发一种新颖的细化残差卷积网络从超声图像中准确分割乳腺肿瘤，主要由具有深度监督模块SegNet、漏检残差网络和误检残差网络组成。
- ESKNet(增强的选择性核卷积)，通过并行不同尺度核和动态选择机制来优化特征提取。将通道和空间注意力模块集成到上采样和下采样中。同时其中的 残差结构 增强特征传播并缓解梯度消失的问题。
基于多尺度特征的改进
ASPP-FC-DenseNet可以解决肿瘤形态多样性和大小不一的问题。引入空间金字塔池化解决了输入图像尺寸不统一问题。
结合不同采样率的空洞卷积增加了网络的感受野范围对于图像的多尺度特征提取起到了有效帮助，同时解决由于空间金字塔池化多次特征和并引起的信息丢失问题。
网络上采样由密集块和过渡层组成，并结合U-Net的上采样实现图像的逐步恢复，从而进一步提高分割的精度。此外将下采样操作减少为4次，第四次下采样加入多孔空间金字塔池化模块（空洞卷积+空间金字塔池化）来融合不同视野的图像特征，最后采取加权损失函数削弱不平衡类的问题。
此外，Fs-UNet使用金字塔式膨胀卷积模块（PDC）即三个并行的膨胀卷积块在不降低特征图尺寸的情况下获取乳腺肿瘤区域的多尺度特征，同时也减少因膨胀卷积空洞造成的信息损失。
多尺度动态融合网络
使用简单的跳跃路径结构连接相邻尺度的特征，以更好地选择多尺度的信息。
同时，细化子网络采用结构优化的多尺度动态融合（MDF）机制，以整合初步分割信息（在较粗尺度上捕捉一般肿瘤形状和大小）和在较细尺度上探索受试者之间差异的信息。
在训练过程中通过将第一阶段与第二阶段的损失函数相连，使得初步分割和细化子网络能够同时得到调整，从而提高了模型的鲁棒性。
为了解决乳腺超声图像中肿瘤和非肿瘤区域的强度相似性和低对比度的特点，提出一种增强对比度和边界检测的网络 （ECU-Net）,通过多尺度显著性边界检测模块增强模型对比乳腺肿瘤边界的识别能力，依靠对比度特征增强模块可以很明显地将肿瘤与正常组织进行区分。
为了解决模型无法合理处理局部细节和全局上下文信息的问题，提出了一种轻量级多尺度框架（LM-Net）。该框架集成卷积神经网络和视觉Transformer，使用轻量级的多分支模块来捕获同一级别的多尺度特征。 引入两个模块：局部特征变换器（LFT）和全局特征变换器（GFT），用于同时捕获具有不同尺度的多尺度特征的局部细节纹理和全局语义。
基于膨胀机制的改进
将As-UNet推广到细胞核分割，来解决细胞核分割因染色、细胞形态大小等问题引起的分割准确性较低的问题。
As-UNet由编码器、解码器以及空洞卷积模块组成，空洞卷积块由级联和并行两种膨胀卷积操作组成，该模块可以实现多尺度特征的提取并将多种尺度组合，从而提高模型对不同细胞的感知力。
As-UNet结合了Log-Dice loss和Focal loss两种损失函数，优化器采用可以解决稀疏梯度和梯度振荡的Adam来提高算法的收敛速度。
膨胀卷积机制可以在不增加参数和计算量的情况下扩大感受野从而提高模型的性能
基于注意力机制的改进
基于注意力引导的密集上采样网络（AUnet）使用非对称的编解码结构，解决了因为传统编解码结构中因为池化造成的浅层信息丢失问题，较大程度保留有效信息，整个网络都使用更有效的双线性上采样来代替反卷积。
AUnet创新性的AU（Attention Upsampling）解码模块，利用密集上采样来补充传统上采样对浅层信息的丢失问题，进而加强特征的提取。在高层和底层特征中都能更有效地提取特征信息，并且不需要提取感兴趣的特征也可以实现整个X光片的精准切割。
为了解决传统分割繁杂不方便的缺点将U-Net与AGs(Attention Gates)相结合提出Dense-U-Net模型来实现全自动乳腺肿块分割。该模型结合密集连接的编码器与加入注意力机制的解码器组合，在模型训练时AGs可以实现自动专注学习而无需额外的监督机制。该网络可以实现实时分割乳房肿块。
基于跳跃连接结构的改进
U-Net++采用卷积网络进行跳跃连接，减小了解编码器之间特征图的差异性对连接造成的影响。可以在不需要人工干预的情况下，准确分割肿瘤区域和细胞核。根据分割结果，构建组织形态学特征，定量描述肿瘤核心区的纹理和形态，并提取10个维度的特征，有效预测病理缓解的程度。
Connected-Unets通过额外的连接路径将两个独立的U-Net网络或者改进的U-Net网络进行连接，其中通过集成空洞空间金字塔池化模块来进行多尺度信息的提取从而实现模型在切分微小肿瘤时仍旧有高精确性。
侧向MLP增强（LM-UNet）的新型医学图像分割模型，通过在每个卷积和编码器下采样后对特征图进行特定的标记化处理，以及在侧向方向上混合通道信息和空间信息的方法，引进了传统U-Net的跳跃连接。通过引入多尺度混合多层感知器（MLP），有效连接局部和全局信息，成功捕捉非局部关系，提高分割准确性。
基于Transformer的改进
结合Transformer机制的U-Net提升了医学图像分割的全局信息捕捉能力、长距离依赖性建模、多尺度适应性，同时有效降低了参数复杂性，形成多层次特征表示，从而提高了分割性能和效率。
BTS-ST网络：将Swin-Transformer引入U-Net中，提高全局的建模能力，通过特定的空间交互模块（SIB）和特征压缩块（FCB）起到防止信息丢失并压缩特征的作用。
为了解决U-Net卷积核仅仅关注局部像素的问题，通过引入Transformer中的自注意力机制和U-Net的多层次结构，克服了U-Net在建模长距离依赖性方面的限制，从而提高乳腺图像分割的性能。
结合U-Net、深度可分离卷积和Transformer构建混合Transformer模型，用于乳腺X线摄影图像的肿块分割，提高网络对多尺度特征和远程上下文信息的处理能力。
