论文地址：https://doi.org/10.1007/s11263-024-01987-y

源码：https://github.com/zhoujingchun03/HCLR-Net

摘要：

由于水下环境复杂多样，导致光吸收、散射和色彩失真等严重退化现象，因此水下图像增强是一项重大挑战。更重要的是，为这些场景获取配对训练数据是一项具有挑战性的任务，这进一步阻碍了增强模型的泛化性能。为了解决这些问题，提出了一种新方法--混合对比学习正则化（HCLR-Net）。此方法建立在一种独特的混合对比学习正则化策略之上，其中包含一种构建负样本的独特方法。这种方法能使网络形成更稳健的样本分布。值得注意的是，HCLR-Net对正样本和负样本都采用了非配对数据，并利用局部斑块扰动创新性地重建了负样本。这一策略克服了仅依赖配对数据的限制，提高了模型的泛化潜力。HCLR-Net 还集成了自适应混合注意力模块和细节修复分支，分别用于有效的特征提取和纹理细节修复。

贡献：

1）提出了一种用于水下图像增强的创新型混合对比学习模型，以解决水下场景中普遍存在的成像质量不理想的问题。独特贡献在于开发了一种处理负样本的新策略，既保留了负样本的统计特性，又防止网络过度剖析这些样本中的特征信息。这种平衡确保了网络的学习能力不会减弱，从而为在水下图像中突出复杂特征这一复杂挑战提供了稳健的解决方案。
2）设计了一种新颖的双分支网络架构来应对水下退化因素的复杂耦合。该架构包含一个自适应混合注意力（AHA）模块，作为提高模型性能的基础组件。我们创新的定向特征编码策略可捕捉长程依赖性和准确的位置信息，有效辨别不同的退化程度。此外，细节修复分支（DRB）专门用于恢复模糊的纹理细节，为水下图像难题提供了简洁而全面的解决方案。
3）提出的 HCLR-Net 模型是第一个在 UIE 任务中应用混合对比学习的模型（提出了使用非配对数据进行对比学习的创新方法。在每一轮训练中随机引入非配对负样本，避免过度拟合，促进稳健学习）。深入研究了各种损失函数的相互作用，强调了混合对比学习的重要性。

网络框架

特征提取分支和自适应混合注意力（AHA）模块旨在通过精确的位置信息捕捉长距离依赖关系。为了弥补细节的损失，我们设计了一个细节修复分支（DRB），重点关注像素级纹理细节。最后，通过对混合对比学习正则化进行了全面解释。

在特征提取模块中，采用了编码器-解码器结构。之所以采用这种结构，是因为我们需要在清晰域和劣化域中挖掘潜在特征，从而重建图像的上下文信息。编码器从输入图像中提取高级语义信息，解码器通过增强编码器的低分辨率特征图来重建细节。细节修复模块包含一个残差块，旨在增强纹理结构信息。该模块能有效捕捉并还原复杂的纹理细节，这些细节在水下图像中经常会因为苛刻的照明和散射条件而减弱或模糊。为了进一步提高网络的鲁棒性和泛化能力，引入了非配对对比正则化模块。利用非配对数据，该模块有助于学习更稳健的水下图像分布，从而增强模型处理各种水下条件的能力。

特征提取分支

特征提取分支包括三个 2× 下采样模块、六个 FE 模块和三个 2× 上采样模块，每次卷积结束时都会添加 AHA 模块。为了确保所学特征之间的全面互动，我们采用了高斯误差线性单元（GELU）非线性激活函数。GELU 在计算效率和表征能力之间取得了平衡。每次卷积后，我们都会引入一个自适应混合注意力（AHA）模块来完善所获得的特征。AHA 模块是我们网络架构的关键组成部分。它使模型能够捕捉长距离依赖关系和详细的位置信息，从而有效处理水下图像在不同方向和位置的不均匀退化。

特征提取（FE）模块是基本的构建模块。如图 4 所示，FE 模块由 AHA 模块、并行 1 × 1 和 3 × 3 卷积以及残差连接组成。最终，我们将相应的 8 倍上采样操作与 3 × 3 卷积结合起来，生成初步的增强图像。此外，我们还添加了跳转连接，以充分利用可用的特征信息。

自适应混合注意力模块（AHA）

        自适应混合注意力模块主要采用两种不同的定向池操作对特征进行混合编码。这些编码后的特征会被输入后续的自适应注意机制，以捕捉准确的位置信息和长距离空间交互特征。
        AHA 模块利用垂直方向上的 Avgpool 和水平方向上的 Maxpool 来捕捉远程依赖关系和准确的位置信息，从而有效确定不同方向上的特征退化。此外，我们还利用 Mixup 根据深空中的位置信息对特征进行自适应融合，生成特征图。

细节复原分支

连续的降采样和升采样操作可能会导致图像细节的丢失，从而严重影响最终增强水下图像的质量。构建了一个独立于特征增强分支（FEB）的新的简单分支，称为细节修复分支（DRB）。如图 2 所示，DRB 由两个卷积层和五个残差增强块组成。卷积层作为一对编码器-解码器，促进了低维和高维特征之间的转换。如图 6 所示，残差增强模块包含卷积和挤压激励（SE）模块，旨在捕捉降级特征。

SE 模块能够对不同通道的特征之间的关系进行建模，而在标准卷积过程中，这种关系经常被忽略。通过根据每个通道特征的重要性对模型进行加权，我们可以增强富含上下文信息的通道，从而获得更准确、更详细的特征表示。这一过程最终会在样本中形成更优化的特征分布，从而产生更好的结果。

混合对比学习正则化

       对比学习策略通常旨在最小化正样本之间的欧氏距离，使预测图像更接近理想图像，同时最大化负样本与预测图像之间的距离，使它们进一步远离非理想表征。

       设计了一种新颖的混合对比学习正则化（HCLR）方法，将水下原图像的相应清晰图像作为正样本。同时，采用局部斑块扰动（LPP）策略的非配对原始图像可作为负样本，从而有助于积极探索与正负样本相关的特征空间。如图 2 所示，我们的策略是在未配对降解图像的局部区域引入随机斑块扰动。这会破坏相邻像素之间的潜在相关性，从而干扰网络提取准确特征的能力。

损失函数

为了有效提高增强结果与地面实况之间的相似度，我们采用了 l1 损失 Ll1、感知损失 L per 和混合对比损失 L HCLR 的线性组合。总优化损失 Ltotal 表示为