CLE Diffusion:Controllable light enhancement diffusion model

自己训练了个控制亮度变化的扩散模型。

1.Introduction

low-light capturing conditions有很多因素，比如sub-optimal ISO setting，纠正degradation是关键。直方图均衡化来调整对比度，旨在扩展低光图像的动态范围。提出了可迭代的Controllable Light Enhancement，在统一光照嵌入下，将低光照图像增强到用户指定的目标亮度水平。

2.Related works

2.1 Traditional light enhancement methods

全局和局部直方图均衡化；去雾；基于Retinex理论，将图像分割成光照和反射层，并在他们之上执行变换以实现所需的结果。

2.2 Learning-based light enhancement methods

LLNet、S-LLNet、RetinexNet、EnlightenGAN、Zero-DCE、CERL、Recursive Band Network、Singal-to-Noise-Ratio Priot-aware Transformer、Multi-axis MLP、Normalizing Flow、Half Wavelet Network、ReCoRo

3.Method

组合SAM，实现区域地广增强至任何亮度，基于diffusion model。

3.1 Controllable light enhancement diffusion model

对于低光增强，需要生成与输入的低光图像x具有相同内容的相干标准光图像y，不是学习两个域之间的一对一映射，而是通过使用数据集中可用的成对图像样本来近似条件分布P(y|x)。将原始的DDPM模型以进行调整以接受额外的条件信息来实现CLE扩散。低光图像x和扩散噪声yt的concat会导致复杂场景的不稳定训练，这部分是由于低光环境中复杂的噪声和多样化的光照引起的，为了解决这个问题，进一步使用两个额外的先验来参数化条件扩散过程。

3.1.1 低光图像的颜色失真

低光图像中严重的颜色失真，增强低光图像时经常观察到不自然的颜色偏移，实现了一个颜色映射，通过归一化输入图像中三个颜色通道的范围来减少颜色失真，具体，输入图像x可以分解为三个通道：

对应rgb三个通道，分别提取三个通道的最大像素值：

例如Xr,max表示红色通道上的最大像素值，总体而言，颜色映射可以表示：

3.1.2 低光照条件下不可避免的噪声

·SNR信噪比映射被用来将空间注意力引导至低信噪比区域，SNR映射可以通过一下方法：

F是一个低通滤波器，高斯模糊，将图像中的高频称为视为噪声，直接计算原始图像与噪声之间的比率。

在每一次训练中，随机抽取一对低光图像x和其对应的正常的图像y，然后准备颜色映射C(x)和SNR映射S(x)和一个噪声图像yt，它们与低光图像x连接在一起，作为扩散模型的输入：

3.2 Brightness Control module

采用classifier-free guidance，在CLEdiffusion中奖图像的亮度级别视为class标签，在这种情况下，class是连续的，允许无缝插值和连续调整目标亮度水平。

首先通过计算平均像素值来提取正常光图像的原始亮度级别lamda，使用一个随机正交矩阵将平均值编码成illumination embedding，照明embedding进一步嵌入到unet中，使用亮度控制模块，Film学习基于照明embedding的特征逐通道放射变换，然后，通过沿通道轴将特征分成两半，一个副本与特征相乘，一个副本与特征图相加。