简介：个人学习分享，如有错误，欢迎批评指正。

论文：Practical Deep Raw Image Denoising on Mobile Devices

引言
在数字摄影领域，噪声是影响图像质量的主要因素之一，特别是在弱光条件下拍摄时更为明显。移动设备由于其便携性和普及性，已成为人们日常摄影的主要工具。然而，受限于传感器尺寸和光学元件质量，移动设备在低照度环境下拍摄的图像噪声较为严重。传统的图像去噪方法在移动设备上存在性能瓶颈，而深度学习方法虽然效果显著，但其高计算复杂度限制了在移动设备上的应用。

一、研究背景与问题定义

1. 低光噪声的来源：低光下图像传感器更容易产生高斯噪声和泊松噪声，噪声与信号强度成比例关系。

2. RAW图像去噪的优势

   • 数据完整性：RAW图像保留了传感器采集的原始数据，未经过压缩或处理，包含更多的细节和动态范围。
   • 避免信息损失：在ISP（图像信号处理器）处理之前进行去噪，避免了后续处理放大噪声的问题。
   • 更好的去噪效果：直接处理RAW数据，可以针对传感器特性进行优化，取得更好的去噪效果。

3. 移动设备的限制

   • 计算资源受限：移动设备的CPU、GPU性能相对于桌面设备较弱，无法支撑大型深度学习模型的实时运行。
   • 存储和内存有限：模型的大小和运行时的内存占用需要严格控制，以适应移动设备的存储空间和RAM限制。
   • 功耗要求：高计算负载会导致电池消耗过快，影响用户体验。

二、相关工作与挑战

1. 传统去噪方法
   • 空域滤波（如均值滤波和中值滤波）：这些方法通常会模糊图像，导致细节丢失。
   • 频域滤波：如维纳滤波，虽然可以抑制噪声，但假设的噪声模型简单，难以应对复杂噪声。
   • 非局部均值滤波（Non-local Means）：利用图像的自相似性去噪效果较好，但计算复杂度高。

这些方法中的大多数都是针对一般噪声而设计的，没有利用已知的传感器噪声特性。它们的算法复杂度通常很高，因此很难在智能手机上全面实现。

2. 深度学习去噪方法
   • 卷积神经网络（CNN）：如DnCNN，利用多层卷积进行去噪，取得了显著效果，但其计算量较大。
   • 变分自编码器（VAE）和GAN：这些生成模型通过学习噪声图像的分布去噪，然而计算复杂度较高。

这些工作主要侧重于新颖的网络结构以提高准确性，而没有过多关注它们对移动设备的适应性。

3. 多帧融合方法

   • 目前移动设备上原始图像去噪的最佳实践是捕获并合并多帧。这些方法通常需要准确快速的图像对齐，而当场景中存在移动物体时，这一点很难实现。此外，当噪声水平较高时，对多帧进行平均可以降低噪声，但不能完全消除噪声，导致结果不令人满意。

4. 合成真实噪声图像的难点

   • 用干净和噪声的图像对构建高质量的真实数据集是一项非常繁琐的工作。

5. 移动端部署的难点

   • 实时性要求：需要在拍摄的瞬间完成去噪，以适应用户预览和拍照体验。
   • 模型压缩与轻量化需求：深度学习模型需要在保证去噪效果的同时减少模型大小。

三、本文工作

本文的工作重点是去噪raw image，即在去马赛克和其他 ISP 处理之前以原始拜耳格式从传感器读取的图像。本文提出了一种轻量级、高效的基于神经网络的 raw image 去噪器，它可以在主流移动设备上流畅运行，并产生高质量的去噪结果。

关键见解：

1. 特定传感器模型的噪声特性是一致的，并且可以足够准确地测量。通过捕获和建模传感器噪声，可以生成包含干净和噪声图像对的合成数据集，并在其上训练轻量级神经网络。 训练后的模型对同一传感器（即同一智能手机型号）捕获的真实图像仍然非常有效。并且在合成传感器特定数据上训练的小型网络可以胜过在一般数据上训练的大型网络；

2. 基于参数传感器噪声模型，在亮度空间中推导出一种独特的线性变换，称为 k-Sigma 变换，它将在不同 ISO 设置下捕获的噪声图像映射到 ISO 不变的信号噪声空间中，从而允许单个网络处理不同场景中的不同噪声水平。该方法在实践中比为每个 ISO 设置训练单独的模型或使用一个大型模型对具有不同噪声水平的图像进行训练更有效

主要贡献

1. 一种系统方法，用于估计传感器噪声并使用适当构建的合成数据训练特定于传感器的去噪神经网络。
2. 一种新颖的 k-Sigma 变换，用于将不同 ISO 设置下的噪声图像映射到 ISO 不变的信号噪声空间。所提出的变换不是针对每个 ISO 训练单独的模型或更大的模型来覆盖变化，而是允许在此空间中训练的单个小型网络处理具有不同噪声水平的图像。
3. 一种移动友好的网络架构，可实现高效的图像去噪。对不同的网络架构和去噪方法进行了深入的分析和比较，证明该方法具有与最先进的方法兼容的性能，并且计算资源明显更少。

四、方法介绍

从以下三个方面介绍了本文的方法：
1.对相机传感器的通用ISO相关噪声模型（general ISO-dependent noise model）进行了回顾，并描述了如何在给定新传感器的情况下估计噪声参数
2.对提出的k-Sigma变换进行了介绍，并指出如何使用k-Sigma变换合成与ISO无关的训练数据。
3.对提出的可以处理各种噪声水平的小型神经网络进行了介绍，并且用合成数据集对该网络进行训练。

1.噪声模型

图2：光子传输管道：相机管道中涉及多种噪声源，如散粒噪声、读出噪声和热噪声。

相机传感器将曝光时间内撞击像素区域的光子转换为数字化亮度图。如图 2 所示的光子传输管道所示，此过程包含多个阶段，每个阶段都会引入特定的噪声。首先考虑一个没有噪声的理想系统。在线性相机模型下，在每个像素处，传感器转换都是线性放大：
$$x^{\ast }=g\alpha u^{\ast }$$

其中 $u^{\ast }$ 是预期到达像素区域的光子数量，$\alpha$ 是量子效率因子，$g$ 是模拟增益。现在考虑图 2 中管道每一步中的系统噪声，我们有：

$$x=g(\alpha u+n_d)+n_r$$

其中 $u$ 表示实际收集到的光子数量，$n_d\sim \mathcal{N}(0,{\sigma }_d^2)$ 和 $n_r\sim \mathcal{N}(0,{\sigma }_r^2)$ 分别是应用模拟增益之​​前和之后的高斯噪声。 此外， $u$ 服从 $u^{\ast }$ 的泊松分布，由下式给出

$$u\sim \mathcal{P}(u^{\ast })$$

结合公式 $x^{\ast }=g\alpha u^{\ast }$ 和公式 $x=g(\alpha u+n_d)+n_r$ ，我们得到：

$$x\sim (g\alpha )\mathcal{P}\left(\frac{x^{\ast }}{g\alpha }\right)+\mathcal{N}\left(0,g^2{\sigma }_d^2+{\sigma }_r^2\right)$$

该公式可以通过替换 $k=g\alpha$ 和 ${\sigma }^2=g^2{\sigma }_d^2+{\sigma }_r^2$ ，进一步简化：

$$x\sim k\mathcal{P}\left(\frac{x^{\ast }}{k}\right)+\mathcal{N}\left(0,{\sigma }^2\right)$$

请注意，$k$ 和 ${\sigma }_d^2$ 都与 $g$ 相关，由相机的 ISO 设置决定。

2.参数估计

图 3：使用静态灰度图的一系列原始图像进行噪声参数估计。
为了对$x\sim k\mathcal{P}\left(\frac{x^{\ast }}{k}\right)+\mathcal{N}\left(0,{\sigma }^2\right)$中描述的分布进行采样，我们需要在特定传感器的特定 ISO 设置下准确估计 $k$ 和 $\sigma$ 。我们可以将 $x$ 的平均值和方差转化为以下线性回归问题：

$$\{\begin{array}{l}\mathbb{E}(x)=x^{\ast },\\ \mathrm{Var}(x)=k{x}^{\ast }+{\sigma }^2.\end{array}$$

我们在连拍模式下捕获一系列静态灰度图表的原始图像（如图 3a 所示），并从同一像素位置的一系列亮度值计算均值 $\mathbb{E}(x)$。接下来，如图 3b 所示，我们将所有具有相同估计亮度的像素括起来，并从中计算方差 $Var(x)$。 然后应用线性回归来找到 $k$ 和 ${\sigma }^2$ 的最佳估计值（如图 3c 所示）。

3.k-Sigma 变换

在实际应用中，相机会根据场景照明自动调整 ISO 设置，因此在训练去噪神经网络时必须考虑不同的噪声水平。一种直接的解决方案是训练单个网络以覆盖广泛的 ISO 设置，但由于训练数据中的噪声变化变得非常大，这会给网络本身带来额外的负担。受方差稳定变换的启发，本文提出了一种 k-Sigma 变换来避免这个问题。 具体来说，本文定义了一个线性变换

$$f(x)=\frac{x}{k}+\frac{{\sigma }^2}{k^2}$$

根据我们的噪声模型$x\sim k\mathcal{P}\left(\frac{x^{\ast }}{k}\right)+\mathcal{N}\left(0,{\sigma }^2\right)$，

$$f(x)\sim \mathcal{P}\left(\frac{x^{\ast }}{k}\right)+\mathcal{N}\left(\frac{{\sigma }^2}{k^2},\frac{{\sigma }^2}{k^2}\right)$$

为了分析该分布，通常的简化方法是将泊松分布 $\mathcal{P}(\lambda )$ 视为 $\mathcal{N}(\lambda ,\lambda )$ 的高斯分布。因此：

$$\begin{gathered} P\left(\frac{x^{\ast }}{k}\right)+\mathcal{N}\left(\frac{{\sigma }^2}{k^2},\frac{{\sigma }^2}{k^2}\right) \\ \approx \mathcal{N}\left(\frac{x^{\ast }}{k},\frac{x^{\ast }}{k}\right)+\mathcal{N}\left(\frac{{\sigma }^2}{k^2},\frac{{\sigma }^2}{k^2}\right) \\ =\mathcal{N}\left(\frac{x^{\ast }}{k}+\frac{{\sigma }^2}{k^2},\frac{x^{\ast }}{k}+\frac{{\sigma }^2}{k^2}\right) \\ =\mathcal{N}\left[f(x^{\ast }),f(x^{\ast })\right]. \end{gathered}$$

结合上面两个公式，$f(x)$ 的近似分布为：

$$f(x)\sim \mathcal{N}[f(x^{\ast }),f(x^{\ast })]$$

等式$f(x)\sim \mathcal{N}[f(x^{\ast }),f(x^{\ast })]$表明 $f(x)$ 的分布仅取决于 $f(x^{\ast })$ 。如图 4 所示，我们可以训练一个以 $f(x)$ 作为输入并输出 $f({\hat{x}}^{\ast })$ 作为 $f(x^{\ast })$ 估计值的单个网络。然后可以通过将逆 k-Sigma 变换 $f^{-1}(\cdot )$ 应用于 $f({\hat{x}}^{\ast })$ 来计算估计的真实图像值 $x^{\ast }$ 。 换句话说，我们对神经网络的输入和输出应用 ISO 依赖变换，这样就可以使用标准化数据训练网络，而无需考虑 ISO 设置。

4.去噪网络

4.1. 移动友好的（Mobile-friendly）的网络架构
本文提出了一种用于图像去噪的移动友好的（Mobile-friendly）卷积神经网络，如图 5 所示。本文使用类似 U-Net 的架构，该架构具有 4 个编码器和 4 个解码器阶段，并带有跳过连接，如图 5a 所示。

图 5：所提出的去噪网络的架构。

图 5b 描述了网络块的详细结构。具体来说，为了在移动设备上运行，本文在所有编码器和解码器阶段都使用了可分离卷积来降低计算成本，而正常的密集卷积层只用在输入和输出阶段。在编码器中，我们使用 5×5 的核大小来增加感受野并减少网络深度，并使用步幅为 2 的卷积对特征图进行下采样。在解码器中，本文只使用 3×3-speconv 并使用 2×2 反卷积对特征图进行上采样。每个编码器阶段的输入通过逐元素相加组合到其相应的解码器阶段，在跳过连接中采用 3×3-speconv 来匹配通道形状。最后，最后一个卷积层输出一个加到输入图像的残差作为去噪结果。

5.数据集处理

为了训练去噪网络，我们需要成对的噪声和干净的 RAW 图像。 本文使用 See-in-the-Dark (SID) 数据集的子集作为真实干净图像。 根据噪声模型，如果有干净的 RAW 图像，我们可以通过从泊松高斯分布中采样来合成噪声图像，其中估计的噪声参数是从目标传感器测得的。（在每个 ISO 设置下，以连续模式捕获 64 张 RAW 图像，并将平均图像视为干净图像。使用第2部分的参数估计方法可以估计每个指定 ISO 设置下的噪声参数 $k$ 和 ${\sigma }^2$ 。通过良好拟合的ISO-k和ISO-${\sigma }^2$曲线，可以轻松计算出任何ISO设置下的噪声参数，从而满足合成训练数据和应用k-Sigma变换的要求。）

具体的，为了生成训练样本，本文从原始数据集中随机裁剪 1024×1024 大小的拜耳图像块。并采用拜耳增强方法，随机水平和垂直翻转，并确保输入拜耳模式为 R-G-G-B 顺序。然后，我们将拜耳图像打包为 512×512×4 形状的 RGGB 张量。我们还随机调整裁剪图像的亮度和对比度以进行数据增强。然后根据噪声模型合成噪声图像，噪声参数为随机选择的 ISO 值。最后，我们对噪声图像和干净图像应用 k-Sigma 变换，以便在 ISO 独立空间中训练去噪网络。

总结
本文提出了一种专为移动设备设计的新型原始图像去噪器。通过精确的传感器噪声估计，我们可以利用在特定于传感器的合成数据上训练的轻量级网络，该网络可以很好地推广到真实噪声。还提出了一种 k-Sigma 变换来处理输入和输出数据，以便可以在与 ISO 无关的空间中学习去噪。这使得网络能够处理各种噪声水平而不会增加网络复杂性。

---

结~~~