• Desra: detect and delete the artifacts of gan-based real-world super-resolution models.
• DeSRA：检测并消除基于GAN的真实世界超分辨率模型中的伪影
• Xie L, Wang X, Chen X, et al.
• arXiv preprint arXiv:2307.02457, 2023.

摘要

1. 背景：
   • GAN-SR模型虽然可以恢复图像的真实细节，但是不可避免的会产生伪影。
2. 目前的研究方法与不足：
   • 在训练阶段通过额外的损失惩罚来抑制伪影。
   • 它们只适用于训练期间生成的伪影类型，对于实际的真实测试图像，重建图像仍然会存在伪影。
3. 提出了本文的方法—DeSRA：
   • 首先测量 MSE-SR 结果和 GAN-SR 结果的相对局部方差距离，并根据上述距离和语义感知阈值定位问题区域。
   • 在检测到伪影区域后，本文开发了一个微调程序，以使用少量样本改进GAN-SR 模型。

1. 引言

1. 目前GAN-SR模型的真实世界推理：

   • 对于GAN-SR模型产生的伪影，在训练期间LDL使用局部判别损失惩罚，但是对于真实世界图像推理时，重建图像仍然会存在伪影。
     

2. 本文将GAN-SR伪影出现的不同阶段分类：
   （1）GAN训练伪影：在模型训练时不稳定优化产生的伪影。（LDL惩罚损失，缓解伪影）
   （2） GAN推理伪影：在使用真实世界图像的推理过程中产生的伪影。（训练集未出现）

• 针对GAN推理伪影：
  1. 检测伪影区域：
     1. 通过计算局部方差来测量基于 MSE 和基于 GAN 的模型生成的结果之间的纹理差异。
     2. 进一步引入语义感知调整，以放大感知伪影敏感区域（例如建筑物、海洋）的差异，同时抑制纹理区域（例如树叶、动物毛皮）的差异。
  2. 制作伪GT图像并微调GAN-SR模型：
     1. 收集少量带有伪影的基于 GAN 的结果，并根据二值化检测掩码将伪影区域替换为基于 MSE 的结果。
     2. 使用组合结果作为伪 GT 来构建训练对，以在极短的迭代周期内对模型进行微调。

3. 总结：
   • 本文首次尝试分析在推理过程中通常出现在没有真实数据的未见测试数据上的 GAN 推理伪影。
   • 基于本文的分析，本文设计了一种方法来有效地检测具有 GAN 推理伪影的区域。
   • 本文进一步提出了一种微调策略，只需要少量的伪影图像就可以消除相同类型的伪影，这弥补了将 SR 算法应用于实际场景的差距。
   • 与以前的工作相比，本文的方法能够更准确地检测未见的伪影，并更有效地缓解 GAN-SR 模型在真实世界测试数据中产生的伪影

2. 相关工作

1. MSE-based Super-Resolution. ：
   • 本质：通过最小化 SR 输出与 HR 真实值之间的像素距离（$l_1$ 、$l_2$距离）来恢复高保真结果。
   • 缺点：优化像素距离不可避免地会导致缺乏精细细节的平滑重建。
   • 代表模型：SRCNN、VDSR、EDSR、 RCAN
2. GAN-based Super-Resolution ：
   • 本质： 通过GAN的生成器与判别器交替博弈，来提高 SR 结果的感知质量。
   • 缺点：GAN-SR重建的图像会产生伪影。
   • 代表模型：SRGAN、ESRGAN、 BSRGAN、Real-ESRAGN、RealBasicVSR、FastRealVSR、SPSR 、LDL

3. 方法论

3.1 GAN-SR

• 现有的GAN-SR方法，都是使用三种损失的加权和进行训练：
  

• 为了解决GAN训练的不稳定性，首先仅使用$l_{r}econs$进行预训练，生成MSE-SR模型；然后使用$l_GAN对MSE-SR模型进行微调，来得到最终的GAN-SR模型。

• 通过下图可以看到，含有伪影的GAN-SR结果的视觉质量甚至比MSE-SR结果更差。并且GAN-SR伪影类型复杂，特征各异，且随图像内容不同而不同。
  

因此本文的目的就是检测出GAN-SR生成图像的伪影区域，并使用MSE-SR生成图像来替换此伪影区域。

3.2 检测伪影区域

本文主要解决的GAN-SR推理伪影：
（1）伪影不会出现在预训练的MSE-SR模型：在模型训练时不稳定优化产生的伪影。（确保伪影是由于GAN引起）
（2）伪影明显， 面积较大。

1. 计算局部纹理的复杂性 ： （局部区域 P 内像素强度的标准差）
   

2. 计算MSE-SR与GAN-SR块之间的局部纹理差异：
   

• 从上图可以看到
  • 对于相似语义块；d越大，GAN伪影越明显；
  • 对于不同语义块：d不能直接反应GAN伪影现象；

3. 因此要改进纹理差异为相对值：
   

4. 纹理差异归一化：
   

5. 分母优化：
   

经过上述操作后，可以看到图中最后一列已经能够分辨出GAN-SR相较于MSE-SR产生的伪影，但是任然存在细微的差异，因此进行进一步的优化。
6. SegFormer分割不同区域：

7. 分区域区分伪影： （threshold=0.7）：
   

经过更细致的优化，可以从图中的最右侧看出，已经完全区分了GAN-SR相较于MSE-SR产生的伪影，并且也不会对MSE-SR的相应区域进行细微的惩罚。

3.3 改进GAN-SR模型

通过上述3.2检测的伪影区域，本文得到了一个结论：

• 没有伪影的弱恢复甚至比带有伪影的强恢复更好
  因此使用MSE-SR替换GAN-SR中伪影的区域：
  

3.4 小结

1. 将推理的真实世界图像通过MSE-SR模型生成伪GT图像；
2. 使用低分辨率LR图像与伪GT图像进行微调训练,重建出伪影较少的超分辨率SR图像。

4. 实验

4.1可视化分析

![[Pasted image 20250310161440.png|500]]

4.2 用户调研分析

1. 相较于GAN-SR模型，验证DeSRA模型是否减少伪影：
   • 20组随机打乱的图像对，15人参与调研，选择认为伪影较少的图像。
2. 相较于MSE-SR模型，验证DeSRA模型是否重建更多的纹理细节：
   • 20组随机打乱的图像对，15人参与调研，选择认为更多细节的图像。

5. 结论

1. 分析GAN-SR伪影，并提出了检测和删除伪影的DeSRA模型：

   • 首先测量MSE-SR 和 GAN-SR重建图像的相对局部方差，然后根据距离图和语义区域定位伪影区域。在检测到有伪影的区域后，我们使用基于 MSE 的结果作为伪GT图像来微调模型。

2. SOTA：

   • 实验表明，DeSRA能够有效的检测和删除伪影，并且显著提高了GAN-SR模型在真实世界超分辨率技术的实际应用能力。