本论文主要是对图像阴影去除工作的研究。现有工作都是针对于局部阴影或阴影部分分别进行优化，这就会导致在分界线上有明显不同（光照不一致，伪影情况）。因此，本文提出一种全局优化算法shandowFormer来解决分界不一致问题。
文章目录
- 背景介绍
- 挑战和动机
- 贡献
- Retinex-based Shadow Model
- ShadowForm
- 整体架构
- 模型组件
- 实验
- 验证集性能
- 现实场景
背景介绍
阴影，在图像中是一种很常见的元素，只要有光照就会有阴影。
在美学领域，光影必不可少，它会让图像看起来更加有意境。但对于 AI 来说，阴影很有可能会影响判断，比如物体检测时将阴影视为物体。目前的阴影去除技术分成两类：物理建模技术和深度学习技术。物理建模是将现实场景进行建模，然后进行求解。虽然这样会有很强的可解释性，但并不适合现实应用。而深度学习技术则是利用神经网络模型进行学习推理，准确度非常高。
挑战和动机
相较于传统图像恢复任务相比，阴影去除任务的挑战在于：
- 阴影模式多样性：同一物体对应多个阴影模式
- 阴影退化后，阴影区和非阴影区光照和颜色不一致
目前大多数工作都集中于第一个类，而且生成的图像并不会保留原始的光照和颜色信息。这导致生成图像会损失掉很多原图像信息。
贡献
- Retinex-based shadow model：对问题进行数学建模
- ShadowFormer
- Shadow-Interaction Module：描述阴影区域和非阴影区域相关性
- 实验证明，ShadowFormer实现sota效果。
Retinex-based Shadow Model
图像
I
s
I_s
Is 由非阴影部分和阴影部分组成。
I
s
=
I
m
∘
I
s
+
(
1
−
I
m
)
∘
I
n
s
I_s = I_m \circ I_s + (1 - I_m) \circ I_{ns}
Is=Im∘Is+(1−Im)∘Ins
阴影去除任务通过调整图像光照和颜色来达到消除阴影的效果。因此，论文引入
I
s
f
=
L
s
f
∘
R
I_{sf}=L_{sf}\circ R
Isf=Lsf∘R（retinex 模型）从而使模型和光照和颜色挂钩。
I s = I m ∘ L s ∘ R + ( 1 − I m ) ∘ L n s ∘ R I_s = I_m \circ L_{s}\circ R + (1 - I_m) \circ L_{ns}\circ R Is=Im∘Ls∘R+(1−Im)∘Lns∘R
ShadowForm
根据以上模型公式，论文提出两个目标：
- 模型感受野一定要大
- 非阴影区域的光照信息对于阴影恢复来说非常重要
整体架构
该模型通过 Channel Attention Modules 提取图像中的语义信息。在瓶颈阶段，模型利用非阴影区域的空间和通道维度的上下文信息（Shadow-Interaction Module）来帮助阴影区域恢复。最后，模型进入Decoder阶段，从而输出无阴影图像。
模型组件
- (a) 在编码器和解码器中的 Channel Attention(CA) 模块。
- (b) Shadow-Interaction Module(SIM) 模块：通过对阴影和非阴影部分的相关性图重新加权计算图，以强调阴影和非阴影区域之间的上下文相关性。
实验
验证集性能
-
在 ISTD 数据集上，各种模型生成的无阴影图像量化结果
-
在 SRD 数据集上，各种模型生成的无阴影图像量化结果
-
在 ISTD+ 数据集上，各种模型生成的无阴影图像量化结果
现实场景
-
现实场景下，各类模型性能比对
-
消融实验
- 保留信息
