A Causal Debiasing Framework for Unsupervised Salient Object Detection

背景知识

显著性检测

简单就是使用图像处理技术和计算机视觉算法来定位图片中最“显著”的区域。显著区域就是指图片中引人注目的区域或比较重要的区域，例如人眼在观看一幅图片时会首先关注的区域。

chatGPT4的回答

计算机视觉中的显著性检测（Visual Salience Detection）是一种技术，用于识别和突显图像或视频中最显著、最引人注意的区域。这些显著区域通常是由于其与周围环境在颜色、亮度、纹理、运动等方面的显著差异而引起的。显著性检测在许多计算机视觉应用中发挥着重要作用，如物体检测、目标跟踪、图像分割、图像检索、注意力建模等。

显著性检测的方法可以大致分为以下几类：

基于对比度的方法：这类方法利用目标与其周围环境的对比度来衡量显著性。通过计算图像中每个像素与其他像素之间的颜色、亮度或纹理差异，可以生成显著性图。典型的方法包括颜色对比度、局部二值模式等。
基于图模型的方法：这类方法将图像分割成若干个区域或超像素，并将它们表示为图中的节点。通过计算节点之间的相似性或连接权重，可以构建一个图模型。然后，应用图论中的算法（如最大流、最小割、PageRank等）来检测显著性区域。
基于频域的方法：这类方法利用图像的频率特性来检测显著性区域。例如，通过对图像进行傅里叶变换或小波变换，可以找到在频域上表现出显著性的部分。
基于生物学的方法：这类方法试图模仿人类或其他生物视觉系统的原理来检测显著性。典型的方法包括Itti等人提出的显著性模型，该模型通过计算图像中的颜色、亮度和方向特征来生成显著性图。
基于深度学习的方法：这类方法利用深度神经网络（如卷积神经网络、递归神经网络等）对图像进行显著性检测。这些方法通常需要大量带有显著性标注的图像数据进行训练，以便网络学习显著性特征。

以上仅为显著性检测方法的简要概述，实际上还存在许多其他方法和技术。显著性检测是一个不断发展的研究领域，研究人员正努力开发更有效、更快速、更鲁棒的算法来应对各种应用场景。

存在的问题

视觉对比度信息是视觉显著性的最重要因素，但不能保证其在数据集中的分布是均匀的，这会误导经过训练的模型对数据丰富的视觉对比度集群做出偏向的预测。
来自视觉对比度信息分布和显著物体空间分布的偏差会误导模型训练，转而将图像平面的中心区域预测为显著区域。

本文核心思路

提出了一种去混杂训练方法来消除对比度分布偏差引起的混杂效应，使视觉对比度对最终的显着性预测有公平的贡献。
引入了一种图像级加权策略，可以对每个图像的重要性进行软加权，以最小化空间分布偏差的误导影响。

具体方法

BaseLine

其中 F 为一个深度学习模型，需要进行训练，文中采用的是讲DSR、MC 和 RBD的结果作为伪标签开始训练。

并且在训练的过程中使用CRF进行更新迭精细化标签，使得伪标签噪声能够减少，在后续迭代过程进一步优化模型, 其中l为第t个epoch的标签：

Loss函数分为三块,

1 . F-measure 来评测显著性区域预测的准确性，但为了增加F-measure 对噪声的鲁棒性，便让β^2取为0.3：

2. 交并比（IOU）：

3. 边缘损失：

最终,loss为：

解决对比度分布偏差

因果链分析：

C->I：对比度分布影响着图像的内容
C->Y：对比度分布影响着靠传统方法生成的伪标签
I->R->Y：图像内容影响了通过模型后的显著性特征，也影响了最终的预测
C->R->Y：由于在2中影响了伪标签，因此也影响了分类层，也影响了最终的预测
I->Y：图像直接影响最终的结果，这个是我们最终想要的因果关系

突出显示的文本讨论了混杂的概念，混杂因素是输入图像及其相应显著性预测的常见原因。在这种情况下，混杂因素是对比度分布 (C)。富含数据的视觉对比度聚类的积极影响遵循从输入图像（I）到显著性特异表现（R）的因果关系，然后是显著性预测（Y），这有助于学习对比度感知的判别性USOD模型。但是，这些集群的负面影响迫使输入图像中一些非显著的背景像素在预测中突出，遵循后门因果关系（I ← C → R → Y 和 I ← C → Y）。