Progressive gap-filling in optical remote sensing imagery through a cascade of temporal and spatial reconstruction models--Remote Sensing of Environment--2024.06.01
Abstract
在光学遥感图像的预处理中，由于云层较厚或传感器发生故障而产生的空白填充一直是一个重大的挑战。相似像元的概念来源于遥感场景的时空相似性，被广泛接受和应用，导致各种空白填充模型的发展。然而，在具有时空异质性表面和广泛缺失区域的复杂场景中，现有模型通常会产生明显的噪声样伪影、扭曲的光谱特征和不可靠的空间纹理。为了应对这一挑战，提出了一种简单而有效的基于相似像素的方法，称为通过级联时空框架的渐进间隙填充方法。从空间距离与相似像素的鲁棒性之间的负相关中获得灵感，我们采用渐进式间隙填充方案来确保相似像素在空间上接近目标像素。这大大提高了相似像素的有效性，提高了重建模型的精度。此外，与传统的并行整合时空信息的方法不同，我们的方法以级联的方式整合这两个来源。首先使用时间模型获得具有精细纹理细节的初步结果，然后使用空间模型提高光谱保真度。通过对两种空白填充任务的测试以及与7种经典方法的比较，结果表明PGFCTS能有效地消除类噪声伪影，忠实地还原光谱特征，准确再现空间细节。定量评估表明，PGFCTS始终优于其他方法，获得了最好的分数。重要的是，我们的方法在目标图像和参考图像之间延长的时间间隔方面保持了优势。综上所述，PGFCTS作为一种有效的解决方案，填补了缺失的间隙，再现了表面信息，从而提高了光学图像的可用性。
1 Introduction
基于卫星的光学图像在全球气候检测和资源管理中发挥着关键作用。然而，由于云层覆盖和传感器故障导致的间隙经常阻碍数据的可用性。厚厚的云层阻挡了从地球到目标传感器的电磁波传输，组织了在图像中记录陆地表面信息。研究估计，基于12年的连续卫星观测，大约67%的地球表面被云覆盖。另一项调查显示，全球范围内，Landsat-7捕获的陆地场景中约有35%受到云污染的影响。此外，传感器故障可能导致观测中的死像素。尽管Landsat-7已经退役，但其17年的历史档案仍然是各种应用的宝贵资源。因此，处理由厚云层和传感器故障引起的间隙已成为遥感图像分析中必不可少的预处理步骤。
卫星图像中缺失像素的重建需要可靠的先验信息来识别受到影响地区的土地覆盖、几何形状和光谱特征。研究人员已经探索了利用来自不同来源的数据，包括其他来源的光学卫星、SAR卫星、甚至模型模拟图像。然而，观测机制或空间分辨率的差异等挑战可能会限制这些方法的实际适用性。一个重要的方法是利用同一颗卫星的数据来填补空白。来自同一颗卫星的信息可以大致分为基于空间和基于时间的来源。
图1表示了(a)遥感场景的空间和(b)时间相似性信息说明。
地理学第一定律（Tobler’s First Law of Geography）Everything is related to everything else, but near things are more related to each other. （任何事物都是与其他事物相关的，只不过相近的事物关联更紧密）
Tobler地理第一定律强调了遥感场景中地物之间的强相关性。利用空间相似性，已知区域可以帮助重建缺失区域。此外，由于遥感器会定期重访相同的地理区域，获得的图像在时间上接近目标图像，为像素恢复提供了有价值的见解，时间相似性为重建提供了独特的优势。综上所述，通过对这两种信息来源的探索，可以将空白填补方法分为：
- 基于空间
- 基于时间
- 基于混合
基于空间的方法
基于空间的方法假设缺失区域具有与邻近已知区域相似的统计分布或几何结构。早期的方法如空间插值和基于Kriging的地质统计插值得到了普及。USGS的Gapfill插件，专为填补ETM+ SLC-off图像中的空白而设计，采用了类似的重建策略。先进的技术，如传播扩散模型和基于变化的模型也被引入。如Cheng等人通过对相似patch offset的统计分析，通过最小化Markov随机场能量函数来估计图像的最优空间格局。Zeng等人提出了一种结合数据保真度项和正则化项的非参考拉普拉斯先验正则化方法(LPRM)。Cheng等人开发了一种参考引导的基于空间的算法，利用参考图像通过时空马尔可夫随机场模型定位相似像素，然后用目标图像中已知的相似像素填充空白。近年来，基于单幅图像的空白填充通过深度学习探索了新的途径。通常，基于空间的算法一般可以生成无间隙的图像，但其性能受到图像缺失区域的程度和空间异质性的显著影响。
