1. ChangeCLIP: Remote sensing change detection with multimodal vision-language representation learning

作者：Sijun Dong a, Libo Wang b, Bo Du c, Xiaoliang Meng a,*

年份：2024

研究方法/模型：

重构原始CLIP：提取双时相特征。

差分特征补偿模块（DFC）：捕捉双时相图像之间的详细语义变化。

视觉语言驱动的解码器vision-language driven decoder (VLDD)：将图像-文本编码结果与解码阶段的视觉特征结合，增强图像语义

数据集：LEVIR-CD, LEVIR-CD+, CDD, SYSU-CD, and WHUCD datasets.

变化检测应用领域：遥感图像

主要结论：在本文中，我们提出了一种名为 Change-CLIP 的多模态框架，用于利用多模态视觉语言信息进行遥感图像变化检测。我们通过集成遥感图像的文本语义信息来增强视觉模型感知遥感变化的能力。差速器提出的特征补偿模块集成了常用的差分特征计算方法，优化了变化检测中差分特征融合的方式。此外，我们提出了一种多模态变化检测解码方法，称为视觉语言驱动解码器。它补充了解码阶段的语义信息。解码阶段文本和视觉特征的融合使 ChangeCLIP 能够生成更准确、更全面的表示，从而提高变化检测任务的性能。为了评估 ChangeCLIP 的有效性，我们对 5 个基准变化检测数据集进行了综合实验：LEVIR-CD、LEVIR-CD+、 WHUCD、CDD 和 SYSU-CD。实验结果表明，我们提出的模型显着优于最先进的方法，在所有 5 个数据集上实现了前所未有的性能。

局限性/不足：

未来研究方向和改进思路：展望未来， 我们相信多模态范式将在遥感图像处理中获得越来越多的关 注。通过开发更有效的变更检测语言提示（language prompts）来增强 ChangeCLIP 的性能还有很大的空间，而 ChangeCLIP 将成为多模式 RSCD 的基线。这些合适的提示可以更好地指导模型学习与变化相关的特征，从而进一步提高变化检测性能。

2. The ClearSCD model: Comprehensively leveraging semantics and change relationships for semantic change detection in high spatial resolution remote sensing imagery

作者：Kai Tang a, Fei Xu b, Xuehong Chen a, Qi Dong a, Yuheng Yuan a, Jin Chen a

年份：2024

研究方法/模型：ClearSCD

ClearSCD 被设计为一个全卷积多任务学习神经网络，包括双时态语义分割和 BCD 分支。这三个分支由 Siamesemantic 编码器-解码器和深度 CVAPS 模块实现 （图 2）。此外，ClearSCD框架集成了语义增强对比学习 （SACL）模块和双时态语义相关捕获（BSCC）机制。值得注意的是，SACL模块和BSCC机制仅在模型训练期间起作用。

SACL：在groundtruth 的指导下，可以将属于同一类别但相同和不同时间点的训练 样本作为正样本，将属于不同类别的训练样本作为负样本， 构建用于对比学习的正负对。

CVAPS：基于分类后验概率空间的变化向量分析，用于测量两个时刻图像之间的变化程度。

深度CVAPS模块：可学习的卷积参数，而非简单的像素级变化幅度计算。增强空间上下文信息，最终生成bcd变化检测图。

BSCC：用于对双时态语义特征进行约束，以增强 BCD 任务的鲁棒性。在未变化区域，希望双时态语义特征差值接近0；变化区域的差值尽可能大。

数据集：Hi-UCD 系列数据集（包括Hi-UCD mini和Hi-UCD数据集）此外，为了近似现实的应用场景，我们构建了大规模场景SCDbenchmark，命名为LsSCD数据集。

应用场景：高分辨率遥感

主要结论：在本研究中，我们提出了一种名为 ClearSCD 的综合利用语 义和变化关系的 SCD 模型，它具有三个独特的功能：（i） 引入 BSCC（双时态语义相关捕获）机制来建立语义特征随 时间的对应关系，（ ii) 包含深度 CVAPS 模块（分类后验概 率空间中的变化向量分析），使使用双时态语义信息的变化 检测更加有效，以及 (iii) SACL 的利用（语义增强对比学 习）模块扩展了不同表面类型的语义特征之间的分离程度。 大量的实验证明了ClearSCD在检测不同环境下的地表变化 方面的鲁棒性和高效性，凸显了我们的研究在实现大地理数 据时代地表变化自动检测方面的实用价值。

局限性/不足：尽管ClearSCD具有出色的性能和效率，特别是在处理大规 模和现实世界的应用场景时，但值得注意的是它仍然是一种 完全监督的方法。然而，这些样本的注释可能是昂贵且劳动 密集型的。最近，一些 BCD（Cao 等人，2023；Zhang 等 人，2023）和语义分割（Wang 等人，2022b）研究侧重于 开发弱监督或半监督方法以减少对样本的需求。因此，这些 想法或技术未来可以引入到SCD领域。此外，虽然 ClearSCD通过深层CVAPS和BSCC考虑了语义和二进制变 化信息的一致性，但最终结果仍然存在一些双时态语义和 BCD结果相互矛盾的区域。这是因为两个任务的错误在决策阶段累积。未来，需要在后处理中制定额外的决策规则，以 完全去除不一致的区域，而不是仅仅依靠掩模操作。

未来研究方向及改进思路：1. 开发弱监督或半监督方法 2. 仍存在双时态语义和 BCD结果相互矛盾的区域，也许需要在后处理中制定额外的决策规则。

3.  ChangeMamba: Remote Sensing Change Detection with Spatio-Temporal State Space Model

作者：Hongruixuan Chen†, Graduate Student Member, IEEE, Jian Song†, Chengxi Han, Graduate Student Member, IEEE, Junshi Xia, Senior Member, IEEE, Naoto Yokoya, Member, IEEE

年份：2024