Cross Hyperspectral and LiDAR Attention Transformer

TGRS 2024：Cross Hyperspectral and LiDAR Attention Transformer: An Extended Self-Attention for Land Use and Land Cover Classification

题目

Cross Hyperspectral and LiDAR Attention Transformer: An Extended Self-Attention for Land Use and Land Cover Classification

作者

Swalpa Kumar Roy; Atri Sukul; Ali Jamali; Juan M. Haut; Pedram Ghamisi

关键词

Laser radar, Transformers, Feature extraction, Land surface, Hyperspectral imaging, Task analysis, Fuses

研究动机

跨域特征的关联性提取

模型

在这里插入图片描述

像 Vision Transformer (ViT) 这样的注意力驱动深度模型的成功激发了人们对跨领域探索的兴趣。然而，基于电流互感器的遥感技术主要关注单模态数据，限制了其充分利用不断增长的多模态地球观测数据的潜力。增强这些模型的多模式集成对于综合遥感应用至关重要。为了实现这一目标，我们通过引入交叉高光谱和激光雷达（Cross-HL）注意力来扩展传统的自注意力机制。我们提出了一种新颖的多模式深度学习框架，可有效融合遥感（RS）数据，旨在改善土地利用和土地覆盖（LULC）识别。为了增强不同模态之间信息的准确交换，我们使用 Cross-HL 自注意力模块融合了它们的补丁投影。在此过程中，LiDAR 补丁令牌充当查询（ Q ），而键（ K ）和值（ V ）则从 HS 补丁令牌派生。为了证明 Cross-HL 在所提出的多模态深度学习框架中的优越性，我们对三个多模态 RS 基准数据集：Houston、Trento 和 MUUFL 进行了广泛的实验。这些数据集包含高光谱和光探测与测距 (LiDAR) 数据。