多模态特征提取与融合助力高光谱+LiDAR数据分类性能飞跃

论文解读

总体架构

CMIIE 模块工作模式

MLFFC模块工作模式

论文解读

这张图展示了MLIF-AL (Multi-level Interactive Fusion network based on Adversarial Learning) 的整体架构。我将按照数据流的顺序描述这个过程：

输入：
- HSI（高光谱图像）数据
- LiDAR（激光雷达）数据
生成器部分：
- HSI和LiDAR数据分别经过一系列处理层
- 每个处理阶段都包含CMIIE（Cross-Modal Interactive Information Extraction）模块
- CMIIE模块实现了HSI和LiDAR数据之间的交互和信息融合
- 处理过程中使用了卷积（Conv）、ReLU激活函数、最大池化（MaxPool）等操作
- 不同层之间有权重共享（Weight share）的连接
判别器部分：
- 生成器输出的特征进入判别器
- 判别器由多个层组成，包括卷积、平均池化（AvgPool）、Dropout和全连接（FC）层
- 最后输出判别结果（√ 或 ×）
MLFFC（Multi-Level Feature Fusion Classification）模块：
- 接收生成器各层的特征
- 进行多层次的特征融合和分类
- 使用Conv+BN+LeakyReLU的组合进行处理
最终输出：
- MLFFC模块输出最终的分类标签（Labels）

这个架构采用了对抗学习的思想，生成器试图产生更好的融合特征，而判别器则试图区分这些特征。CMIIE模块在整个过程中起到了关键作用，实现了跨模态的信息交互和提取。整个网络通过这种方式实现了高光谱和LiDAR数据的有效融合和分类。

CMIIE (Cross-Modal Interactive Information Extraction) 模块是论文中提出的一个关键组件，用于捕获高光谱和LiDAR数据之间的互补信息。

CMIIE模块的工作方式，可以理解为让两种不同类型的传感器数据（高光谱和激光雷达）像两个侦探搭档一样互相交换线索：

准备线索档案（输入处理）
- 高光谱侦探带着一叠彩色滤镜观察目标（每个滤镜对应不同光谱）
- 激光雷达侦探拿着激光测距仪扫描地形高度
制作调查问卷（特征变换）
- 给两个侦探各发三张表格：问题清单（Q）、答案要点（K）、证据材料（V）
- 用1x1的"缩小镜"（卷积）把原始数据整理成标准格式
交叉审讯（交叉注意力）
- 高光谱侦探用Q问题清单，查看激光雷达的K答案要点，找出重要关联（A_HL）
- 同时激光雷达侦探用自己的Q问题，查看高光谱的K答案（A_LH）
- 类似审讯时通过比对双方说辞找到矛盾点和印证点
证据共享（特征融合）
- 高光谱侦探把激光雷达的V证据材料按关联度重组（F'_H）
- 激光雷达侦探同样重组高光谱的证据（F'_L）
- 好比两人交换各自收集的指纹和DNA样本
保留原始记录（残差连接）
- 最终报告=原始记录+新发现的线索
- 防止在信息整合中丢失重要细节，就像审讯录像要保留原始画面
联合报告（输出）
- 把两个侦探的最终报告装订成册
- 既包含光谱颜色特征，又包含地形高度信息