HIGT: Hierarchical Interaction Graph-Transformer for Whole Slide Image Analysis

摘要

在计算病理学领域，全景切片图像（WSIs）的金字塔结构被用于捕捉从单个细胞相互作用到组织微环境的各种信息。这种层次结构对癌症诊断和预后任务非常有用。然而，先前的层次WSI分析方法主要存在两个问题：第一，只关注WSI金字塔内的局部或全局关联；第二，使用的不同分辨率之间的交互是单向的，导致对WSI金字塔的描述不够全面。

为了应对这些问题，本文提出了一种新颖的层次交互图-Transformer（Hierarchical Interaction Graph-Transformer, HIGT）。HIGT结合了图神经网络和Transformer，可以同时学习WSI金字塔的短程局部信息和长程全局表示。考虑到不同分辨率的信息是互补的且在学习过程中可以相互促进，研究者设计了一种双向交互模块，以在WSI金字塔的不同层次之间建立有效的通信。最终，HIGT将从不同层次学到的粗粒度和细粒度特征聚合，用于切片级预测。
代码地址

方法

图1展示了HIGT框架的流程，以更好地探索层次化全景切片图像（WSI）金字塔中的多尺度信息。首先，我们将每个WSI抽象为一个层次图，其中从多分辨率图像块中提取的特征嵌入作为节点，边表示图像块在不同分辨率层次内和层次之间的空间和缩放关系。然后，将构建的图输入几个层次图卷积块中，以学习图节点之间的短程关系，并通过池化操作聚合局部上下文并减少节点数量。接着，我们设计了一种基于可分离自注意力的层次交互Transformer架构，配备了一个新颖的双向交互模块，以学习图节点之间的长程关系。最后，我们设计了一个融合模块，将从WSI金字塔不同层次学习到的特征聚合起来，用于最终的切片级预测。

实验结果