从多模态生物图数据中学习Gene的编码-MuSeGNN

由于数据的异质性，在不同的生物医学背景下发现具有相似功能的基因对基因表示学习提出了重大挑战。在本研究中，作者通过引入一种称为多模态相似性学习图神经网络的新模型来解决这个问题，该模型结合了多模态机器学习和深度图神经网络，从单细胞测序和空间转录组数据中学习基因表示。利用来自10个组织、3种测序技术和3个物种的82个训练数据集，作者创建了用于模型训练和基因表示生成的信息图结构，同时结合正则化与加权相似学习和对比学习来学习跨数据集的基因-基因关系。这种新颖的设计确保了我们可以在联合空间中提供包含不同上下文功能相似性的基因表示。全面的基准分析表明，模型能够有效地捕获多种模态下的基因功能相似性，在基因表示学习方面比最先进的方法高出97.5%。此外，作者将生物信息学工具与基因表征相结合，以揭示pathway富集、调控网络以及疾病相关或剂量敏感基因的功能。因此，该模型有效地为基因功能、组织功能、疾病和物种进化的分析提供了统一的基因表示。

来自：MuSe-GNN: Learning Unified Gene Representation From Multimodal Biological Graph Data
工程地址：https://github.com/HelloWorldLTY/MuSe-GNN

背景概述

生物技术的进步扩大了生物数据的多样性。这种技术的一个主要例子是单细胞测序，它允许对单个细胞内的遗传信息进行全面表征。该技术提供了获取细胞转录组学、表观基因组学和蛋白质组学全部信息的途径，包括基因表达scRNA-seq、染色质可及性scATAC-seq、甲基化和抗体。通过对来自同一组织的不同时间点的细胞进行测序，我们还可以深入了解细胞活动随时间变化的模式。此外，细胞活动的空间信息代表了一个同样重要的额外维度。这样的数据被定义为空间数据。所有这些数据都被称为多组学数据，整合多组学数据是一个重大挑战。

然而，传统的以细胞为anchor的多组学数据整合思路不是完全适用的[56,87,39]，因为存在以下挑战：

不同组学数据本身具有挑战。例如，空间转录组数据的观察单位与其他单细胞数据不同，因为单个空间位置包含来自不同细胞的混合信息（见图1a左侧部分），因此不适合基于基因表达相似性生成空间簇。目前的研究也表明染色体可及性特征并不是细胞水平上基因表达的有力预测因子[86]。
atlas-level的研究中庞大的数据量对高性能计算提出了挑战，往往存在内存不足或超时错误的风险。由于人体有近37.2万亿个细胞，综合分析在计算上具有很大的难度。而且，严重的批次效应可能通过引入噪声对分析结果产生不利影响。

因此，迫切需要一种专注于多组学和多组织数据（称为多模态生物数据）分析的高效而强大的方法来应对这些挑战。

由于认识到细胞导向的观点所带来的困难，先前的工作开始将重点转移到基因视角。基于物种进化过程中的自然选择，使用基因集作为表达谱的总结，可能会提供更可靠的依据[8]。蛋白质编码相关的基因也被认为与药物具有相互作用[19]，这与疾病和药物发现更相关。Gene2vec是受Word2vec启发的一种方法，它通过从共表达网络中生成skip-gram对来学习基因表示。最近，基于Node2vec和OhmNet的基于基因的数据整合与分析技术(gene -based data Integration and ANalysis Technique, GIANT)[16]被开发出来，用于学习单细胞和空间数据集中的基因表示。然而，如图1b所示，基于这两种模型的基因嵌入，没有观察到来自不同数据集但同一组织的基因的显著功能聚类，因为这些方法没有从不同的多模态数据推断相关基因的相似性。此外，他们没有提供定量评估基因嵌入性能的指标。

在这里，作者从基因的角度介绍了一种新的多模态相似学习图神经网络MuSe-GNN，用于多模态生物数据整合。MuSe-GNN的整体工作流程如图1a所示。图1b显示与GIANT和Gene2vec相比，MuSe-GNN通过合适的模型结构和新颖的损失函数，在跨数据集的基因之间学习功能相似性的能力更强。MuSe-GNN利用权值共享GNN将不同模态的基因编码到一个由相似学习策略和对比学习策略正则化的共享空间中。在单图层面，图神经网络的设计保证了MuSe-GNN能够学习到每个共表达网络中的邻居信息，从而保持基因功能的相似性。在跨数据层面，相似学习策略确保MuSe-GNN能够将功能相似的基因整合到一个共同的簇中，而对比学习策略则有助于区分功能不同的基因。

fig1

图1：介绍了MuSe-GNN的工作流程、基因嵌入的可视化以及GIANT和Gene2vec两种现有方法存在的问题。
a：MuSe-GNN学习基因嵌入的过程。在这里，作者强调单细胞数据和空间数据的区别，以及基因嵌入的主要应用。单细胞数据中的每个点代表一个细胞，而空间数据中的每个点代表混合细胞。
b：MuSe-GNN、Gene2vec和GIANT基因嵌入的UMAPs。它们是按数据集着色的。基于UMAPs，可以得出结论，Gene2vec和GIANT都未能基于来自同一组织的数据集学习基因相似性，而MuSe-GNN产生了与数据集无关的有意义的嵌入。

这是第一篇将多模态机器学习MM-ML概念与GNNs设计相结合的基因表示学习论文。这两种方法在SOTA机器学习研究中都很普遍，这激发了作者将它们应用于大规模多模态生物数据集的联合分析。作为应用实例，作者首先使用MuSe-GNN生成的基因嵌入来研究人体基因调控的关键生物过程和网络。然后，还将该模型应用于分析COVID和癌症数据集，旨在揭示基于特定差异共表达基因的潜在抗病机制或并发症。最后，利用MuSe-GNN的基因嵌入来提高基因功能的预测精度。在这里，基因共表达意味着两个基因与同一边相连。

鉴于缺乏评估基因嵌入的明确指标，作者提出了六个指标，灵感来自单细胞数据分析中的批次整合问题。作者使用来自一种技术的真实生物数据集来评估模型，基准测试结果表明MuSe-GNN在综合评估中从20.1%显着提高到97.5%。为了总结模型的优势，MuSe-GNN解决了关于跨数据基因相似性学习的问题，并提供了四个主要贡献：

为多结构生物数据提供了一种有效的表示学习方法。
将来自不同组学和组织数据的基因整合到一个联合空间中，同时保留生物异质性。
用相似性函数识别共表达基因。
推断基因的特殊网络以及基因与生物通路或基因与疾病之间的关系。

方法

在介绍MuSe-GNN的以下部分中，作者详细说明利用多模态生物数据构建图的不同方法，然后解释所提出的权重共享网络架构和最终损失函数的元素。

前言

GNN，GNNs旨在学习具有图结构数据的节点(特征)的图表示。现代GNNs通过聚合其 $k$ 阶邻居( $k \geq 1$ )的表示并将其与当前表示结合来迭代更新节点的表示。考虑一个图 $G=\left\{V,E\right\}$ ，其节点为 $V=\left\{v_{1},...,v_{n}\right\}$ ，节点 $v_{i}$ 的聚合与更新为： $a_{i}^{(l+1)}=AGGREGATE^{(l+1)}(\left\{h_{j}^{(l)}:j\in N(v_{i})\right\})\\ h_{i}^{(l+1)}=COMBINE^{(l+1)}(h_{i}^{(l)},a_{i}^{(l+1)})$ 其中， $h_{i}^{(l)}$ 和 $h_{i}^{(l+1)}$ 分别是MPNN前后的节点特征。

问题定义，通过处理多模态生物数据集来解决基因嵌入生成任务，表示为 $D=(\left\{V_{i},E_{i}\right\}_{i=1}^{T})$ 。目标是构建模型 $M(\cdot,\theta)$ ，设计产生基因embedding集 $\varepsilon=\left\{e_{1},...,e_{T}\right\}=M(D,\theta)$ 。本质上，目标是在统一的投影空间内协调来自不同模态的基因信息，从而产生统一的基因表示。

图构建

在构建基因图之前，作者的第一个贡献涉及每个数据集的高可变基因hvg的选择。这些hvg构成了一组具有高度变异的基因，可以代表给定表达谱的生物学功能。此外，作者认为共表达网络对基因表征学习很重要，因为它使我们能够表征基因与基因之间的关系。由于测序深度（测序深度越高，我们对于每个单细胞的RNA表达数据就越准确和全面），或每个细胞的总计数，经常成为共表达网络推断的一个混淆因素[11]，作者采用了两种独特的方法，scTransform和CS-CORE，来处理scRNA-seq和scATAC-seq数据，从而创建不受测序深度影响的基因表达谱和共表达网络（基于多模态单细胞数据构建共表达网络-MuSeGNN）。对于空间转录组学数据，重点是显示具有空间表达模式的基因。作者使用SPARK-X识别这些基因，然后应用scTransform和CS-CORE。在生成的所有图中，节点代表基因，边代表基因的共表达关系。

Cross-Graph Transformer

为了在训练过程中利用Transformer模型的优势，作者集成了一个具有多头自注意设计的图神经网络，称为TransformerConv，以合并共表达信息并生成基因嵌入。结合多模态信息可以估计出更准确的基因嵌入。cross-graph transformer可以在不同的图中高效地学习包含基因功能的基因嵌入。

TransformerConv
将 $c$ 作为注意力头的index，从节点 $j$ 到节点 $i$ 的GNN多头注意力表示为： $q_{c,i}^{(l)}=W_{c,q}^{(l)}h_{i}^{(l)}+b_{c,q}^{(l)}\\ k_{c,j}^{(l)}=W_{c,k}^{(l)}h_{j}^{(l)}+b_{c,k}^{(l)}\\ e_{c,ij}=W_{c,e}e_{ij}+b_{c,e}\\ \alpha_{c,ij}^{(l)}=\frac{<q_{c,i}^{(l)},k_{c,j}^{(l)},e_{c,ij}>}{\sum_{u\in N(i)}<q_{c,i}^{(l)},k_{c,u}^{(l)},e_{c,iu}>}$ 其中， $<q,k,e>=e^{\frac{q^{T}k}{\sqrt{d}}}$ 。 $\sqrt{d}$ 是用于减少梯度消失的标量。不同的 $q$ ， $k$ 代表不同的query vector和key vector， $e$ 代表边的特征。注意力 $\alpha_{c,ij}^{(l)}$ 代表第 $c$ 个注意力头（第 $l$ 层）输出的从节点 $j$ 到 $i$ 的注意力值。 $h$ 代表节点embedding。

定义节点embedding $h_{i}^{(l+1)}$ 的更新为： $v_{c,j}^{(l)}=W_{c,v}^{(l)}h_{j}^{(l)}+b_{c,v}^{(l)}\\ h_{i}^{(l+1)}=||_{c=1}^{C}[\sum_{j\in N(i)}\alpha_{c,ij}^{(l)}(v_{c,j}^{(l)}+e_{c,ij})]$ 其中， $_{c=1}^{C}$ 表示 $C$ 个注意力头的concat。

权重共享
考虑到多模态生物数据集之间的差异性，作者采用了权重共享机制来确保模型在不同的图中学习共享信息，这代表了一种学习交叉图关系的新方法。

数据集和多模态Graph Transformer
对于来自相同模态 $m$ 的每个graph $G_1, G_2,…, G_n)$ ，作者不仅采用了数据集特定的GT layers $L_1, L_2,…, L_n$ ，而且还将所有这些数据集特定的layers连接到一组共享的GT层，记为 $D_m$ 。该设计展示了作者将权重共享纳入GT框架的新方法。给定网络参数为 $θ *$ 的数据集 $i$ ，MuSe-GNN的计算过程定义如下： $X_{i}'=D_{m}(L_{i}(G_{i};\theta_{L_{i}});\theta_{D_{m}})$

Datasets Decoder
作者提出了一种基于MLP的数据集专用解码器结构。该解码器模型对于重建不同基因之间的共表达关系至关重要。给定图 $G_i$ 及其对应的基因嵌入 $e_i$ ，则网络参数为 $θ_{dec,i}$ 的MuSe-GNN解码过程定义如下： $E_{rec}=MLP(e_{i}e_{i}^{T};\theta_{dec,i})$ 其中 $E_{rec}$ 代表重建的共表达网络。

图重建损失

在单个Graph中，作者实现了一个受图自编码器(GAE)启发的损失函数。这个函数的目的是保持两个关键方面：1具有共同功能的基因之间的相似性，2具有不同功能的基因之间的区别。这种对GAE的损失函数使用构成了对方法设计的贡献。对于图 $G_{i}=\left\{V_{i}, E_{i}\right\}$ ，定义edge重建的损失函数为： $e_{i}=D_{m}(L_{i}(G_{i};\theta_{L_{i}});\theta_{D_{m}})\\ E_{rec}=MLP(e_{i}e_{i}^{T};\theta_{dec,i})$ 然后计算 $E_{rec}$ 和 $E_{i}$ 之间的BCE $L_{BCE}$ （因为重建的是edge）。

相似性权重学习

为了整合来自不同数据集的共享生物信息，作者将输入图结构的重建损失与余弦相似学习损失融合在一起。在这个过程中，作者将每对数据集之间的共同HVG作为anchors。目标是最大化跨数据集的公共HVG的embedding相似度 $cos (a, b)$ （图2中的黄色blocks）。然而，在实践中，不同的公共HVG在两个数据集中可能具有不同程度的功能相似度，这很难直接量化。因此，作者采用共享社区得分作为间接度量，将其作为最终损失函数中不同公共HVG pairs余弦相似度的权重。

对于两个Graph $G_{i}$ 和 $G_{j}$ ，其中有一个共享基因 $g$ ，作者在两个图中得到了给定基因 $g$ 的共表达基因，记为 $N_{ig}$ 和 $N_{jg}$ 。因此，基因 $g$ 的权值 $λ_{ijg}$ 可表示为： $λ_{ijg}=\frac{|N_{ig}\cap N_{jg}|}{|N_{ig}\cup N_{jg}|}$ 我们可以在这两个图之间从1到 $n$ 遍历所有共享基因，最终得到一个向量 $\lambda_{ij}=[\lambda_{ij1},...,\lambda_{ijn}]$ 。该向量封装了所有公共HVG中两个图之间的相似性。然后，我们可以修改各种基因pair的余弦相似度，首先将这个向量与余弦相似度相乘，然后将所有基因的结果值相加。最终结果取负得到相似度损失 $L_{sim}$ 。

自监督图对比学习

具体而言，在整合多模态生物数据时，作者采用了对比学习策略，以确保功能相似的基因尽可能紧密地聚集在一起，而功能不同的基因则相互分离。作者利用信噪比估计(InfoNCE)作为损失函数的一部分来最大化anchor基因和具有相同功能的基因之间的相互信息。这种损失适用于训练过程中任意两个Graph中的不同基因。一般来说，如果我们表示 $N$ 个基因的embedding为 $Gene_{N}=\left\{e_{1},...,e_{N}\right\}$ ，InfoNCE被设计为最小化： $L_{infoNCE}=-\mathbb{E}[log\frac{exp(e\cdot k_{+}/\tau)}{\sum_{i=0}^{K}exp(e\cdot k_{i}/\tau)}]$ 其中，样本 $\left\{k_0, k_1, k_2…\right\}$ 组成一组基因嵌入，称为一个字典， $e$ 是一个query基因嵌入。 $k_{+}$ 和 $k_{i}$ 分别是 $e$ 的正样本和负样本。

fig2

MuSe-GNN的整体模型架构和损失函数设计。

Reference

[8]Computational principles and challenges in single-cell data integration
[11]Depth normalization for single-cell genomics count data
[16]A unified analysis of atlas single cell data
[19]Dgidb 3.0: a redesign and expansion of the drug–gene interaction database
[39]Integrated analysis of multimodal single-cell data
[52]Wgcna: an r package for weighted correlation network analysis
[56]Clustering of single-cell multi-omics data with a multimodal deep learning method
[75]Recipe for a general, powerful, scalable graph transformer
[81]Masked Label Prediction: Unified Message Passing Model for Semi-Supervised Classification
[86]Dynamic genetic regulation of gene expression during cellular differentiation
[87]Comprehensive Integration of Single-Cell Data
[98]Multi-hop attention graph neural networks
[103]Gemini: memory-efficient integration of hundreds of gene networks with high-order pooling
[110]Do transformers really perform badly for graph representation?
[111]Rethinking the expressive power of GNNs via graph biconnectivity
[113]Applications of transformer-based language models in bioinformatics: A survey