生信碱移

语言模型嵌入

小编先前分享了使用ChatGPT基因嵌入做平替的顶刊文章GenePT，只需要在原本的领域工作上插入这类的GPT嵌入，就能够实现降维打击。

▲ 对于GenePT或者嵌入感兴趣的铁子，可以点击查看上面这篇推文。

今天冲浪的时候又看到一篇文章提出的工具Scouter，做的是基因扰动建模，这个月才上架预印本。在顶刊架构GEARS的基础上做了一些调整，任务损失仍然是自聚焦损失和方向感知损失，只不过使用ChatGPT生成的基因嵌入替换了GO注释的先验生物图模型架构。实现层面更加简单，但是概念更加领先，与GenePT的思路是类似的！

▲ 一、基因扰动建模任务的概述：① 背景：我们有一个细胞的基因表达数据（绿色部分），它代表在正常情况下每个基因的活跃程度。如果对细胞进行某种基因扰动（红色部分，比如通过实验干预特定基因的活性），会导致一些基因表达水平发生变化（紫色部分），这种变化可能是增强、减弱或保持不变。② 目标：预测在某种基因扰动（红色）下，其它基因表达水平的变化（紫色）。

▲ 二、GEARS原理示意：通过图神经网络（GNN）预测基因扰动后的基因表达变化。其核心方法包括利用基因共表达图捕获基因间相互作用，并结合基因本体（GO）中的先验知识构建图神经网络获得基因级别的嵌入，对基因扰动之间的相似性进行建模（图b）。随后，GEARS采用组合操作处理多基因扰动，使用跨基因解码器实现全转录组水平的预测。此外，其自动聚焦方向感知损失函数能够更关注显著差异表达的基因，并强化预测方向性的准确性。通过贝叶斯神经网络框架，GEARS还提供预测不确定性的估计。DOI: 10.1038/s41587-023-01905-6。

▲ 三、Scouter原理示意：其采用更简单的架构来预测基因扰动的转录反应。通过预训练大语言模型生成的基因文本嵌入，Scouter能够捕捉基因之间的语义关系，从而实现对未见基因扰动的有效外推。其模型包括一个编码器用于编码对照细胞状态，以及一个生成器预测转录反应，通过多次输出取平均值增强预测的鲁棒性。相比GEARS，Scouter架构简单，训练速度更快且实现更为便捷。此外，Scouter通过LLM生成的嵌入具备更好的可扩展性和泛化能力，在处理未知基因时表现优于依赖预定义图和扰动特定嵌入的GEARS。

还是那几句话

对于普通的研究者

抓好热点

好好利用LLM的嵌入功能

想想不同层面的嵌入

今天就分享到这里了

 欢迎各位佬哥点击关注