Bioinformatics
,
2023
Transfer learning for drug–target interaction prediction
本文主要是对迁移学习所使用的三种模式进行学习 ，本文没有什么很值得细读的，只是介绍了三种迁移学习的方式罢了
深度迁移学习是将迁移学习应用于深度神经网络。深度迁移学习的训练阶段由两个阶段组成：
第一阶段:利用足够数量的源训练数据对网络进行训练，得到源模型。这也被称为预训练源模型。
第二阶段:将预训练的源模型作为初始配置，并使用目标训练数据(通常较小)重新训练以获得目标模型。第二阶段的技术分为三种模式：
Mode 1— Full fine-tuning（全微调：微调所有的层）:
Mode 2—Feature transformer（特征转换器：冻结pre-train的权重）
特征转换器可以通过在第二阶段冻结预训练源模型的底层（用于特征提取）来获得；也就是说，在使用目标训练数据进行再训练时，底层节点的权重不会更新。只有输出层节点（即预测器）的权重会在有限的目标训练数据下进行修改（图 3b）。
Mode 3—Shallow classifier:
目标模型（Target Model）：在迁移学习的上下文中，目标模型是要被调整以解决新任务的模型。这里，目标模型继承了源模型的底层结构，但顶层被替换为一个新的浅层分类器【没有使用深度学习架构，使用的机器学习架构】。
浅层分类器（Shallow Classifier）：这是一个简单的分类器，它接收从源模型底层提取的特征向量。图中显示的分类器选项包括支持向量机（SVM）、随机森林（RF）和梯度提升（GB）。这些都是相对较简单的机器学习模型，与深度学习模型相比，它们的结构简单很多。
