预训练

• 在相似任务中，由于神经网络模型的浅层是通用的，如下图：
  
• 所以当我们的数据集不够大，不能产生性能良好的模型时，可以尝试让模型B在用模型A的浅层基础上，深层的部分自己生成参数，减小数据集的压力
• 使用模型A的浅层来实现任务B，由两种方式：
  • 冻结（frozen）：浅层参数不变
  • 微调（Fine-Tuning)：浅层参数会跟着任务B的训练而改变
    
• 总结：一个任务A，一个任务B，两者极其相似，任务A已经通过大数据集训练出一个模型A，使用模型A的浅层参数去训练任务B，得到模型B。