- 我们把LLM的基本训练步骤分为两步，预训练和对齐；预训练我们非常熟悉，是bert-finetuning时代的基本原理，只不过LLM一般遵循自回归的逻辑，因此使用GPT模型的预训练方式：CLM（具备因果关系的MLM）；预训练帮助我们在海量语料下，通过自监督的方式确定了模型的基本参数，使得模型存储了大量世界知识和逻辑。
- 而为了使预训练模型能够完成chat功能，我们还有第二步：对齐，这也是LLM“显示出智能”的重要一环，对齐又可以分为三步，分别是：SFT，RM和RLHF。
- SFT：
- SFT（有监督微调）：它的操作方式和之前我们熟悉大模型微调一样，它的目的是为调整自监督学习过程中的知识偏差，对于我们更希望模型注重的领域能够输出更稳定和正确的结果。
- RM:
- 获取奖赏模型，这个名字是根据下一步强化学习中该模型的定位来取的,它的操作方式还是针对分类任务做微调，而目的是希望模型能够具有判别问答对是否符合人类问答标准的能力，这个标准更倾向于语言逻辑而非知识对错。
- RLHF:
- 人类反馈强化学习，它的训练模式遵循强化学习架构，即：由actor模型做出原始回复，通过之前的RM对该问答进行评估，再通过ppo算法（损失函数）将评估后的奖罚结果用于更新actor和RM参数；在此过程中，人类可以定期替代RM模型做出评估，以便确定训练完成或调整RM判断偏差。
