目录

介绍

LLM训练流程

介绍 DeepSeek-R1-Zero 模型

基于规则的强化学习

DeepSeek-R1-Zero 性能洞察

DeepSeek-R1-Zero 的自我进化过程

“顿悟时刻”现象

DeepSeek-R1 模型的训练过程

为什么需要DeepSeek-R1？

DeepSeek-R1 的训练流程

DeepSeek-R1 的出色成果

---

介绍

近年来，人工智能 (AI) 领域取得了快速发展，大型语言模型 (LLM) 为通用人工智能 (AGI) 铺平了道路。OpenAI的 O1 是一个出色的模型，它引入了创新的推理时间扩展技术，可显著增强推理能力。然而，它仍然是闭源的。

今天，我们深入研究 DeepSeek 推出的开创性研究论文 DeepSeek-R1。这篇题为“DeepSeek-R1: Incentivizing Reasoning Capability in Large Language Models via Reinforcement Learning”的论文介绍了一种最先进的开源推理模型，以及使用大规模强化学习技术训练此类模型的详细方法。

LLM训练流程

在深入研究论文本身之前，让我们简要回顾一下 LLM 的训练过程。通常，LLM 经历三个主要训练阶段：

1. 预训练：在此阶段，LLM 会针对大量文本和代码进行预训练，以学习通用知识。此步骤可帮助模型熟练预测序列中的下一个标记。例如，给定“写一个就寝时间 _”这样的输入，模型可以用合理的单词（例如“故事”）完成它。但是，经过预训练后，模型仍然难以遵循人类的指示。下一阶段将解决这个问题。
2. 监督微调：在此阶段，模型在指令数据集上进行微调。数据集中的每个样本都由一个指令-响应对组成，其中响应用作标签。在此阶段之后，模型在遵循指令方面会变得更好。
3. 强化学习： LLM 可通过反馈得到进一步改进。一种有效的方法是从人类反馈中进行强化学习 (RLHF)，其中模型基于人类反馈进行训练。收集大规模、高质量的人类反馈（尤其是对于复杂任务）具有挑战性。因此，另一种常见方法是从 AI 反馈中进行强化学习 (RLAIF)，其中 AI 模型提供反馈。为了使 RLAIF 有效工作，需要一个功能强大的模型来提供准确的反馈。

介绍 DeepSeek-R1-Zero 模型

在后期训练中仅使用 RL 来训练 DeepSeek-R1-Zero，不使用 SFT