Let’s Verify Step by Step
openai的经典论文，发布于2023年5月31日，为当前openai-o1奠定了技术基础，同时开源了PRM800K数据集，为开源社区贡献了十分宝贵的参考
paper原文链接 : https://arxiv.org/abs/2305.20050
论文概述
当前LLM的缺点
即使当前最好的模型也经常会产生逻辑错误，需要训练更加可靠的LLM
以前的方法是怎么处理的？
在openai之前，结果监督和过程监督方法就已经存在，但是他们仍然会存在一些问题从而无法训练出更加可靠的LLM
论文的贡献
- 过程监督比结果监督更好
- 大的奖励模型效果更好
- 主动学习（ active learning）可以提高过程监督的数据效率
- 开源PRM800K数据集
Method
论文的重心放在了generator和Reward model的构造
best-of-N：在采样的N中选择最好的一个，称之为best-of-N
generator
generator是以base model为核心的系统
generator框架的一些细节：
- 这个生成器不用RL去优化
- 训练这个生成器使其能在每个步骤后面生成换行符，限制他只能一步一步输出
- 用few-shot让generator去解决一些数据推理任务，过滤那些达成正确答案的数据，将过滤后的数据作为base model的微调数据（让模型展现推理过程）
base model的一些细节：
- large-model： 基于GPT-4微调的，用于生成高质量解答，追求最先进的性能
- small-model： 与GPT-4相似，但比GPT-4小（小多少没说），用于高效的实验验证，减少实验成本
- 两类模型都在1.5B的数学任务中微调过（MathMix）这能提高模型的数学推理能力
Reward model
结果监督奖励模型（Outcome-supervised Reward Models，ORMs）
目标： ORM仅基于解答的最终结果进行评估。中间过程是否出错不会考虑
过程监督奖励模型（Process-supervised Reward Models，PRMs）
目标： PRM会对每一个步骤进行评判，最终获得一个总体的得分
上述RM是基于base model微调的，在PRM800K这类数据进行微调，让原先的base model变成了评估和打分
PRM训练数据的构造方式
基于generator生成的数据，然后进行人工标注，有三个标签：积极、消极、中立。标注时当第一个消极标签出现，则完成该条数据的步骤标注（下图为一个标注示例），openai开源了这样的标注数据（PRM800K）
如何选择数据进行标注？（active learning）
标注的成本很大，选择那些对模型训练有益的数据进行标注才是高效的，论文提出了active learning的方式来进行这些标注数据的选择
数据过滤
需要优先选择那些令人信服的错误答案，进行中间过程的标注；
- 令人信服： 奖励模型选择分数最高的答案
- 错误： 最终结果错误
Top-K选择
分为两种选择情况：
- 按问题选择top-K： 对于每一个问题，生成N个解答，然后从这些解答中选择评分最高的K个解答进行标注。
- 全局top-K选择： 在整个数据集范围内，不按单个问题过滤，而是从所有问题的解答中挑选出评分最高的K个解答进行标注。
Experiment
- Best-of-N中，N与模型效果成正相关
- 选择“令人信服的错误答案”进行训练，能在PRM的基础上继续提高模型效果（左图）
- PRM模型的效果比ORM要好（右图）
- 表格中的评测更加直观，在微积分、化学、物理、数学等测试题中，过程监督都是sota的水平
个人思考
- 当前的标注成本很高，如何选择gold数据进行标注是一个值得探索的工作，active learning给出了一个方向
格中的评测更加直观，在微积分、化学、物理、数学等测试题中，过程监督都是sota的水平
