用判断对齐大语言模型

1、写作动机：

目前的从反馈中学习方法仅仅使用判断来促使LLMs产生更好的响应，然后将其作为新的示范用于监督训练。这种对判断的间接利用受到无法从错误中学习的限制，这是从反馈中学习的核心精神，并受到LLMs的改进能力的制约。

2、主要贡献：

• 首次系统地探讨了将LLMs与判断对齐的方法。

• 引入了一个新颖的框架CUT（对比不可能性学习），通过直接和明确地从判断中学习，促进了LLMs的对齐。值得注意的是，CUT允许基于判断进行细粒度的不当内容检测和校正。

3、背景知识-从反馈中学习：

从反馈中学习的现有方法可以分为两个不同的类别：提示和微调，它们通过LLMs的参数是否更新来区分。

提示：提示不改变LLMs的参数。相反，它利用对先前响应的语言反馈，以促使生成更好的响应。

微调：微调旨在直接训练一个更好的LLM。

4、将LLMs与判断对齐的预备知识：

假设有一组指令-响应-判断三元组（x，y，j），其中指令x = [x1，...，xM]，响应y = [y1，...，yN]，判断j = [j1，...，jQ]都是长度分别为M、N和Q的token序列。响应可能存在某些缺陷，或者被认为完全令人满意。判断提供了对响应的优点和缺点的分析。判断可以由人类标注员或AI评判模型起草。

将LLMs与判断对齐的目标是使LLM保留在优点中提到的适当行为，更重要的是解决弱点，以防止未来的错误行为。

一些先前的解决方案：

前向预测：前向预测是指顺序预测响应及其判断的过程，具体来说，LLM在最大似然估计（MLE）目标下被训练，首先基于指令x生成响应y，然后基于组合序列[x，y]生成判断j。

从语言反馈中的模仿学习：从语言反馈中的模仿学习（ILF）要求LLM在给定反馈j的情况下改进初始响应y。改进后的响应yˆ，与初始指令x配对，用于在MLE目标下微调LLM。

追溯法：追溯法根据响应y收到的标量奖励重写指令x。例如，如果一个响应收到低于一定阈值的标量奖励，则在原始指令中添加短语“生成正确答案”；否则，添加“生成错误答案”。显然，这种方法可以自然地扩展到我们的问题设置中。具体来说，LLM被训练生成响应y，条件是序列[x，j]。

然而，在前向预测中，学习生成判断不一定会转化为增强的响应生成，因为响应生成先于判断生成。ILF只利用正面数据（即改进的响应），限制了模型识别和纠正在负面判断中强调的弱点或错误的能力。至于追溯法，使用不令人满意的响应作为MLE目标必然增加了生成不令人满意响应的风险。

5、CUT框架：

CUT的核心思想可以总结为从对比中学习。我们对不同条件下的响应生成进行对比，以阐明LLM应该保持的适当行为以及需要进行调整的具体内容。基于这些见解，对适当内容使用MLE训练，对不适当内容使用不可能性训练（UT）。

5.1将判断纳入对齐：

将指令-响应对称为“对齐”，如果响应忠实地遵循指令并满足人类期望 x −→ y。否则，判断描述了响应中存在的错误或缺陷。假设任务是生成一个有意满足判断的响应，可以推断出响应始终与组合输入 [x, j] −→ y 对齐。

Align-P：LLM对原始指令x生成满意的响应y。因此，授予积极的判断j以承认LLM的出色表现。很明显，响应y与指令x以及组合输入[x, j]都对齐。

Align-N：LLM在生成过程中出现了一些错误，导致响应y不满意。因此，负面判断j详细说明了相应的批评意见。对于Align-N，y在原始指令x方面不对齐。然而，考虑x和j作为整体，y确实与组合输入[x, j]对齐。

Misalign：在Align-N中的真实负面判断被替换为虚假的积极判断j。在这种情况下，响应y既不与原始指令x对齐，也不与组合指令和判断[x, j]对齐。

5.2 从对比中学习：

Align-N vs. Misalign：尽管Align-N和Misalign在x −→ y方面不对齐，但它们在任务[x, j] −→ y方面显示出相反的极性。由于LLMs具有强大的上下文学习能力，从Align-N到Misalign的对齐转换通常伴随着响应的生成概率下降，特别是对于与真实负面判断强相关的标记。