摘要：测试时缩放（Test-Time Scaling，TTS）是一种通过在推理阶段使用额外计算来提高大语言模型（LLMs）性能的重要方法。然而，目前的研究并未系统地分析策略模型、过程奖励模型（Process Reward Models，PRMs）以及问题难度如何影响TTS。这种分析的缺乏限制了人们对TTS方法的理解和实际应用。在本文中，我们聚焦于两个核心问题：（1）在不同策略模型、PRMs和问题难度水平下，扩展测试时计算的最优方法是什么？（2）通过增加计算，能在多大程度上提高LLMs在复杂任务上的性能，以及通过这种方法，较小的语言模型能否超越较大的语言模型？通过在MATH-500和具有挑战性的AIME24任务上进行全面实验，我们得出了以下观察结果：（1）计算最优的TTS策略高度依赖于策略模型、PRM和问题难度的选择。（2）采用我们的计算最优TTS策略，极小的策略模型可以超越较大的模型。例如，在MATH-500上，一个10亿参数的大语言模型可以超越一个405亿参数的大语言模型。此外，在MATH-500和AIME24上，一个5亿参数的大语言模型优于GPT-4o，一个30亿参数的大语言模型超越了405亿参数的大语言模型，而一个70亿参数的大语言模型则击败了o1和DeepSeek-R1，同时具有更高的推理效率。这些发现表明，根据每个任务和模型的具体特征调整TTS策略具有重要意义，并指出TTS是增强LLMs推理能力的一种有前景的方法。Huggingface链接：Paper page，论文链接：2502.06703
10亿参数大语言模型能超越405亿参数大语言模型吗？重新思考测试时计算最优缩放
引言
随着大语言模型（LLMs）在各个领域的显著进步，如何提高其性能成为了研究热点。测试时缩放（Test-Time Scaling，TTS）作为一种通过在推理阶段使用额外计算来提高LLMs性能的方法，逐渐受到关注。然而，当前的研究并未系统地分析策略模型、过程奖励模型（Process Reward Models，PRMs）以及问题难度如何影响TTS，这限制了人们对TTS方法的理解和实际应用。本文旨在填补这一空白，通过全面实验探讨TTS的最优策略，并评估其在提高LLMs复杂任务性能方面的潜力。
测试时缩放（TTS）概述
TTS方法主要分为两大类：内部TTS和外部TTS。内部TTS通过训练LLMs以“慢速”思考的方式生成长链式思维（Chain-of-Thought，CoT），从而提高推理能力。而外部TTS则通过采样或基于搜索的方法，在固定LLMs的基础上提高推理性能。外部TTS的关键挑战在于如何最优地分配计算资源，即为每个问题分配最佳的计算量。
在外部TTS中，过程奖励模型（PRMs）起着至关重要的作用。PRMs通过为LLMs生成的每个步骤分配奖励，指导生成过程并选择最终答案。然而，当前的研究缺乏对PRMs、策略模型和问题难度如何共同影响TTS效果的深入分析。
研究问题与贡献
本文聚焦于两个核心问题：
- 在不同策略模型、PRMs和问题难度水平下，扩展测试时计算的最优方法是什么？
- 通过增加计算，能在多大程度上提高LLMs在复杂任务上的性能，以及通过这种方法，较小的语言模型能否超越较大的语言模型？
针对上述问题，本文通过在MATH-500和具有挑战性的AIME24任务上进行全面实验，得出了以下主要贡献：
- 系统地评估了不同TTS方法在不同策略模型、PRMs和缩放方法下的性能。
- 强调了TTS过程中奖励信息的重要性，并提出了奖励感知的计算最优TTS策略。
- 展示了通过计算最优TTS策略，较小的语言模型可以在复杂任务上超越较大的语言模型。
实验设置与方法
数据集
本文在MATH-500和AIME24两个数据集上进行了实验。MATH-500包含500个具有代表性的数学问题，这些问题选自MATH测试集的难题部分。AIME24则是一个更具挑战性的数据集，包含了一系列需要高级数学推理能力的问题。
策略模型与PRMs
实验使用了来自Llama 3和Qwen 2.5系列的策略模型，这些模型的参数规模从0.5B到72B不等。同时，评估了多种开源PRMs，包括Math-Shepherd、RLHFlow系列、Skywork系列和Qwen2.5-Math系列。这些PRMs的参数规模从1.5B到72B不等，为实验提供了丰富的选择。
TTS方法
本文考虑了三种主要的TTS方法：Best-of-N（BoN）、Beam Search和Diverse Verifier Tree Search（DVTS）。这些方法在生成过程中采用不同的策略来选择最终答案，从而评估TTS策略的有效性。
实验结果与分析
TTS性能与策略模型、PRMs的关系
实验结果表明，TTS性能高度依赖于策略模型、PRM和问题难度的选择。对于不同的策略模型，最优的TTS方法各不相同。例如，对于较小的策略模型，搜索基方法（如Beam Search和DVTS）通常优于BoN方法；而对于较大的策略模型，BoN方法则表现出更好的性能。
此外，PRMs的泛化能力对TTS性能有显著影响。当PRMs与策略模型不匹配时（即PRMs是在不同的策略模型上训练的），TTS性能会显著下降。这表明，在实际应用中，为每个策略模型单独训练PRM可能是必要的，但这会增加计算成本。
TTS性能与问题难度的关系
实验还探讨了问题难度对TTS性能的影响。通过将问题难度分为易、中、难三个级别，本文发现对于不同难度的问题，最优的TTS方法也不同。对于较小规模的策略模型，BoN方法在简单问题上表现较好，而Beam Search方法在复杂问题上表现更佳。对于中等规模的策略模型，DVTS方法在简单和中等难度问题上表现出色，而Beam Search方法则更适合解决复杂问题。
小模型超越大模型的潜力
通过采用计算最优的TTS策略，本文展示了极小的策略模型（如1B LLM）可以在复杂任务上超越较大的模型（如405B LLM）。在MATH-500和AIME24任务上，0.5B LLM和3B LLM分别超越了GPT-4o和405B LLM，同时保持了较高的推理效率。这些发现表明，通过精心设计的TTS策略，较小的语言模型可以在资源有限的情况下实现卓越的性能。
TTS与长CoT方法的比较
本文还比较了TTS与长CoT方法在复杂任务上的性能。实验结果表明，虽然长CoT方法在一定程度上提高了LLMs的推理能力，但TTS方法在多数情况下表现更优。特别是在处理复杂问题时，TTS方法能够更有效地利用计算资源，提高推理效率和准确性。
讨论与未来工作
奖励感知的TTS策略
本文提出了奖励感知的计算最优TTS策略，该策略强调了在TTS过程中考虑奖励信息的重要性。未来的工作可以进一步探索如何更好地集成奖励信息到TTS策略中，以提高其性能和泛化能力。
PRMs的改进
尽管PRMs在TTS中起着关键作用，但当前的研究表明PRMs在泛化能力和对特定响应长度的偏好方面存在局限性。未来的工作可以致力于开发更强大、更通用的PRMs，以提高TTS的整体性能。
扩展到更多任务
本文的实验主要集中在数学推理任务上。未来的工作可以探索将TTS方法扩展到更多类型的任务上，如自然语言理解、代码生成等，以评估其普适性和有效性。
计算最优TTS策略的优化
当前的研究主要依赖于实验来探索计算最优的TTS策略。未来的工作可以探索更系统化的方法来优化TTS策略，如基于强化学习或贝叶斯优化等方法。
结论
本文通过全面实验评估了不同TTS方法在不同策略模型、PRMs和问题难度下的性能，并提出了奖励感知的计算最优TTS策略。实验结果表明，通过精心设计的TTS策略，较小的语言模型可以在复杂任务上超越较大的语言模型。这些发现不仅加深了对TTS方法的理解，还为未来LLMs性能的提升提供了新的思路和方法。同时，本文也指出了当前TTS研究中的局限性，并提出了未来的研究方向和挑战。
