1.概述
近年来,针对语言模型(LMs)的研究致力于探索其与外部工具或环境互动的能力,以推进新型语言代理的发展。此类代理具备从环境反馈中汲取新知识、通过语言推理进行连续决策,以及借助自我反思提升任务解决能力的能力。工业界的进展,如ChatGPT插件,凸显了语言代理在实际应用中的巨大潜力和价值。
目前,为便于实施,大多数语言代理倾向于采用现成的LMs并辅以少量的提示。然而,值得注意的是,现有的LMs并非针对生成行动或自我评估等代理使用场景而设计,这种少量提示的技术策略仅能提供有限的学习支持,从而导致LMs在作为代理时表现出较差且不稳定的性能。尽管有先进的代理(如Yao等人2023和Wang等人2023的研究所示)能够由GPT-4提供支持,但这种方法成本高昂、存在延迟,且面临着可控性和可重复性的挑战。
微调技术被视为解决上述问题的有效途径。已有研究指出,经过微调的较小LMs在特定推理和行动需求上,能够超越使用提示的较大LMs,并且在推理时间和费用方面具备显著优势。然而,尽管关于语言代理和LM微调的研究众多,但专门针对代理的LM微调研究却相对有限。目前,仅有少数先前的工作对用于网页导航或API工具使用的LMs进行了微调,并进行了针对特定模型类型的初步扩展分析。
鉴于此,作者提出了FireAct,