Large Language Models Understand and Can be Enhanced by Emotional Stimuli
情感智能对我们的日常行为和互动产生了显著的影响。尽管大型语言模型(LLMs)被视为向人工通用智能迈进的一大步,在许多任务中表现出色,但目前尚不清楚LLMs是否能真正理解心理情感刺激。理解和响应情感线索使人类在解决问题方面具有独特的优势。在这篇论文中,我们迈出了探索LLMs理解情感刺激能力的第一步。为此,我们首先对45个任务进行了自动实验,使用了各种LLMs,包括Flan-T5-Large、Vicuna、Llama 2、BLOOM、ChatGPT和GPT-4。我们的任务涵盖了确定性和生成性应用,代表了全面的评估场景。我们的自动实验表明,LLMs具有情感智能,并且可以通过情感提示(我们称之为“EmotionPrompt”,它将原始提示与情感刺激结合起来)来提高其性能,例如在指令诱导任务中提高了8.00%的相对性能,在BIG-Bench中提高了115%。除了可以使用现有指标自动评估的确定性任务之外,我们还进行了106名参与者的人类研究,以评估使用普通和情感提示的生成任务的质量。我们的人类研究结果表明,EmotionPrompt显著提高了生成任务的性能(在性能、真实性和责任感指标上平均提高了10.9%)。我们提供了关于为什么EmotionPrompt对LLMs有效以及可能影响其性能的因素的深入讨论。我们认为,EmotionPrompt为探索跨学科社会科学知识,以促进人机LLMs交互,开辟了一条新的途径。
大型语言模型在各种应用中的表现展示了前所未有的性能。本文是首次研究,旨在评估和分析LLM如何理解情感智能,这是人类的关键特性。我们为这种分析设计了EmotionPrompt。我们在6个LLM上的45个任务的标准化评估显示了积极的结果:LLM可以理解和通过情感刺激得到增强。我们的人类研究还表明,通过情感智能增强的LLM可以达到更好的性能、真实性和责任感。
展望未来,我们看到LLM和心理学交汇处有许多开放问题和机遇。首先,尽管我们在本文中展示了一些注意力可视化,以理解EmotionPrompt成功的理由,但从心理学的根本层面和模型训练来看,仍有更多工作要做,例如预训练技术如何影响情感刺激的表现,如何通过将心理现象融入预训练来提高性能等。我们相信,更多的分析和理解可以帮助我们更好地理解LLM情感智能背后的“魔法”。其次,尽管本文得出结论LLM可以理解和通过情感智能得到增强,但实际上这与关于人类情感智能的现有研究相冲突。现有的心理学研究表明,人类的行为或态度可能受到情绪的影响,但他们的推理或认知能力不能简单地通过添加情感刺激来增强。然而,这种差异背后的奥秘仍然不清楚,我们留给未来的工作来找出人类和LLM情感智能之间的实际差异。