谷歌重磅：告别RAG，长上下文的大语言模型无需检索增强

当今人工智能领域正在经历一场静默的革命。随着大语言模型(LLM)的快速发展，它们不仅能够处理更长的上下文，还展现出惊人的推理和检索能力。

难道我们要告别基于LLM的检索增强生成(RAG)了吗？

结果还真是这样，最近谷歌发布专门用于评估长上下文语言模型的LOFT测试基准，该测试基准评估长上下文LLM在各种实际任务中的表现，包括信息检索、问答和数据库查询等。LOFT的测试结果显示，一些最先进的长上下文模型在某些任务上已经达到了与专门训练系统相近的性能水平。

这意味着什么？它可能预示着AI应用的一个新时代的到来。在不久的将来，我们或许只需要一个强大的语言模型，就能完成过去需要多个专门系统才能完成的复杂任务。不过，这项研究同样指出大语言模型存在一些缺陷亟待解决。

论文标题：
Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More?

论文链接：
https://arxiv.org/pdf/2406.13121

AI界的新挑战与机遇

近年来，大型语言模型(LLM)的快速发展为人工智能领域带来了新的机遇和挑战。这些模型展现出惊人的语言理解和生成能力，但如何充分利用它们处理长上下文信息的潜力成为了一个关键问题。

传统上，复杂的AI任务需要多个专门系统协作完成。这类系统通常需要独立的模块来进行信息检索、问答和数据库查询等任务。下图左侧展示了传统的任务处理方式，包含多个模态检索工具和RAG过程。

相比之下，上图右侧展示长上下文语言模型（LCLM）的潜力。LCLM可以直接接收包含文本、图像、音频等多模态信息的整个语料库作为输入。通过"语料库中的上下文"（CiC）提示方法，模型能够在统一的框架内执行各种任务，包括检索、推理和答案生成。这种方法大大简化了流程，并且避免了多个独立系统可能带来的错误累积问题。

然而，评估这些模型的性能并不容易。现有的方法往往局限于特定任务，难以全面测试长上下文模型的能力。为此，研究者提出了LOFT（Long-Context Frontiers）基准测试。

LOFT包含6种任务类型，涵盖35个数据集，横跨文本、视觉和音频多个模态。它能够动态调整上下文长度，从32k到1M个标记，使研究者能系统地评估模型在不同长度上下文中的表现。

LOFT的出现为评估和理解长上下文模型提供了一个标准化平台，为探索这些模型的潜力和局限性提供了重要工具。

LOFT：一个全面的长上下文语言模型评估基准

LOFT（Long-Context Frontiers）基准测试的设计旨在全面评估长上下文语言模型的能力。LOFT包含六大类任务，涵盖35个数据集，横跨文本、视觉和音频多个模态：

文本检索：从大量文档中找出相关内容。
视觉检索：根据文本描述找出相关图像或视频。
音频检索：匹配文本与相应音频。
检索增强生成（RAG）：基于检索信息生成答案。
SQL类任务：理解自然语言查询并从数据库中提取信息。
多示例上下文学习：从大量示例中学习并完成任务。

LOFT的一个关键特性是其可扩展性。它支持从32k到128k，再到1M个标记的上下文长度，使研究者能够系统地评估模型性能随上下文长度增加的变化。

为了充分发挥长上下文模型的潜力，研究团队提出了"上下文中的语料库"（Corpus-in-Context，CiC）提示方法。CiC提示包含四个主要部分：

指令：为模型提供任务特定的指导。
语料库格式化：将整个语料库直接放入上下文，每个候选项分配唯一ID。
少样本示例：提供几个带有推理链的任务示例。
查询格式化：按照示例格式呈现待评估的查询。

这种方法允许模型直接在给定的大规模语料库中进行检索和推理，简化了任务流程，并充分利用了长上下文模型的能力。

通过这种设计，LOFT不仅提供了一个标准化的评估平台，还为探索长上下文模型在实际应用中的潜力和局限性提供了宝贵的工具。

实验结果：惊喜与挑战并存

LOFT基准测试的结果既展示了长上下文模型的潜力，又揭示了一些挑战。研究团队评估了三个最先进的长上下文模型：Google的Gemini 1.5 Pro、OpenAI的GPT-4o和Anthropic的Claude 3 Opus。这些模型在各种任务上的表现如下表所示：

文本检索任务

在文本检索任务中，Gemini 1.5 Pro的表现尤为出色。在128k上下文长度的测试中，Gemini 1.5 Pro在多个数据集上达到了与专门训练的检索系统Gecko相当的性能。例如，在NQ数据集上，Gemini 1.5 Pro和Gecko都达到了0.99的Recall@1分数，而Gemini 1.5 Pro并没有经过专门的检索训练。

然而，随着上下文长度增加到1M标记，模型性能出现了一定程度的下降。这表明在处理超长上下文时，模型仍面临着挑战。