【RAG 论文】Chain-of-Note：为 RAG 引入 CoT 让模型生成阅读笔记来提高面对噪音文档和未知场景的鲁棒性

论文：Chain-of-Note: Enhancing Robustness in Retrieval-Augmented Language Models
⭐⭐⭐
Tencent AI Lab, arXiv:2311.09210

文章目录

- 一、论文速读
- 二、实现的细节
- - 2.1 Note Design
  - 2.2 Data Collection
  - 2.3 Model Training
- 三、实验结果
- - 3.1 QA Performance
  - 3.2 对 Noise Robustness 的实验
  - 3.3 对 Unknown Robustness 的实验
- 四、总结

一、论文速读

这篇文章的主要关注于 RAG LLM 模型的以下两个方面：

Noise Robustness：即能够自动忽视掉检索到的不相关的文档，不要让无关知识误导
Unknown Robustness：当无法回答用户的提问时，应当承认自己的局限性并回答 “unknown”

本工作提出了 Chain-of-Noting，思路如下：

CoN 示例

用户提出问题 user query $q$ 和检索到的 k 个文档 $[d_1, \dots, d_k]$
LLM 针对每一个检索到的文档，生成一段阅读笔记，即针对 passage $d_1$ ，就生成一段阅读笔记 $y_{d_1}$ ，比如上图中的 The first passage suggests ...
基于阅读笔记 $[y_{d_1}, \dots, y_{d_k}]$ ，LLM 综合这些信息来生成 final response $y$ ，也就是上图中回答部分的黑体字 Based on information ...

这样就能得到最终的答案。

这里 LLM 是使用了训练的 LLaMa-2 7B 模型，为了能够实现 Noise Robustness 和 Unknown Robustness，关键的工作在于 prompt 的设计、训练数据的收集和对模型的训练。

二、实现的细节

这里关键的工作就是三个：

Note Design：即设计出模型如何生成 reading notes
Data Collection：收集用于训练 LLaMa 模型的数据
Model Training：使用训练数据来训练 LLaMa

2.1 Note Design

阅读笔记（note）的主要目的是为了使模型能够系统地评估每个检索到的文档对输入问题的相关性。这些笔记帮助模型识别文档中的最关键和可靠的信息，同时过滤掉不相关或不可信的内容。

论文定义了三种类型的 note：

直接答案型：当检索到的文档直接回答了问题，模型会生成阅读笔记，并基于这些信息形成最终答案。
上下文推断型：如果文档没有直接回答问题，但提供了有用的上下文信息，模型会利用这些信息和自身的知识库来推断答案，并生成相应的阅读笔记。
无关答案型：当检索到的文档与问题不相关，且模型缺乏足够的知识来回答时，模型会生成表示“未知”的阅读笔记。

这些 note 都是文本形式的摘要，突出显示文档中与问题最相关的部分。

2.2 Data Collection

为了训练 LLaMa-2 7B 以整合 CoN 框架，作者需要收集包含 notes 和 answer 的训练数据。

数据收集过程如下：从 Natural Questions（NQ）数据集中随机抽取了 10,000 个 question，根据这些 question 和相应检索到的 passages，通过 prompt 让 ChatGPT 生成这个 question 的 notes 和 answer，CoN 的 prompt 如下：

prompt 模板

该 prompt 可以在 LangSmith 中体验到：https://smith.langchain.com/hub/bagatur/chain-of-note-wiki/playground?commit=6533425b

通过上面的 prompt，就可以让 ChatGPT 生成训练数据了。之后，ChatGPT 生成的训练数据需要进一步的人工校验。

2.3 Model Training

本工作基于 LLaMa-2 7B 训练，训练时，将 instruction、user question 和 retrieved passages 结合 prompt 作为 input，教 model 生成 notes 和 answer。

损失函数的设计：在 model 的生成中，包含 notes 和 answer，一个很明显的现象是 notes 比 answer 长很多，这样两者对 loss 的 contribute 就不太协调，为了克服这个问题，整个训练过程中 loss 的计算会有变化：

50% 的训练时间中，next token prediction 的 loss 是整个 notes 和 answer 的 token 序列的损失
50% 的训练时间中，next token prediction 的 loss 是只有 answer 的损失，这样能让 model 也更加专注于最终 answer 的准确度和可靠性