EMNLP 2023
- 第一个探索in-context learning在语言模型知识编辑方便的效果
- 传统的知识编辑方法通过在包含特定知识的文本上进行微调来改进 LLMs
- 随着模型规模的增加,这些基于梯度的方法会带来巨大的计算成本
- ->论文提出了上下文知识编辑(IKE),无需任何梯度和参数更新
- 传统的知识编辑方法通过在包含特定知识的文本上进行微调来改进 LLMs
1 背景
- 知识编辑:修改语言模型在与训练阶段学到的知识(比如虚假内容、过时内容、偏见内容等)
- 目标是双重的
- 泛化性
- 对描述相同知识的各种输入进行泛化
- 特定性
- 不干扰其他不相关的知识
- 泛化性
- 目标是双重的