AI大模型：生产中的RAG，为何表现不尽如人意？

RAG（Retrieval Augmented Generation,检索增强生成）是一个将大规模语言模型(LLM)与来自外部知识源的检索相结合的框架,以改进问答能力的工程框架。虽然一切都看起来很美好，在实际应用中，RAG的状态确是“一看就会，一用就废”，总是难堪大用。今天我们就来聊聊RAG，还有那些常见的坑和生产中的困境。

RAG 补充大模型能力

在进入RAG的介绍之前，需要读者首先理解一个概念，LLM的知识更新是很困难的，主要原因在于：

LLM的训练数据集是固定的,一旦训练完成就很难再通过继续训练来更新其知识。
LLM的参数量巨大,随时进行fine-tuning需要消耗大量的资源，并且需要相当长的时间。
LLM的知识是编码在数百亿个参数中的,无法直接查询或编辑其中的知识图谱。

因此,LLM的知识具有静态、封闭和有限的特点。为了赋予LLM持续学习和获取新知识的能力,RAG应运而生。

一般RAG的主要目的是：

a) 减少LLM的幻觉回答问题
b) 将来源/参考关联到大模型生成的回答
c) 消除使用元数据注释文档的需要。

工作原理

RAG本质上是通过工程化手段，解决LLM知识更新困难的问题。其核心手段是利用外挂于LLM的知识数据库（通常使用向量数据库）存储未在训练数据集中出现的新数据、领域数据等。通常而言，RAG将知识问答分成三个阶段：索引、知识检索和基于内容的问答。

第一阶段是知识索引,需要事先将文本数据进行处理,通过词嵌入等向量化技术,将文本映射到低维向量空间,并将向量存储到数据库中,构建起可检索的向量索引。在这个阶段，RAG涉及数据加载器、分割器、向量数据库、提示工程等组件以及LLM本身。

第二阶段是知识检索,当输入一个问题时,RAG会对知识库进行检索,找到与问题最相关的一批文档。这需要依赖于第一阶段建立的向量索引,根据向量间的相似性进行快速检索。

第三阶段是生成答案,RAG会把输入问题及相应的检索结果文档一起提供给LLM,让LLM充分把这些外部知识融入上下文,并生成相应的答案。RAG控制生成长度,避免生成无关内容。

这样,LLM就能够充分利用外部知识库的信息,而不需要修改自身的参数。当知识库更新时,新知识也可以通过prompt实时注入到LLM中。这种设计既发挥了LLM强大的语言生成能力,又规避了其知识更新的困境,使之能更智能地回答各类问题,尤其是需要外部知识支持的问题。

RAG的常见坑

内容缺失——这是生产案例中最大的问题之一。用户假设特定问题的答案存在于知识库中。事实并非如此，系统也没有回应“我不知道”。相反，它提供了一个看似合理的错误答案，但实际是“毫无意义”。
漏掉排名靠前的文档 - 检索器是小型搜索系统，要获得正确的结果并不简单。简单的嵌入查找很少能达到目的。有时，检索器返回的前 K 个文档中不存在正确答案，从而导致失败。
不符合上下文 - 有时，RAG系统可能会检索到太多文档，并且还是强制根据上下文分割并输入文档。这意味着对问题的回答不在上下文中。有时，这会导致模型产生幻觉，除非系统提示明确指示模型不要返回不在上下文中的结果。
未提取到有用信息 - 当LLM无法从上下文中提取答案时。当你塞满上下文并且LLM会感到困惑时，这往往会成为一个问题。不同大模型对背景信息的理解能力层次不齐。
格式错误——虽然论文将这视为一种失败模式，但这种类型的功能并不是大型语言模型（LLM）的开箱即用功能。这种需要特定格式的输出，需要进行大量的系统提示和指令微调，以生成特定格式的信息。例如，使用Abacus AI，可以创建一个代理程序来以特定格式输出代码，并生成带有表格、段落、粗体文本等的Word文档。这种一般可以通过MarkDown输出来渲染！
不合适的回答 -响应中返回答案，但不够具体或过于具体，无法满足用户的需求。当 RAG 系统设计者对给定问题（例如教师对学生）有期望的结果时，就会发生这种情况。在这种情况下，应该提供具体的教育内容和答案，而不仅仅是答案。当用户不确定如何提出问题并且过于笼统时，也会出现不正确的特异性。
不完整 - 不完整的答案是准确的，但缺少一些信息，即使这些信息存在于上下文中并且可用于提取。

为啥生产中会失败？

1. 系统太复杂

把RAG从实验室搬到生产线，就像是把一辆赛车从赛道开到市区。赛车在赛道上跑得飞快，但在市区里就得考虑交通规则、红绿灯，还有各种突发情况。RAG也是这样，它需要处理各种不可预测的负载，保证在高需求下也能稳定运行。

2. 用户互动难以预测

用户会怎么和RAG互动，这事儿可不好说。这就要求RAG得有持续的监控和适应能力，才能保持性能和可靠性。

然而，这种预测用户需求的能力对RAG来说是一个巨大的挑战。用户可能来自不同的背景，有着不同的知识水平和期望，这就要求RAG不仅要有广泛的知识储备，还要具备一定的推理和判断能力。此外，用户的行为模式也可能随时间而变化，RAG系统必须能够适应这些变化，不断学习和优化，以保持其性能和可靠性。

改进思路

由于上诉缺点的存在，直接使用LangChain等框架实现的RAG框架几乎无法直接在生产中使用，需要进行大量的工程化优化，总得来说，至少包括如下内容：

检查和清洗输入数据质量。
调优块大小、top k检索和重叠度。
利用文档元数据进行更好的过滤。
优化prompt以提供有用的说明。

总结

RAG虽然听起来很牛，但要让它在生产环境里稳定运行，还真不是一件容易的事。目前看来它确实有多实际的应用价值，相关的技术也在不断的演进，包括RAG从1.0向2.0的演进，也是在通过探索，不断地去完善这项技术的弱点。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望