今天向大家介绍一下关于RAG的一些知识和经验。
这里说的RAG可以理解为目前针对企业知识库问答等AI应用场景的解决方案,这个场景就是利用自然语言大模型LLM与用户自有的文件进行对话的能力。
【RAG的优势】
首先,讲一讲RAG的优势特征。
如果把AI想象成一个待上岗的人类助手,让这个助手成功帮你做事存在两种方法。
第一种,把你公司的所有业务都让他认真学习,效果是这些知识会真正进入这个助手的大脑,这些知识会被学得,反映到AI,就是FineTuning的过程中,供AI学习的素材会影响这个AI的内部参数。使得在训练成功后这个AI不需要查阅原本的文档就能够根据他目前的综合理解回答你的问题,因为这个AI已经学会了。
这种学习训练的应用方法的缺点也很明显,AI受到的影响是黑盒,用户无法完全把控,只能对结果事后审核。训练过程费时费力,需要高性能的硬件支撑训练过程,成本很高。后续如果有新的知识,那么这个高成本的训练过程也需要持续进行。
第二种方法,就是让助手本身具备正常沟通的能力,接下来需要什么材料,让助手找给你就行了。最多再根据他的CommonSense做一些整理。结论的来源也都会给你标出出处。这就是RAG的模式。LLM只是沟通媒介,AI并没有去真正学习后台向量库的知识,只是把这些知识找到并简单整理。
RAG在企业知识库场景下的优势很明显,无需经历痛苦繁琐的训练过程,后台的知识库可以随时增减,即时生效。结果更加忠于出处并可溯源。