当前主要从三个方面入手解决幻觉问题:
- 检测数据中虚假信息,提升数据质量;
- 扩大模型规模并增大预训练数据量,模型能力的提升能实现幻觉水平的降低;
- 结合搜索增强以及知识库等方法,提升生成信息的准确性。
使用预训练底座或最新开源模型,结合 RLHF、langchain、知识图谱、外挂知识库 / 向量数据库等,
针对具体业务场景,增强领域知识、多角色扮演、情感回应、幻想减轻等能力。
TruLens是面向神经网络应用的质量评估工具,它可以帮助你使用反馈函数来客观地评估你的基于LLM(语言模型)的应用的质量和效果。反馈函数可以帮助你以编程的方式评估输入、输出和中间结果的质量,从而加快和扩大实验评估的范围。你可以将它用于各种各样的用例,包括问答、检索增强生成和基于代理的应用。
RAG的输出的准确率=向量信息保留率 * 语义搜索准确率 * LLM准确率