TruLens 用于语言模型应用跟踪和评估
TruLens 是一个用于评估语言模型应用(如 RAG)的性能的开源库。通过 TruLens，我们还可以利用语言模型本身来评估输出、检索质量等。
构建语言模型应用时，多数人最关心的问题是 AI 幻觉（hallucination）。RAG 通过为语言模型提供检索上下文来确保信息准确性，但始终无法百分百保证提供完全准确的信息。因此，应用不会产生幻觉是评估验证重点的一个重要指标。TruLens 提供了 3 项测试：
-
上下文相关度
-
答案准确性
-
答案相关度
接下来，让我们逐一来看一下这三项测试：
-
上下文相关度
所有 RAG 应用第一步是检索。为验证检索质量，要确保每个上下文块与输入查询相关。因为语言模型将使用该上下文生成答案，所以上下文中的任何不相关信息都可能导致 LLM 出现幻觉。
-
答案准确性
