原文地址：build-end-to-end-rag-pipeline-with-monitoring-and-evaluation-using-langchain-azure-ai-search
2024 年 4 月 21 日
介绍
使用现代的LLM框架，如Langchain或llamaindex，可以迅速搭建一个用于 RAG 的管道，通常只需编写大约5-6行代码。然而，若要构建一个适用于生产环境的RAG应用程序，仅仅实现文档查询是远远不够的。
在本文中，我们将深入探讨如何设计一个完整的端到端生产级RAG管道，并讨论在构建过程中需要考虑的额外层次和组件。
使用的框架和工具概述
构建 e2e RAG 管道的架构层
Langchain：Langchain 可以轻松构建和设计基于 LLM 的应用程序。它提供了出色的抽象和内置功能，可以从头开始开发基于 RAG 的应用程序
Azure AI 搜索：Azure AI 搜索是来自 Azure 技术栈的搜索引擎。它在传统和 GenAI 搜索应用程序中对用户拥有的内容提供大规模的安全信息检索
Langfuse：Langfuse 是开源监控和可观察性工具。这有助于在整个生命周期中构建和改进LLMs应用。它提供跟踪、评估、提示管理和指标功能。可以轻松部署到本地系统或云服务
NeMo-Guardrails： NeMo-guardrails 是个开源工具包，可轻松将可编程护栏添加到基于 LLM 的对话系统中。关键护栏包括输入护栏、输出护栏和对话护栏。
Ragas： Ragas 是个框架，可帮助您评估检索增强生成 (RAG) 管道。这提供了有助于评估 RAG 的关键指标。
Azure OpenAI 搜索：
