Cognita：一款面向生产环境的开源、模块化 RAG 框架

一、引言：RAG 技术的兴起和挑战

1.1、从关键词搜索到 RAG

在大模型技术火起来之前，我们处理海量数据中的信息检索问题，往往依靠的是传统的关键词搜索和全文检索方法。这些方法虽然在一定程度上帮助我们找到了信息，但它们在语义理解方面的能力相对较弱，很难精确捕捉到用户的真实需求。因此，当用户试图在海量数据中寻找特定信息时，往往就像是在大海里捞针，很难快速而准确地找到自己需要的答案。

随着大模型技术的爆发，一种名为检索增强生成（Retrieval-Augmented Generation，简称RAG）的新技术应运而生。RAG技术的出现，就像是给传统的搜索方法装上了智能的翅膀，它通过结合信息检索和文本生成，使得信息获取变得更加高效和准确。

RAG技术的核心优势在于它能够理解用户问题背后的深层语义，而不是简单地依赖于关键词匹配。它通过三个关键步骤——精准检索、信息整合和自然语言生成——来提升信息获取的效率和准确性。首先，RAG技术能够在海量数据中快速定位到与用户问题最相关的信息；其次，它能够将分散在不同地方的信息整合起来，形成一个连贯的答案；最后，RAG技术利用先进的语言模型，生成流畅、自然、易于理解的文本，为用户提供更加人性化的服务。

RAG技术在智能问答、语义搜索、个性化推荐、辅助写作等领域展现出巨大的潜力。它使系统能够处理更加复杂的问题，为用户提供更精准、更人性化的服务。

1.2、现有 RAG 框架存在的问题

RAG 技术的出现，为处理海量非结构化数据、构建更智能的应用带来了新的希望。然而，现有的RAG框架在实际应用中依然面临着诸多挑战，如部署维护的复杂性、定制性不足、缺乏端到端的解决方案、用户体验有待提升等。这些挑战具体可以归结为以下几个方面：

部署和维护的复杂性: 许多 RAG 框架缺乏对生产环境的优化，部署和维护一个完整的 RAG 系统需要开发者具备专业的知识和技能，例如配置向量数据库、管理语言模型等。
缺乏灵活性和可定制性: 许多框架只提供了固定的功能模块，开发者难以根据实际需求进行定制化开发，例如支持不同的数据源、语言模型或向量数据库。
查询服务部署：从查询生成答案的代码需要包装在 API 服务器中，并部署为可扩展的服务，该服务可以处理多个并发查询并随着流量自动扩展，目前还没有此类内置支持。
语言模型和嵌入模型部署： RAG 框架中缺乏真正的生产级支持，其中模型作为单独的服务托管，并通过 API 调用。
向量数据库部署： RAG 框架应考虑提供内置支持，以更具可扩展性和可靠性的方式部署数据库。
缺乏端到端的完整解决方案: 一些框架只关注 RAG 流程中的某些部分，例如检索或生成，缺乏将整个流程整合起来的完整解决方案，开发者需要自行拼凑不同的工具和库。
用户体验不佳: 许多框架缺乏用户友好的界面和工具，难以与非技术人员进行协作和交互。

尽管RAG技术的发展道路还很长，但它的发展趋势是不可阻挡的。随着技术的不断成熟和完善，我们有理由相信，RAG技术将在智能信息处理领域发挥越来越重要的作用，为人类走向智能时代铺平道路。它将成为我们探索信息海洋的智能潜水艇，帮助我们在知识的海洋中找到那些珍贵的宝藏。

二、Cognita：解决 RAG 痛点的利器

为了解决上述问题，Truefoundry 推出了 Cognita，一款面向生产环境的开源、模块化 RAG 框架。Cognita 的目标是简化 RAG 应用的开发和部署，让开发者能够专注于构建核心业务逻辑，而无需从头开始搭建整个系统。

2.1、什么是 Cognita

Cognita 是一个开源、模块化的应用程序，它被设计用于生产环境，并且结合了信息检索增强生成（Retrieval-Augmented Generation，简称 RAG）技术。RAG 是一种人工智能技术，它通过结合检索（检索相关信息）和生成（生成新内容）的方式来增强模型的性能。

Cognita 的设计目标是在完全定制化和适应性之间取得平衡，同时确保用户友好性。它考虑到了 RAG 和 AI 技术的快速发展，因此在设计时注重了可扩展性，以便能够无缝集成新的技术突破和不同的应用场景。

Cognita 的核心优势在于其模块化设计，它被分解为不同的模块，每个模块都可以根据用户的需求进行定制和控制。这样的设计使得系统更易于维护，可以轻松添加新功能，例如与其他 AI 库的互操作性，并且允许用户根据自己的特定需求来定制平台。

2.2、Cognita 的优势

全面性： 提供从数据加载、解析、嵌入到查询和响应生成的完整 RAG 流程，无需拼凑不同的工具和库。
模块化： 将 RAG 流程分解为可插拔的组件，方便开发者根据需求进行定制和扩展，例如使用不同的数据源、语言模型、向量数据库等。
易用性： 提供用户友好的界面，方便非技术人员上传文档、执行问答等操作，降低了 RAG 技术的使用门槛。
面向生产环境： 支持批量索引、增量索引等特性，能够高效处理海量文档，并保证系统的稳定性和可扩展性。

2.3、Cognita 如何解决这些问题

Cognita 的诞生正是为了解决上述 RAG 存在的问题，目的是为开发者提供一个更加强大、灵活、易用且面向生产环境的开源 RAG 框架，其设计理念可以概括为以下几点：

模块化架构: 将 RAG 流程分解为一系列可插拔的模块化组件，开发者可以根据需求自由选择和组合不同的组件，例如数据加载器、解析器、嵌入器、向量数据库等，轻松实现定制化开发。
简化部署和维护: Cognita 对各个组件进行了高度抽象和封装，并提供了多种部署方式，简化了 RAG 应用的部署和维护流程，降低了开发者的技术门槛。
简化的部署： Cognita 抽象了在生产中部署 RAG 系统的复杂性，处理诸如分块和嵌入作业、查询服务部署、语言模型托管和向量数据库管理等任务。
提供端到端的完整解决方案: Cognita 涵盖了 RAG 流程的各个环节，从数据加载、解析、嵌入到查询和响应生成，提供了一个完整的解决方案，开发者无需自行拼凑不同的工具和库。
优化面向生产环境的性能和稳定性: Cognita 支持批量索引、增量索引等特性，能够高效处理海量数据，并提供了多种部署方式，以满足不同场景的需求。
提升用户体验: Cognita 提供了用户友好的界面和工具，方便开发者与非技术人员进行协作和交互，例如上传文档、执行问答等操作。

总之，Cognita 的出现，为开发者提供了一个更优的选择，降低了 RAG 技术的使用门槛，让 RAG 应用的构建更加便捷高效，也为构建更加智能化的应用奠定了坚实的基础。

2.4、Cognita 架构概览

Cognita 的架构图如下所示：

Cognita 的架构由几个协同工作的关键组件构成：

数据源：指文档所在的位置，例如计算机硬盘、云存储或内部数据库。
元数据存储：类似于图书馆目录，用于跟踪有关文档集合的信息。它会记录集合名称、文档存储位置以及用于分析的所选嵌入模型等详细信息。
LLM 网关（可选）：充当于来自不同提供商的各种大语言模型 (LLM) 和嵌入模型交互的中心枢纽。您可以将其视为一个通用翻译器，允许 Cognita 与不同的 AI 服务进行无缝通信。
向量数据库：这个高性能数据库存储由分析器生成的文档嵌入。它允许 Cognita 根据用户查询有效地检索相关文档。您可以将其视为一个超级强大的搜索引擎，它可以根据含义和上下文（而不仅仅是关键字）查找信息。
索引作业：在后台运行，自动处理您的文档。它从数据源检索文档、分析它们、创建嵌入，并将它们存储在向量数据库中。
API 服务器：系统的核心。它接收用户查询，与其他组件交互以查找相关信息，并使用 LLM 网关（如果适用）生成响应。

三、Cognita 实战：快速构建问答系统

使用 Cognita 非常简单，以下是使用流程的简化视图：

准备文档：将您希望 Cognita 分析的文档整理到集合中（例如，研究论文、客户电子邮件）。
索引：Cognita 会自动完成索引过程。它会分析您的文档、创建嵌入，并将它们存储在向量数据库中。这可能需要一些时间，具体取决于集合的大小。
提出您的问题：索引完成后，您可以通过用户界面或 API 与 Cognita 交互。只需提出您的问题，Cognita 就会搜索您的文档，检索最相关的信息，并提供一个经过深思熟虑的答案。

下面，我们将通过一个简单的案例，演示如何使用 Cognita 快速构建一个基于特定领域文档的问答系统。

例如：

创建数据源： 上传包含您领域知识的 PDF 文档。

创建集合： 选择合适的嵌入模型，例如 openai-main/text-embedding-ada-002，并将数据源添加到集合中。点击 "Process" 按钮，Cognita 会自动完成文档解析、嵌入和索引。

进行问答： 在 "Query" 界面，输入您的问题，例如 "when layer type is Convolutional, what is the Maximum Path Length？"，并选择合适的语言模型和检索器。点击 "Generate" 按钮，Cognita 会返回基于您文档的答案。