LlamaIndex

LangChain v0.2

教程分成以下部分：

1、入门

2、学习

3、用例

4、示例

5、高级

6、组件指南

RAG

用额外的信息来提高回答的质量。

分为 5个阶段：

（1）loading 加载原始文件，LlamaHub 提供数百种连接器可供选择

• node 节点和 document 文档：document 指的是 数据源的容器，比如PDF、API等；node 指的是 Llamaindex 中数据的原子单元，表示 document 的“块”。节点具有元数据（将它们与所在的文档以及其他节点相关联）
• connectors 连接器：connectors 或叫 Reader 作用是 将来自不同数据源和数据格式的 数据提取到 documents 和 nodes中

（2）Indexing 创建允许查询数据的数据结构，即 vector embeddings，以便找到query的相关数据、即上下文

• Indexes 索引：Indexes 一旦您导入了数据，LlamaIndex将帮助您将数据索引到易于检索的结构中。这通常涉及生成 vector embeddings，这些嵌入存储在称为 vector store 的专用数据库中。索引还可以存储有关数据的各种元数据。

• Embeddings：数据的数字表示。LlamaIndex会将查询转化为嵌入表示，而您的向量存储将找到与查询嵌入数值上相似的数据。

（3）storing 存储索引或其他元数据

（4）querying 查询，包括子查询、多步查询和混合策略

• Retrievers 检索器： 检索器定义了如何在给定查询时高效地从索引中检索相关上下文。检索策略是检索到的数据相关性及其执行效率的关键
• Routers 路由器：路由器决定使用哪个检索器从知识库中检索相关上下文。更具体地说，RouterRetriever类负责选择一个或多个候选检索器来执行查询。它们使用选择器基于每个候选者的元数据和查询来选择最佳选项
• Node Postprocessors 节点后处理器：node postprocessor 接收一组检索到的节点，并对它们 applies transformations 应用转换、filtering 过滤或 re-ranking 重新排序的逻辑
• Response Synthesizers 响应合成器：Response Synthesizers 利用用户查询和一组给定的检索到的文本块，从LLM生成响应

（5）evaluation 评估，客观衡量回复的准确性 accurate、忠实度 faithful和速度 fast。

RAG的应用

（1）Query Engines

它接受自然语言查询，并返回响应以及检索到的引用上下文并传递给 LLM。

（2）Chat Engines

用于与数据进行对话（多次来回而不是单个问答）

（3）Agents

代理是一个自动化决策者，由 LLM 提供支持，通过一组工具与世界进行交互。

代理可以采取任意数量的步骤来完成给定的任务，动态地决定最佳的行动方案，而不是遵循预先确定的步骤。这赋予它额外的灵活性来处理更复杂的任务。

LLamaIndex和Langchain的区别

LlamaIndex和LangChain是构建LLM应用程序的两个框架。

LlamaIndex专注于RAG用例，LangChain得到了更广泛的应用、提供了一些上线工具 LangServe、LangSmith。

如果是和RAG相关的用例，LlamaIndex会方便很多，可以说是首选。

但是如果应用需要一些非RAG的功能，可能LangChain是一个更好的选择。

通过4个任务比较LangChain和LlamaIndex

大模型应用框架LangChain与LlamaIndex：谁更胜一筹

LlamaIndex的抽象程度更高、LangChain更适合定制化程度更高的场景

LlamaIndex的帮助文档更具有可读性、LangChain的帮助文档更极客

截止到 20240604

langchain 86.5k star

llama_index 32.3k star