快速构建本地RAG聊天机器人：使用LangFlow和Ollama实现无代码开发

基于LangChain的快速RAG应用原型制作方法

还记得构建智能聊天机器人需要数月编码的日子吗？

LangChain这样的框架确实简化了开发流程，但对非程序员来说，数百行代码仍然是一道门槛。

有没有更简单的方法呢？

图片由 Ravi Palwe 在 Unsplash 提供

这时我发现了“Lang Flow”，一个基于Python版本LangChain的开源包。它让你无需编写一行代码就能创建AI应用。它提供了一个画布，你只需拖动组件并连接它们，就能构建你的聊天机器人。

在这篇文章中，我们将使用LangFlow在几分钟内构建一个智能AI聊天机器人的原型。在后端，我们将使用Ollama进行嵌入模型和大型语言模型，这意味着应用程序可以在本地免费运行！最后，我们将这个流程转化为一个Streamlit应用，只需少量编码。

探索检索增强生成流程：LangChain、LangFlow和Ollama简介

在这个项目中，我们将构建一个人工智能聊天机器人，并命名为“Dinnerly——您的健康食谱规划师”。它的目标是借助检索增强生成（RAG）技术，从一个食谱PDF文件中推荐健康的菜肴配方。

在深入了解如何实现这一目标之前，让我们快速浏览一下项目中将要使用的关键组件。

检索增强生成（RAG）

RAG（Retrieval-Augmented Generation）通过向大型语言模型（LLMs）提供外部来源的相关信息，帮助它们提高生成响应的准确性和时效性。

RAG的工作流程通常包括以下步骤，如A Guide to Retrieval Augmented Generation中所述：

加载文档： 首先加载文档或数据源。
分割成片段： 将文档分解成可管理的部分
创建嵌入向量： 使用嵌入技术将这些片段转换为向量表示。
存储在向量数据库中： 将这些向量保存在数据库中，以便高效检索。
用户交互： 接收用户查询或输入，并将其转换为嵌入向量。
向量数据库中的语义搜索： 连接到向量数据库，根据用户的查询进行语义搜索。
检索并处理响应： 获取相关响应，通过LLM处理，生成答案。
向用户交付答案： 将LLM生成的最终输出返回给用户。

这是RAG工作流程的概述，由Han HELOIR, Ph.D. ☕️提供。

Langchain

Langchain 是一个围绕大型语言模型构建的开源框架，它促进了各种生成式AI应用的设计和开发，包括聊天机器人、摘要等。

该库的核心思想是将不同的组件“串联”起来，以简化复杂的AI任务，并围绕LLMs创建更高级的用例。

LangFlow

LangFlow 是专为LangChain设计的一款网页工具，它提供了一个用户界面，用户可以通过拖放组件来构建和测试LangChain应用，无需编写代码。

然而，为了使用LangFlow设计AI应用流程，你需要首先对LangChain的工作原理及其不同组件有基本的了解。

LangFlow界面

Ollama

Ollama 对我来说，是开源LLM（大型语言模型）中最优秀且最容易上手的方式。它支持诸如Llama 2和Mistral等强大的LLM，并且你可以在ollama.ai/library上查看可用模型的列表。

Ollama https://ollama.ai/

配置Ollama

安装Ollama

首先，访问 Ollama下载页面，选择与您操作系统匹配的版本，下载并安装。

安装好Ollama后，打开命令终端并输入以下命令。这些命令将下载模型并在您的本地机器上运行它们。

对于本项目，我们将使用Llama2作为大型语言模型（LLM），并使用“nomic-embed-text”作为嵌入模型。"Nomic-embed-text"是一个功能强大的开源嵌入模型，具有大上下文窗口。这使得我们可以在本地运行整个应用程序，而无需任何云服务！

在这里插入图片描述

配置LangFlow

前置条件

在开始使用LangFlow之前，确保你的计算机上已经安装了Python。Python的版本应高于3.9，但需低于3.12。

安装LangFlow

接下来，我们继续安装LangFlow。建议在虚拟环境中进行此操作。这种方法有助于在自己的空间内整洁地管理依赖项。在我的Mac上，我使用Conda来设置。只需在命令行终端中输入以下命令，创建一个名为“langflow”的虚拟环境，其中包含Python 3.11。

在这里插入图片描述

如果你没有Conda，也可以直接使用Python设置虚拟环境，如下所示。

在这里插入图片描述

安装完成后，只需在终端中输入“langflow run”即可启动LangFlow。

Langflow后端控制台。图片由作者提供。

然后，将它给出的URL（如上例中的http://127.0.0.1:7860）复制到你的网络浏览器中，搞定！你应该会看到一个类似这样的界面，显示了你的所有项目。

Langflow UI项目页面。图片由作者提供。

设计聊天机器人的流程

是时候创建你的第一个流程了！

点击“新建项目”，这将打开一个空白画布。在左侧窗格中，你会看到各种组件，可以将它们拖放到工作区。

LangFlow 画布。作者提供图片。

对于我们的项目，我们将构建一个能够从 PDF 文件中回答问题的聊天机器人。还记得我们之前提到的 RAG 管道吗？我们需要以下元素来组合它：

PDF 加载器：我们将使用“PyPDFLoader”。你需要输入 PDF 文档的文件路径。
文本分割器：选择“RecursiveCharacterTextSplitter”，默认设置即可。
文本嵌入模型：选择“OllamaEmbeddings”来利用免费的开源嵌入。
向量数据库：我们选择“FAISS”来存储嵌入并支持向量搜索。
用于生成响应的 LLM：选择“ChatOllama”，并指定模型为“llama2”。
对话内存：这使聊天机器人能够保留聊天历史，有助于后续问题。我们将使用“ConversationBufferMemory”。
对话检索链：将 LLM、内存和检索到的文本等组件连接起来生成响应。我们选择“ConversationRetrievalChain”。

将所有这些组件拖放到画布上，并设置必要的字段，如 PDF 文件路径和 LLM 模型名称。其他设置可以保持默认。

接下来，将这些组件连接起来形成你的流程。

一旦所有组件都连接好，点击右下角的“闪电”按钮编译流程。如果一切顺利，按钮将变为绿色，表示成功。

成功编译流程后，点击“聊天机器人”图标来测试你的创作。

Langflow 聊天机器人演示。作者提供图片。

一些提示：

完成流程后，你可以将其保存为 JSON 文件，或在“我的收藏”中找到它，以便将来访问或编辑。
通过使用预建示例深入 LangFlow 可以提供很好的灵感并帮助你入门。你可以：
- 在“LangFlow Store”中找到示例，但需要 API 密钥才能访问。
- 访问 LangFlow GitHub 页面下载示例，然后使用 UI 上的“上传”按钮将它们上传到 LangFlow。
如果本地设置不适合你，你也可以选择使用 OpenAI 构建 RAG 管道。只需确保你有设置所需的 OpenAI API 密钥。

将流程转化为Streamlit聊天机器人

如果流程设置正确，现在是将其集成到应用程序中的时候了。在构建流程后，LangFlow提供了必要的代码片段，只需点击侧边栏中的“代码”按钮。

让我们继续将此流程集成到Streamlit聊天机器人中。

设置依赖项：首先，我们需要安装依赖项。

在这里插入图片描述

获取Lang Flow代码片段：创建一个新的Python文件“app.py”。返回LangFlow UI，再次找到“代码”按钮。导航到“Python API”标签，复制代码片段并粘贴到“app.py”中。

在这里插入图片描述

构建聊天功能：在同一个Python文件中，我们将定义一个专门用于聊天的函数。此函数在接收到用户的新查询时运行流程以获取响应，然后在界面上流式传输该响应。

在这里插入图片描述

创建界面：现在，我们将在同一个Python文件中构建一个简单的Streamlit用户界面。

在这里插入图片描述

运行Streamlit应用后，您就可以与自己的食谱规划师聊天了！它将帮助您创建美味健康的餐点。

Streamlit应用演示。图片由作者提供。

提示：

可以使用相同的代码和界面来测试和集成不同的流程。只需将FLOW_ID更改为要测试和集成的新流程即可。

结束语

在这篇文章中，我们创建了一个基于RAG的智能聊天机器人。我们利用LangFlow无需编码就建立了RAG管道，借助开源模型进行嵌入和LLM处理，使应用程序能在本地运行，无需推理成本。最后，我们将这个设置转化为一个Streamlit应用程序。

我特别欣赏LangFlow的无代码方式，相信它可能会改变我们构建和原型设计AI应用的方式。

然而，值得注意的是，某些组件仍在开发中，有时可能无法按预期工作。当遇到这些问题时，缺乏问题的可见性或故障排除指导。另一个改进之处可能是直接提供底层Python代码，以提供更大的定制空间。

总的来说，我认为LangFlow对于快速原型设计需求是一个有价值的工具。

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

在这里插入图片描述

二、AI大模型视频教程

在这里插入图片描述

三、AI大模型各大学习书籍

在这里插入图片描述

四、AI大模型各大场景实战案例

在这里插入图片描述

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。