Milvus x DeepSeek 搭建低成本高精度 RAG 实战

为什么手握海量数据，却用不出真正的“智能”？要么 AI 模型学艺不精，答非所问；要么技术门槛太高，让普通开发者望而却步。现在，使用阿里云 Milvus 向量检索服务、DeepSeek 大模型和 PAI LangStudio 开发工具，只需像搭积木一样，将其进行简易拼接，就能轻松搭建一套‘能查会想’的 RAG 系统。接下来将基于阿里云的人工智能平台 PAI LangStudio，结合阿里云向量检索Milvus版的强大能力，并以 DeepSeek-R1-Distill 模型为例，为您详细介绍大模型 RAG 检索增强解决方案。当然如您需要更高配置的 DeepSeek R1 模型来满足使用需求，也可以复用以下技术链路来进行实现。

阿里云 Milvus+DeepSeek + PAI LangStudio 搭建智能问答助手，支持私域知识库和联网功能

Step 1: 创建阿里云 Milvus 实例的实例

可根据指引完成创建：快速创建Milvus实例_向量检索服务 Milvus 版(Milvus)-阿里云帮助中心

请注意，Milvus 实例和后续通过 PAI LangStudio 创建的 Embedding 服务、LLM 服务须在相同地域内。

Step 2 : 将 RAG 知识库上传至 OSS 中

本文针对金融、医疗场景提供以下示例语料：

金融新闻：数据为 PDF 格式，主要内容为公开新闻网站上的新闻报道。
疾病介绍：数据为 CSV 格式，主要内容为维基百科上的疾病介绍。

Step 3 ：部署 DeepSeek 模型和 Embedding 模型

1. 前往 PAI 控制台的快速开始 > ModelGallery，分别按场景选择大语言模型及 **Embedding **分类，并部署指定的模型。本文以 **DeepSeek-R1-Distill-Qwen-7B **和 bge-m3 通用向量模型为例进行部署。（链接：https://pai.console.aliyun.com/#/quick-start/models）

如果您想完整体验 DeepSeek 模型，请选择 DeepSeek-R1 或 DeepSeek-V3。

2. 前往任务管理，单击已部署的服务名称，在服务详情页签下单击查看调用信息，分别获取前面部署的 DeepSeek 大预言模型和 Embedding 模型服务的 VPC 访问地址和 Token，供后续创建连接时使用。（链接：阿里云登录 - 欢迎登录阿里云，安全稳定的云计算服务平台）

Step 4 ：创建连接

4.1 创建 LLM 服务连接

进入 LangStudio，选择工作空间后，在连接管理页签下单击新建连接。(链接：阿里云登录 - 欢迎登录阿里云，安全稳定的云计算服务平台)
创建通用 LLM 模型服务连接。单击EAS 服务，从弹出的抽屉中选择已部署的服务，会自动填充base_url和api_key。

4.2. 创建 Embedding 模型服务连接

同创建 LLM 服务连接，创建通用 Embedding 模型服务连接。其中 **base_url **和 **api_key **分别对应部署 DeepSeek 大语言模型和 Embedding 模型中 Embedding 模型的 VPC 访问地址和 Token。

4.3 创建向量数据库连接

同创建 LLM 服务连接，创建 Milvus 数据库连接。

关键参数说明：

uri：Milvus 实例的访问地址，格式为http://<Milvus内访问地址>。

您可以在阿里云Milvus控制台的 Milvus 实例的实例详情页面查看。例如，http://c-b1c5222fba****-internal.milvus.aliyuncs.com。

token：登录 Milvus 实例的用户名和密码，填写格式为<yourUsername>:<yourPassword>。
database：数据库名称，本文使用默认数据库default。

Step 5.：创建离线知识库

新建知识库索引，将语料经过解析、分块、向量化后存储到向量数据库，从而构建知识库。新建知识库索引详细配置请参见：https://help.aliyun.com/zh/pai/user-guide/knowledge-base-index-management。

Step 6：创建并运行RAG应用流

进入 LangStudio，选择工作空间后，在应用流页签下单击新建应用流，模板类型选择 RAG，创建 RAG 应用流。

2. 启动运行时：单击右上角启动运行时并进行配置。注意：在进行 Python 节点解析或查看更多工具时，需要保证运行时已启动。

注意专有网络配置：选择创建 Milvus 实例时的专有网络。

3. 开发应用流。应用流中的其余配置保持默认或根据实际需求进行配置，关键节点配置如下：

index_lookup：在知识库中检索与用户问题相关的文本。
- registered_index：配置为已创建的知识库索引。
- query：用户问题。
- top_k：返回 top_k 条匹配的数据。
generate_answer：使用过滤后的文档作为上下文，与用户问题一起发送给大语言模型，生成回答。
- connection：选择创建 LLM 服务连接中创建的连接。
- model：输入 default。connection也可选择的是百炼大模型服务连接。
- max_tokens：设置最大 token 数，本例设置为1000。

4. 调试/运行：单击右上角对话，开始执行应用流。

5. 查看链路：单击生成答案下的查看链路，查看 Trace 详情或拓扑视图。

Step 7：部署应用流

在应用流开发页面，单击右上角部署，部署参数其余配置保持默认或根据实际需求进行配置，关键参数配置如下：

资源部署信息 > 实例数：配置服务实例数。本文部署仅供测试使用，因此实例数配置为1。在生产阶段，建议配置多个服务实例，以降低单点故障的风险。
专有网络配置 > VPC：配置 Milvus 实例所在的专有网络。

更多部署详情，请参见https://help.aliyun.com/zh/pai/user-guide/application-flow-deployment。

Step 8：调用服务，进行对话

部署成功后，跳转到 PAI-EAS，在在线调试页签下配置并发送请求。请求参数中的 Key 与应用流中输入节点中的"Chat 输入"字段一致，本文使用默认字段question。输入以下内容。

{
    "question":"请根据最新的新闻报道，分析美国科技行业目前投资分管性如何，是否存在泡沫，给出是或否的具体回答"
}

更多调用方式（如API调用）及详细说明，请参见将应用流部署为EAS服务_人工智能平台 PAI(PAI)-阿里云帮助中心。

开启联网搜索

如果您希望使用 DeepSeek-R1模型，快速构建具备联网搜索与 RAG（检索增强生成）功能的智能应用流，可以参见 Chatbot with RAG and Web Search。（链接：Chatbot with RAG and Web Search_人工智能平台 PAI(PAI)-阿里云帮助中心）

立即体验

我们诚邀您立即体验阿里云向量检索服务 Milvus 版的强大功能！您只需登录阿里云账号，进入向量检索服务 Milvus 版产品控制台（阿里云登录 - 欢迎登录阿里云，安全稳定的云计算服务平台），即可创建阿里云 Milvus 实例，开箱即用。

此外，为回馈新老用户，阿里云 Milvus 推出了重大优惠：

向量检索服务 Milvus 版产品全部规格，年付通通5折！

阿里云向量检索服务 Milvus 版，将持续打磨产品，不断优化产品的功能、性能和使用体验，为用户提供更加专业、灵活、高效的向量搜索引擎服务，助力企业轻松应对海量非结构化数据管理挑战，实现业务价值最大化，欢迎大家体验！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/977722.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！