MAC 搭建Dify+DeepSeek-R1整合部署

在开始安装之前,我们需要确保系统满足以下基本要求:

  • CPU至少2核心
  • 内存至少4GB(建议8GB以上)
  • 硬盘空间至少20GB(为了后续扩展)
  • 操作系统支持:Windows、macOS或Linux
  • Docker环境

1. dify的安装步骤

MAC 本地搭建部署 dify(含 github访问超时+Docker镜像源拉取超时解决方案)-CSDN博客

2.deepseek-r1的部署

  • macOS用户:使用Homebrew安装
brew install ollama
  • 安装完成后,打开终端验证:
ollama -v

查看ollama版本出现提示:Warning: could not connect to a running Ollama instance,确保 Ollama 服务是否已启动

  • 下载deepseek-r1模型:基础版本(推荐新手使用):
    ollama run deepseek-r1:7b

    高性能版本(需要较好的硬件配置):

    ollama run deepseek-r1:14b

    下载过程可能需要一段时间,取决于你的网络速度。7b版本大约需要4.7GB空间,14b版本需要约9GB空间。

下载deepseek-r1模型出现提示Error: could not connect to ollama app, is it running?则表示没允许,需要运行,手动启动:

ollama serve

首先按照以下步骤将此模型拉取到本地磁盘:下载deepseek-r1模型:基础版本安装中(如下图)

安装完成如下图:

 

 在Dify中添加模型DeepSeek R1

在「模型名称」中填:deepseek-r1:7b。 在「基础URL中」,如果ollama和Dify是同机部署,并且Dify是通过Docker部署,那么填 http://host.docker.internal:11434, 其他情况填 http://ollama 的地址:11434, 填完之后点击保存即可。

Embedding模型部署

建议先了解Embedding工作原理

【大模型开发】 一文搞懂Embedding工作原理_embedding原理-CSDN博客

TextEmbedding(文本嵌入)、ImageEmbedding(图像嵌入)和VedioEmbedding(视频嵌入)

shaw/dmeta-embedding-zh

shaw/dmeta-embedding-zh 是一个只有 400M 参数的中文嵌入模型,适用于多种场景。它在 MTEB 基准测试中表现出色,特别适合语义检索、RAG 和其他 LLM 应用。

1.模型安装

首先将模型shaw/dmeta-embedding-zh拉取到本地磁盘:

ollama pull shaw/dmeta-embedding-zh

2.在Dify中添加模型

        在添加模型那里,点击「Text Embedding」,「模型名称」填:shaw/dmeta-embedding-zh,在「基础URL中」,如果ollama和Dify是同机部署,并且Dify是通过Docker部署,那么填http://host.docker.internal:11434, 其他情况填 http://ollama 的地址:11434,填完之后点击保存即可。

不知道为啥保存失败,提示Internal Server Error for url: http://host.docker.internal:11434/api/embed

bge-m3 

1.模型简介

介于shaw/dmeta-embedding-zh配置失败,所以我去搜索了下“知识库 embedding 模型使用哪个比较好”,看到有博主推荐推荐大家使用 bge-m3 作为嵌入模型。参考文章:BGE-M3:一个能“三头六臂”的文本嵌入模型,让AI检索不再“偏科”_bge-m3 api-CSDN博客

1. BGE-M3(智源研究院)19

核心特性

  • 支持100+语言,输入长度达8192 tokens。(包括你的家乡话)
  • 融合密集、稀疏、多向量混合检索(MTEB检索任务得分64.2)

                1.密集检索 - 用[CLS]标记生成整体语义向量,适合“意会”型搜索

                (比如搜“会飞的哺乳动物”能识别出蝙蝠):cite[1]:cite[3]
                2.稀疏检索 - 给每个词语打重要性分数,专治“死磕关键词”场景
                (比如搜“苹果新品发布会”绝不会出现水果摊广告):cite[6]:cite[7]
                3.多向量检索 - 细粒度匹配每个词语的关系,堪比“显微镜级”分析
                (能发现“猫追老鼠”和“老鼠被猫追”的微妙差异):cite[3]:cite[10]

  • 训练数据包含1.2亿文本对与合成数据

1.模型安装

执行下面命令即可安装:

ollama pull bge-m3

2.在Dify中添加模型

          在添加模型那里,点击「Text Embedding」,「模型名称」填:bge-m3 ,在「基础URL中」,如果ollama和Dify是同机部署,并且Dify是通过Docker部署,那么填http://host.docker.internal:11434, 其他情况填 http://ollama 的地址:11434,填完之后点击保存即可。

创建知识库

上传自己的文档,然后点击下一步:

在「索引方式」一栏中,选择推荐的「高质量」

Embedding模型选择刚才添加的bge-m3

在「检索设置」一栏中,选择「混合检索」,即同时执行全文检索和向量检索,并应用重排序步骤,从两类查询结果中选择匹配用户问题的最佳结果,用户可以选择设置权重或配置重新排序模型。然后点击「保存并处理」

创建完成之后,嵌入处理中:

处理完成,会显示「可用」的状态:

可以点击「召回测试」来测试一下知识库的检索效果

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/984373.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

OpenManus介绍及本地部署体验

1.OpenManus介绍 OpenManus,由 MetaGPT 团队精心打造的开源项目,于2025年3月发布。它致力于模仿并改进 Manus 这一封闭式商业 AI Agent 的核心功能,为用户提供无需邀请码、可本地化部署的智能体解决方案。换句话说,OpenManus 就像…

springboot011基于springboot的课程作业管理系统(源码+包运行+LW+技术指导)

项目描述 临近学期结束,还是毕业设计,你还在做java程序网络编程,期末作业,老师的作业要求觉得难了吗?不知道毕业设计该怎么办?网页功能的数量是否太多?没有合适的类型或系统?等等,你想解决的问题,今天…

swift -(5) 汇编分析结构体、类的内存布局

一、结构体 在 Swift 标准库中,绝大多数的公开类型都是结构体,而枚举和类只占很小一部分 比如Bool、 Int、 Double、 String、 Array、 Dictionary等常见类型都是结构体 ① struct Date { ② var year: Int ③ var month: Int ④ …

全域网络安全防御 健全网络安全防护体系

网络安全基本概念 网络安全(Cyber Security)是指网络系统的硬件、软件及其系统中的数据受到保护,不因偶然的或者恶意的原因而遭受到破坏、更改、泄露,系统连续可靠正常地运行,网络服务不中断,使网络处于稳…

记录小白使用 Cursor 开发第一个微信小程序(二):创建项目、编译、预览、发布(250308)

文章目录 记录小白使用 Cursor 开发第一个微信小程序(二):创建项目、编译、预览、发布(250308)一、创建项目1.1 生成提示词1.2 生成代码 二、编译预览2.1 导入项目2.2 编译预览 三、发布3.1 在微信开发者工具进行上传3…

uploadlabs通关思路

目录 靶场准备 复现 pass-01 代码审计 执行逻辑 文件上传 方法一:直接修改或删除js脚本 方法二:修改文件后缀 pass-02 代码审计 文件上传 1. 思路 2. 实操 pass-03 代码审计 过程: 文件上传 pass-04 代码审计 文件上传 p…

CTFHub-FastCGI协议/Redis协议

将木马进行base64编码 <?php eval($_GET[cmd]);?> 打开kali虚拟机&#xff0c;使用虚拟机中Gopherus-master工具 Gopherus-master工具安装 git clone https://github.com/tarunkant/Gopherus.git 进入工具目录 cd Gopherus 使用工具 python2 "位置" --expl…

前端 | 向后端传数据,判断问题所在的调试过程

目录 ​编辑 1. 在 vue 文件中&#xff0c;在调用函数之前 先打印传入的数据 2. 在 js 文件中&#xff0c;打印接收到的数据 3. 在浏览器 Network 面板查看请求数据 4. 在 server.js 中查看请求数据 5. 确保 JSON 格式正确 知识点&#xff1a;JSON.stringify(req.body, …

STL之list的使用(超详解)

目录 一、list的介绍及使用 1.1 list的介绍 1.2 list的使用 1.2.1 list的构造 1.2.2 iterator的使用 1.2.3capacity&#xff08;容量相关&#xff09; 1.2.4 element access&#xff08;元素访问&#xff09; 1.2.5 modifiers&#xff08;链表修改&#xff09;…

在【k8s】中部署Jenkins的实践指南

&#x1f407;明明跟你说过&#xff1a;个人主页 &#x1f3c5;个人专栏&#xff1a;《Kubernetes航线图&#xff1a;从船长到K8s掌舵者》 &#x1f3c5; &#x1f516;行路有良友&#xff0c;便是天堂&#x1f516; 目录 一、引言 1、Jenkins简介 2、k8s简介 3、什么在…

Ae 效果详解:VR 发光

Ae菜单&#xff1a;效果/沉浸式视频/VR 发光 Immersive Video/VR Glow VR 发光 VR Glow效果用于在 VR 视频中创建光晕效果&#xff0c;并针对等距柱状投影&#xff08;Equirectangular&#xff09;进行优化&#xff0c;以确保全景画面中的光晕均匀分布&#xff0c;不受画面边缘…

猫耳大型活动提效——组件低代码化

1. 引言 猫耳前端在开发活动的过程中&#xff0c;经历过传统的 pro code 阶段&#xff0c;即活动页面完全由前端开发编码实现&#xff0c;直到 2020 年接入公司内部的低代码活动平台&#xff0c;满足了大部分日常活动的需求&#xff0c;运营可自主配置活动并上线&#xff0c;释…

ESP8266UDP透传

1. 配置 WiFi 模式 ATCWMODE3 // softAPstation mode 响应 : OK 2. PC 连⼊入 ESP8266 softAP 就是连接wifi 3.查询ESP8266设备的IP地址 ATCIFSR 响应: CIFSR: APIP, "192.168.4.1" CIFSR: APMAC, "1a: fe: 34: a5:8d: c6" CIFSR: STAIP, "192.…

【仿muduo库one thread one loop式并发服务器实现】

文章目录 一、项目介绍1-1、项目总体简介1-2、项目开发环境1-3、项目核心技术1-4、项目开发流程1-5、项目如何使用 二、框架设计2-1、功能模块划分2-1-1、SERVER模块2-1-2、协议模块 2-2、项目蓝图2-2-1、整体图2-2-2、模块关系图2-2-2-1、Connection 模块关系图2-2-2-2、Accep…

私有云基础架构与运维(二)

二.私有云基础架构 【项目概述】 经过云计算基础知识及核心技术的学习后&#xff0c;希望进一步了解 IT 基础架构的演变过 程&#xff0c;通过学习传统架构、集群架构以及私有云基础架构的相关知识&#xff0c;认识企业从传统 IT 基 础架构到私有云基础架构转型的必要性。…

DeepSeek R1-32B医疗大模型的完整微调实战分析(全码版)

DeepSeek R1-32B微调实战指南 ├── 1. 环境准备 │ ├── 1.1 硬件配置 │ │ ├─ 全参数微调:4*A100 80GB │ │ └─ LoRA微调:单卡24GB │ ├── 1.2 软件依赖 │ │ ├─ PyTorch 2.1.2+CUDA │ │ └─ Unsloth/ColossalAI │ └── 1.3 模…

vue3 vite项目安装eslint

npm install eslint -D 安装eslint库 npx eslint --init 初始化配置&#xff0c;按项目实际情况选 自动生成eslint.config.js&#xff0c;可以添加自定义rules 安装ESLint插件 此时打开vue文件就会标红有问题的位置 安装prettier npm install prettier eslint-config-pr…

【五.LangChain技术与应用】【10.LangChain ChatPromptTemplate(下):复杂场景下的应用】

凌晨两点的西二旗,你盯着监控大屏上跳动的错误日志,智能客服系统在流量洪峰中像纸船一样摇晃。用户骂声塞满弹窗:“等了十分钟就这?”“刚才说的怎么不认了?”“我要人工!!”——这时候你需要的不只是ChatPromptTemplate,而是给对话系统装上航天级操控台。 一、模板组…

javascrip网页设计案例,SuperSlide+bootstrap+html经典组合

概述 JavaScript作为一种强大的脚本语言&#xff0c;在网页设计领域发挥着举足轻重的作用&#xff0c;能够为网页赋予丰富的交互性与动态功能。以下通过具体案例来深入理解其应用。​ 假设要打造一个旅游网站&#xff0c;该网站具备诸多实用功能。在响应式设计方面&#xff0…

python量化交易——金融数据管理最佳实践——使用qteasy大批量自动拉取金融数据

文章目录 使用数据获取渠道自动填充数据QTEASY数据拉取功能数据拉取接口refill_data_source()数据拉取API的功能特性多渠道拉取数据实现下载流量控制实现错误重试日志记录其他功能 qteasy是一个功能全面且易用的量化交易策略框架&#xff0c; Github地址在这里。使用它&#x…