在开始安装之前,我们需要确保系统满足以下基本要求:
- CPU至少2核心
- 内存至少4GB(建议8GB以上)
- 硬盘空间至少20GB(为了后续扩展)
- 操作系统支持:Windows、macOS或Linux
- Docker环境
1. dify的安装步骤
MAC 本地搭建部署 dify(含 github访问超时+Docker镜像源拉取超时解决方案)-CSDN博客
2.deepseek-r1的部署
- macOS用户:使用Homebrew安装
brew install ollama
- 安装完成后,打开终端验证:
ollama -v
查看ollama版本出现提示:Warning: could not connect to a running Ollama instance,确保 Ollama 服务是否已启动
- 下载deepseek-r1模型:基础版本(推荐新手使用):
ollama run deepseek-r1:7b
高性能版本(需要较好的硬件配置):
ollama run deepseek-r1:14b
下载过程可能需要一段时间,取决于你的网络速度。7b版本大约需要4.7GB空间,14b版本需要约9GB空间。
下载deepseek-r1模型出现提示Error: could not connect to ollama app, is it running?则表示没允许,需要运行,手动启动:
ollama serve
首先按照以下步骤将此模型拉取到本地磁盘:下载deepseek-r1模型:基础版本安装中(如下图)
安装完成如下图:
在Dify中添加模型DeepSeek R1
在「模型名称」中填:deepseek-r1:7b。 在「基础URL中」,如果ollama和Dify是同机部署,并且Dify是通过Docker部署,那么填 http://host.docker.internal:11434, 其他情况填 http://ollama 的地址:11434, 填完之后点击保存即可。
Embedding模型部署
建议先了解Embedding工作原理
【大模型开发】 一文搞懂Embedding工作原理_embedding原理-CSDN博客
TextEmbedding(文本嵌入)、ImageEmbedding(图像嵌入)和VedioEmbedding(视频嵌入)
shaw/dmeta-embedding-zh
shaw/dmeta-embedding-zh
是一个只有 400M 参数的中文嵌入模型,适用于多种场景。它在 MTEB 基准测试中表现出色,特别适合语义检索、RAG 和其他 LLM 应用。
1.模型安装
首先将模型shaw/dmeta-embedding-zh
拉取到本地磁盘:
ollama pull shaw/dmeta-embedding-zh
2.在Dify中添加模型
在添加模型那里,点击「Text Embedding」,「模型名称」填:shaw/dmeta-embedding-zh,在「基础URL中」,如果ollama和Dify是同机部署,并且Dify是通过Docker部署,那么填http://host.docker.internal:11434, 其他情况填 http://ollama 的地址:11434,填完之后点击保存即可。
不知道为啥保存失败,提示Internal Server Error for url: http://host.docker.internal:11434/api/embed
bge-m3
1.模型简介
介于shaw/dmeta-embedding-zh配置失败,所以我去搜索了下“知识库 embedding 模型使用哪个比较好”,看到有博主推荐推荐大家使用 bge-m3 作为嵌入模型。参考文章:BGE-M3:一个能“三头六臂”的文本嵌入模型,让AI检索不再“偏科”_bge-m3 api-CSDN博客
1. BGE-M3(智源研究院)19
核心特性:
- 支持100+语言,输入长度达8192 tokens。(包括你的家乡话)
融合密集、稀疏、多向量混合检索(MTEB检索任务得分64.2)
1.密集检索 - 用[CLS]标记生成整体语义向量,适合“意会”型搜索
(比如搜“会飞的哺乳动物”能识别出蝙蝠):cite[1]:cite[3]
2.稀疏检索 - 给每个词语打重要性分数,专治“死磕关键词”场景
(比如搜“苹果新品发布会”绝不会出现水果摊广告):cite[6]:cite[7]
3.多向量检索 - 细粒度匹配每个词语的关系,堪比“显微镜级”分析
(能发现“猫追老鼠”和“老鼠被猫追”的微妙差异):cite[3]:cite[10]
- 训练数据包含1.2亿文本对与合成数据
1.模型安装
执行下面命令即可安装:
ollama pull bge-m3
2.在Dify中添加模型
在添加模型那里,点击「Text Embedding」,「模型名称」填:bge-m3 ,在「基础URL中」,如果ollama和Dify是同机部署,并且Dify是通过Docker部署,那么填http://host.docker.internal:11434, 其他情况填 http://ollama 的地址:11434,填完之后点击保存即可。
创建知识库
上传自己的文档,然后点击下一步:
在「索引方式」一栏中,选择推荐的「高质量」
Embedding模型选择刚才添加的bge-m3
在「检索设置」一栏中,选择「混合检索」,即同时执行全文检索和向量检索,并应用重排序步骤,从两类查询结果中选择匹配用户问题的最佳结果,用户可以选择设置权重或配置重新排序模型。然后点击「保存并处理」
创建完成之后,嵌入处理中:
处理完成,会显示「可用」的状态:
可以点击「召回测试」来测试一下知识库的检索效果