MacOS下使用Ollama本地构建DeepSeek并使用本地Dify构建AI应用

目录

  • 1 大白话说一下文章内容
  • 2 作者的电脑配置
  • 3 DeepSeek的本地部署
    • 3.1 Ollamal的下载和安装
    • 3.2 选择合适的deepseek模型
    • 3.3 安转deepseek
  • 4 Dify+DeepSeek构建Al应用
    • 4.1 Dify的安装
      • 4.1.1 前置条件
      • 4.1.2 拉取代码
      • 4.1.3 启动Dify
    • 4.2 Dify控制页面
    • 4.3 使用Dify实现个“文章标题生成器”应用
    • 4.4 “探索”模块404处理
  • 5 增语

1 大白话说一下文章内容

本篇文章基于Ollamal搭建本地DeepSeek，Ollamal是一个可以构建大模型的工具，Ollamal也提供了很多模型。
本地部署了Dify，使用Dify做了个简单的AI应用，Dify是一个大模型应用构建工具，可以快速搭建和部署生成式Al应用程序。
内容里也记录了作者本人踩的很多坑！！供大家避雷！！！

2 作者的电脑配置

在这里插入图片描述
基于下面版本的大模型，本地跑了几个测试，微微热，电脑CPU 50%左右

3 DeepSeek的本地部署

Ollamal是一个开源框架，作用是在本地机器上便捷部署和运行大型语言模型(LLM)。

3.1 Ollamal的下载和安装

访问https://ollama.com/进入Ollama官网下载Ollama,要选择下载对应的操作系统版本即可
在这里插入图片描述
我的是mac版本的，下载好了傻瓜式安装后就是这样
在这里插入图片描述
因为我不安装llama模型，所以先不执行，直接关闭。

3.2 选择合适的deepseek模型

进入https://ollama.com中，选择Deepseek-r1（ps：或者你喜欢其他模型你也可以选择其他模型）
在这里插入图片描述
根据自己电脑的硬件配置来选择模型大小，我这里选择的是deepseek-r1的7b，点击它！（ps：这里的b代表了10亿，表示大模型下的一个神经元就有7*10亿的参数）
在这里插入图片描述

3.3 安转deepseek

复制安装命令如下，回到命令提示符窗口，将复制的命令粘贴到命令提示符窗口中并按回车键即可下载模型

ollama run deepseek-r1:7b

在这里插入图片描述
静静等待拉取结束，然后你就可以问他问题啦！

下面命令是启动命令，如果你部署了其他模型，模型名称是你部署的模型的名称

ollama run 模型名称

在这里插入图片描述

下面命令是关闭大模型

/bye

在这里插入图片描述

到这你就有个本地的大模型啦！（eg：我的电脑配置跑这个模型难一点的问题会稍稍热，不过也能带动。）

4 Dify+DeepSeek构建Al应用

Didy是一个开源的大语言模型(Large Language Model,LLM)应用开发平台。它融合了后端即服务(Backend as a Service,BaaS)和LLMOps的理念，旨在帮助开发者，甚至是非技术人员，能够快速搭建和部署生成式Al应用程序。
Dify内置了构建LLM应用所需的关键技术栈，包括对数百个模型的支持、直观的Prompt编排界面、高质量的RAG引擎、稳健的Agent框架、灵活的流程编排，并同时提供了一套易用的界面。
更细节的功能可以参考：Dify官网
在这里插入图片描述

4.1 Dify的安装

4.1.1 前置条件

  1. 确保你的电脑上有docker和docker-compose，因为dift是用docker-compose启动的
  2. 计算机要求：CPU >= 2 Core CPU = 2核心 RAM >= 4 GiB RAM>= 4 GiB

4.1.2 拉取代码

github地址：dify

拉取代码到本地：

git clone https://github.com/langgenius/dify.git

下载下来的文件就长下面的样子
在这里插入图片描述

4.1.3 启动Dify

执行指令：

cd dify
cd docker
cp .env.example .env

在这里插入图片描述

这里建议你本地部署切到1.0.0-beta.1这个tag下，因为新版的包的镜像好多都很难拉下来

切换到tag1.0.0-beta.1，执行指令：

git checkout 1.0.0-beta.1

在这里插入图片描述

执行下面指令启动dify

docker compose up -d

可能会遇到镜像拉不下来的错误
在这里插入图片描述
你看见这种超时的报错：Error response from daemon: Get “https://registry-1.docker.io/v2/”: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)
或者是握手超时的报错（ps：没那条报错记录了）
或者是这种错误：Error response from daemon: Get “https://registry-1.docker.io/v2/”: context deadline exceeded

你就再次尝试！！！频繁尝试！！有志者事竟成！！
在这里插入图片描述
终于在我不懈的努力下，都拉取成功，最终成功的样子会展示成这样！都是对号✅！如果不是，请继续执行 docker compose up -d
在这里插入图片描述
如果你部署其他版本的dify，很容易出现某个镜像拉不下来的原因，我是基于下面这个docker镜像库拉取的，你也可以尝试一下！

修改daemon.json文件，配置镜像库：

sudo vim /etc/docker/daemon.json

{
    "registry-mirrors": [
        "https://docker.1panel.live",
        "https://docker.nju.edu.cn",
        "https://docker.m.daocloud.io",
        "https://dockerproxy.com",
        "https://hub-mirror.c.163.com",
        "https://docker.mirrors.ustc.edu.cn",
        "https://registry.docker-cn.com",
        "https://registry.cn-hangzhou.aliyuncs.com"
    ]
}

配置完了docker仓库要记得重启！

4.2 Dify控制页面

dify部署成功了，登录dify的首页看一下,浏览器访问：http://localhost/install
设置管理员账号、密码、邮箱信息，这个账户是最大权限的账户！！
在这里插入图片描述
设置后会跳到
在这里插入图片描述
登录后就到了管理界面了，因为我自己调试了dify，增加了几个应用，所以展示如下，首次登录只有创建应用
在这里插入图片描述
配置上文中本地搭建好的deepseek-r1 7b大模型，右上角的设置
在这里插入图片描述
选择ollama点击安装，因为我已经安装了，所以展示个通义千文的
在这里插入图片描述
安装后会让你配模型，配置如下，你可以自我调整
在这里插入图片描述
这里有个两个坑：

  1. 上面的模型名称一定要和你下载的模型名称一模一样，就是在ollama中下载的模型名称
  2. 基础url配置有两种配置方式
    配置一：http://host.docker.internal:11434/
    11434是ollama默认端口，ollama运行在宿主机上，dify运行在docker容器中，网络不通，这里这样配置可以使docker能访问到ollama
    配置二：终端输入launchctl setenv OLLAMA_HOST "0.0.0.0"，重启ollama
    将ollama的环境变量设置值 “0.0.0.0”，它允许从同一台机器上的不同网络接口访问服务

有的大模型不支持高级配置，我这里又装了个大模型，配置如下，自行拉取
在这里插入图片描述

配置好大模型的dify应该是这样的，忽略这个图片坏了。。。
在这里插入图片描述
到此dify就和deepseek整合了，接下来看看dify怎么使用deepseek

4.3 使用Dify实现个“文章标题生成器”应用

创建个空白的应用：
在这里插入图片描述
根据需求创建应用，因为我想实现个“文章标题生成器”，那么我这里就选择，文本生成应用
在这里插入图片描述
首次登录需要配置一下大模型，按照引导配就行了，也可以在右上角切换大模型
在这里插入图片描述
我这个应用就是想根据关键字和话题生成少于规定字数的几个标题

该应用配置如下：
可以声明变量，变量结合提示词会一起执行
在这里插入图片描述

因为设置了变量，运行之前需要填一些内容
在这里插入图片描述
返回结果如上，因为这里接入的是R1的推理模型，所以还会返回推理过程，如果这里想只返回内容可以接入指令模型！！！

最后介绍一下发布这个模块
在这里插入图片描述
这个更新会保存你的内容到数据库中，下次打开会保留你的设置

介绍一下嵌入网站，它可以生成代码嵌入到你的前端页面，也可以作为Chrome浏览器扩展应用使用
在这里插入图片描述

也可以调用api的方式获取到该dify的运行结果、日志等
点击访问API，会弹出对应的应用的api调用方式，可以基于自己的应用去调用，api中涉及的API密钥在右上角
在这里插入图片描述

4.4 “探索”模块404处理

点击中上方的“探索”展示404！！！404是啥啊？？找不到页面呗！！

配置一下nginx，进入到dify的文件夹下，我的地址路径是这样的：

cd /Users/liuyang/AI本地搭建/dify/docker/nginx/conf.d

修改vim default.conf.template文件：

vim default.conf.template

增加配置：

location /explore {
  proxy_pass http://web:3000;  # 确保请求路由到 web 服务
  include proxy.conf;
}

在这里插入图片描述
然后重启nginx容器就可以啦！！！

执行命令：

docker restart docker-nginx-1

在这里插入图片描述
等待重启好了，再去访问“探索”模块
在这里插入图片描述
这里展示的都是英文，在设置设置成简体中文再切回来就变成中文啦！
在这里插入图片描述
再看一下！
在这里插入图片描述

很帅！！！！

5 增语

Dify还可以使用工具哦！！结合应用类型，再结合你的业务，可以实现很多AI功能，可以参考一下探索看看别人配的！！借鉴一下！！
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/973699.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

神经网络八股（三）

神经网络八股（三）

1.什么是梯度消失和梯度爆炸 梯度消失是指梯度在反向传播的过程中逐渐变小，最终趋近于零，这会导致靠前层的神经网络层权重参数更新缓慢，甚至不更新，学习不到有用的特征。 梯度爆炸是指梯度在方向传播过程中逐渐变大，…
阅读更多...
第3章 3.3日志 .NET Core日志 NLog使用教程

第3章 3.3日志 .NET Core日志 NLog使用教程

3.3.1 .NET Core日志基本使用 书中介绍了把日志输出到控制台的使用方式： 安装 Microsoft.Extensions.Logging 和 Microsoft.Extensions.Logging.Console 日志记录代码： using Microsoft.Extensions.DependencyInjection; using Microsoft.Extensions.…
阅读更多...
Springboot的jak安装与配置教程

Springboot的jak安装与配置教程

目录 Windows系统 macOS系统 Linux系统 Windows系统 下载JDK： 访问Oracle官网或其他JDK提供商网站，下载适合Windows系统的JDK版本。网站地址：Oracle 甲骨文中国 | 云应用和云平台点击进入下滑，点击进入下载根据自己的系统选择&…
阅读更多...
Vue2是如何利用Object.defineProperty实现数据的双向绑定？

Vue2是如何利用Object.defineProperty实现数据的双向绑定？

我们之前说道过Object.defineProperty方法有一关键特性，就是数据劫持，通过get/set 拦截属性的读取和修改操作。Vue主要是通过数据劫持结合发布-订阅模式来实现的，利用Object.defineProperty来劫持各个属性的setter和getter，在数据…
阅读更多...
Transformer解析——（四）Decoder

Transformer解析——（四）Decoder

本系列已完结，全部文章地址为： Transformer解析——（一）概述-CSDN博客 Transformer解析——（二）Attention注意力机制-CSDN博客 Transformer解析——（三）Encoder-CSDN博客 Transforme…
阅读更多...
Vue前端开发-Vant之Layout组件

Vue前端开发-Vant之Layout组件

在Vant 中，Layout组件用于元素的响应式布局，分别由van-row和van-col两个组件来实现，前者表示行，后者被包裹在van-row组件中，表示列，共有24列栅格组成，在van-col组件中，span属性表示所…
阅读更多...
【YOLOv8】损失函数

【YOLOv8】损失函数

学习视频： yolov8 | 损失函数 之 5、类别损失_哔哩哔哩_bilibili yolov8 | 损失函数 之 6、定位损失 CIoU DFL_哔哩哔哩_bilibili 2.13、yolov8损失函数_哔哩哔哩_bilibili YOLOv8 的损失函数由类别损失和定位损失构成 类别损失：BCE Loss 定位损失…
阅读更多...
Mac系统下使用Docker快速部署MaxKB：打造本地知识库问答系统

Mac系统下使用Docker快速部署MaxKB：打造本地知识库问答系统

随着大语言模型的广泛应用，知识库问答系统逐渐成为提升工作效率和个人学习的有力工具。MaxKB是一款基于LLM（Large Language Model）大语言模型的知识库问答系统，支持多模型对接、文档上传和自动爬取等功能。本文将详细介绍如何在Ma…
阅读更多...
(Arxiv-2025)ImageRAG：用于参考引导图像生成的动态图像检索

(Arxiv-2025)ImageRAG：用于参考引导图像生成的动态图像检索

ImageRAG：用于参考引导图像生成的动态图像检索 paper是Tel Aviv University发布在Arxiv 2025的工作 paper title:ImageRAG: Dynamic Image Retrieval for Reference-Guided Image Generation Code:链接 图 1：使用参考图像扩展图像生成模型的生成能力。 在…
阅读更多...
企业知识管理平台重构数字时代知识体系与智能服务网络

企业知识管理平台重构数字时代知识体系与智能服务网络

内容概要 现代企业知识管理平台的演进呈现出全生命周期管理与智能服务网络构建的双重特征。通过四库体系（知识采集库、加工库、应用库、评估库）的协同运作，该系统实现了从知识沉淀、结构化处理到价值释放的完整闭环。其中，知识图…
阅读更多...
高级推理的多样化推理与验证

高级推理的多样化推理与验证

25年2月来自波士顿大学、NotBadMath.AI、谷歌、哥伦比亚大学、MIT、Intuit公司和斯坦福大学的论文“Diverse Inference and Verification for Advanced Reasoning”。 OpenAI o1、o3 和 DeepSeek R1 等推理 LLM 在数学和编码方面取得重大进展，但仍发现 IMO 组合问题…
阅读更多...
23.1 WebBrowser控件

23.1 WebBrowser控件

版权声明：本文为博主原创文章，转载请在显著位置标明本文出处以及作者网名，未经作者允许不得用于商业目的。 WebBrowser控件类似于IE浏览器的文档界面（事实上IE也是使用的这个控件），它提供了显示网页及支持…
阅读更多...
Django-Vue 学习-VUE

Django-Vue 学习-VUE

主组件中有多个Vue组件 是指在Vue.js框架中，主组件是一个父组件，它包含了多个子组件（Vue组件）。这种组件嵌套的方式可以用于构建复杂的前端应用程序，通过拆分功能和视图，使代码更加模块化、可复用和易于维…
阅读更多...
计算机网络安全之一:网络安全概述

计算机网络安全之一:网络安全概述

1.1 网络安全的内涵 随着计算机和网络技术的迅猛发展和广泛普及，越来越多的企业将经营的各种业务建立在Internet/Intranet环境中。于是，支持E-mail、文件共享、即时消息传送的消息和协作服务器成为当今商业社会中的极重要的IT基础设施。然而&#xff0…
阅读更多...
AI学习指南DeepSeek篇(6)-DeepSeek论文介绍

AI学习指南DeepSeek篇(6)-DeepSeek论文介绍

1. DeepSeek LLM: Scaling Open-Source Language Models with Longtermism 发布时间： 2024 年 1 月 5 日 主要内容： 基于 Transformer 架构，采用分组查询注意力（GQA）优化推理成本。 支持多步学习率调度器，提升训练效率。 在预训练和对齐（监督微调与 DPO）方面进行了创新…
阅读更多...
刺客信条 枭雄 画质设置以及【锁帧60帧】的办法

刺客信条 枭雄 画质设置以及【锁帧60帧】的办法

刺客信条 枭雄 锁帧60帧的办法 画质设置帧率锁60帧办法 画质设置 关爱老电脑和GPU，适当设置一下画质 我们设置画面的时候，可以看游戏右上角的显存占用，进而观察自己这样设置，GPU的显存够不够： 环境质量：超…
阅读更多...
适用于复杂背景的YOLOv8改进：基于DCN的特征提取能力提升研究

适用于复杂背景的YOLOv8改进：基于DCN的特征提取能力提升研究

文章目录 1. YOLOv8的性能瓶颈与改进需求1.1 YOLOv8的优势与局限性1.2 可变形卷积（DCN）的优势 2. DCN在YOLOv8中的应用2.1 DCN的演变与YOLOv8的结合2.2 将DCN嵌入YOLOv8的结构中2.2.1 DCNv1在YOLOv8中的应用2.2.2 DCNv2与DCNv3的优化 2.3 实验与性能对比…
阅读更多...
cesium视频投影

cesium视频投影

先看效果 使用cesium做视频投影效果，而且还要跟随无人机移动而移动，我现在用定时器更新无人机的坐标来实现效果具体代码如下： 1、CesiumVideo3d.js(某个cesium技术群大佬分享的) // import ECEF from "./CoordinateTranslate"; le…
阅读更多...
滚珠花键在使用时需注意什么？

滚珠花键在使用时需注意什么？

滚珠花键是一种直线运动系统，当花键套利用其中的钢球在经过精密磨削的花键轴上直线运动时，可以传递扭矩。在使用滚珠花键时，需要注意以下几个重要的事项： 1、不要擅自拆卸滚珠花键的各部分，因为这样可能会导致异物进入…
阅读更多...
AI助力下的PPT革命：DeepSeek 与Kimi的高效创作实践

AI助力下的PPT革命：DeepSeek 与Kimi的高效创作实践

清华大学出品《DeepSeek：从入门到精通》分享 在忙碌的职场中，制作一份高质量的PPT往往需要投入大量时间和精力，尤其是在临近截止日期时。今天，我们将探索如何借助 AI 工具 —— DeepSeek 和 Kimi —— 让 PPT 制作变得既快捷又高…
阅读更多...
最新文章

Copyright @ 2022~2023