DeepSeek-R1本地化部署(Mac)

一、下载 Ollama

本地化部署需要用到 Ollama,它能支持很多大模型。官方网站:https://ollama.com/

点击 Download 即可,支持macOS,Linux 和 Windows;我下载的是 mac 版本,要求macOS 11 Big Sur or later,Ollama是跳转到github去下载的,如果下载不了可能要借助科学上网。

下载的是个压缩包,直接双击就可以解压出Ollama.app,点击运行即可安装

安装成功之后,ollama会在后台运行,启动命令行,输入ollama

出现以上页面即表示安装成功

二、下载DeepSeek-R1

还是进入ollama.com的页面,点击Models

下载deepseek-r1,

deepseek-r1有很多个版本,1.5b,7b,8b,14b,32b,70b,671b,分别代表模型不同的参数数量。

  • B = Billion(十亿参数):表示模型的参数量级,直接影响计算复杂度和显存占用。
    • DeepSeek 1.5B:15亿参数(小型模型,适合轻量级任务)
    • DeepSeek 7B:70亿参数(主流规模,平衡性能与资源)
    • DeepSeek 70B:700亿参数(高性能需求场景)
    • DeepSeek 671B:6710亿参数(超大规模,对标PaLM/GPT-4)

每个版本对应所需的内存大小都不一样,如果你电脑运行内存为8G那可以下载1.5b,7b,8b的蒸馏后的模型;如果你电脑运行内存为16G那可以下载14b的蒸馏后的模型,我这里选择14b的模型。

使用ollama run deepseek-r1:14b 进行下载,在命令行里面输入:

ollama run deepseek-r1:14b

使用ollama list 查看是否成功下载了模型

输入ollama run deepseek-r1:14b运行模型,启动成功后,就可以输入我们想问的问题,模型首先会进行深度思考(也就是think标签包含的地方),思考结束后会反馈我们问题的结果。在>>>之后输入想要咨询的 问题,模型回答的速度取决电脑的性能。

使用快捷键Ctrl + d 或者在>>>之后输入 /bye即可退出对话模式。

## 删除模型
ollama rm deepseek-r1:14b
## 停止模型
ollama stop deepseek-r1:14b

三、web页面的访问

我们通过ollama下载模型后,可以在命令行使用deepseek了,但是命令行的形式还是有些不友好,我们可以借助chatBox,或者Open-WebUI,只要接入ollama的Api就可以使用了。

1、Open-WebUI

Open WebUI是一个可扩展、功能丰富、用户友好的自托管AI平台,旨在完全离线运行。它支持各种LLM运行程序,如Ollama和OpenAI兼容的API,内置RAG推理引擎,使其成为一个强大的AI部署解决方案,本地需要安装Python3(版本3.11~3.13以下)。

安装 Open-WebUI需要使用pip进行安装,安装需要一定时间

pip install open-webui
### 如网络太差,可以使用国内的镜像下载
pip install open-webui -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

如果 pip 版本较低,可以更新下

python3 -m pip install --upgrade pip

使用如下命令启动open-webui服务,启动需要一定时间

open-webui serve

后使用浏览器输入http://127.0.0.1:8080/登录服务,注意端口的占用冲突,页面如下:

点击开始使用,第一次使用需要注册用户名、邮件以及密码,这都是存在本地的,可以放心填写。

注册完毕后,如果本地已经运行了deepseek-r1,它可以自动识别本地已经安装的deepseek r1大模型,

在对话框里面输入内容,即可与deepseek-r1展开对话

2、ChatBox

Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。

我这里下载的mac版本,成功安装启动后,点击左下角的设置

模型提供方选择Ollama API

模型选择本地部署好的deepseek-r1:14b,点击保存,即可以开始对话

最后:蒸馏模型不同规格的选择,需要结合自己电脑的配置来选择,不合适的模型会导致电脑过载,对话回答的速度和效果问题都会很差。我电脑内存16GB,以为14b能扛得住,结果安装之后,对话巨慢!后面安装了8b,运行起来速度就快多了,但是通过页面的返回速度会变慢。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/984031.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

tp8 + easywechat6.17 token 验证失败

按照文档死活不行: 调整为以下就成功了(return也是失败):

C++:入门详解(关于C与C++基本差别)

目录 一.C的第一个程序 二.命名空间(namespace) 1.命名空间的定义与使用: (1)命名空间里可以定义变量,函数,结构体等多种类型 (2)命名空间调用(&#xf…

Redis 数据持久化之AOF

AOF(Append Only File) 以日志的形式来记录每个写操作,将Redis执行过的所有写指令记录下来(读操作不记录),只许追加文件但不可以改写文件,redis启动之初会读取该文件重新构建数据,换…

网格图学习(附题单与做题思路)

文章目录 一、DFS 经典题型695. 岛屿的最大面积 二、BFS 经典题型994. 腐烂的橘子**算法选择对照表** 一、DFS 经典题型 岛屿的最大面积 LeetCode 695描述:求网格中最大的陆地连通区域面积解题:DFS 遍历所有相邻陆地,标记已访问关键点&#…

开发者社区测试报告(功能测试+性能测试)

功能测试 测试相关用例 开发者社区功能背景 在当今数字化时代,编程已经成为一项核心技能,越来越多的人开始学习编程,以适应快速变化的科技 环境。基于这一需求,我设计开发了一个类似博客的论坛系统,专注于方便程序员…

pyecharts 中设置 ​Map 图表的宽高

在 pyecharts 中设置 ​Map 图表的宽高,需要通过 InitOpts 初始化参数实现。以下是具体方法: 🎯 完整代码示例 from pyecharts import options as opts from pyecharts.charts import Map# 创建地图时设置宽高 map_chart (Map(init_optsopt…

FPGA|Verilog-SPI驱动

最近准备蓝桥杯FPGA的竞赛,因为感觉官方出的IIC的驱动代码思路非常好,写的内容非常有逻辑并且规范。也想学习一下SPI的协议,所以准备自己照着写一下。直到我打开他们给出的SPI底层驱动,我整个人傻眼了,我只能说&#x…

python语言总结(持续更新)

本文主要是总结各函数,简单的函数不会给予示例,如果在平日遇到一些新类型将会添加 基础知识 输入与输出 print([要输出的内容])输出函数 input([提示内容]如果输入提示内容会在交互界面显示,用以提示用户)输入函数 注释 # 单行注释符&…

NO.26十六届蓝桥杯备战|字符数组七道练习|islower|isupper|tolower|toupper|strstr(C++)

P5733 【深基6.例1】自动修正 - 洛谷 小写字母 - 32 大写字母 大写字母 32 小写字母 #include <bits/stdc.h> using namespace std;const int N 110; char a[N] { 0 };int main() {ios::sync_with_stdio(false);cin.tie(nullptr);cin >> a;int i 0;while (a…

笔记四:C语言中的文件和文件操作

Faye&#xff1a;只要有正确的伴奏&#xff0c;什么都能变成好旋律。 ---------《寻找天堂》 目录 一、文件介绍 1.1程序文件 1.2 数据文件 1.3 文件名 二、文件的打开和关闭 2.1 文件指针 2.2.文件的打开和关闭 2.3 文件读取结束的判定 三、 文件的顺序读写 3.1 顺序读写…

DeepSeek进阶应用(一):结合Mermaid绘图(流程图、时序图、类图、状态图、甘特图、饼图)

&#x1f31f;前言: 在软件开发、项目管理和系统设计等领域&#xff0c;图表是表达复杂信息的有效工具。随着AI助手如DeepSeek的普及&#xff0c;我们现在可以更轻松地创建各种专业图表。 名人说&#xff1a;博观而约取&#xff0c;厚积而薄发。——苏轼《稼说送张琥》 创作者&…

【OneAPI】网页截图API-V2

API简介 生成指定URL的网页截图或缩略图。 旧版本请参考&#xff1a;网页截图 V2版本新增全屏截图、带壳截图等功能&#xff0c;并修复了一些已知问题。 全屏截图&#xff1a; 支持全屏截图&#xff0c;通过设置fullscreentrue来支持全屏截图。全屏模式下&#xff0c;系统…

基于SpringBoot的餐厅点餐管理系统设计与实现(源码+SQL脚本+LW+部署讲解等)

专注于大学生项目实战开发,讲解,毕业答疑辅导&#xff0c;欢迎高校老师/同行前辈交流合作✌。 技术范围&#xff1a;SpringBoot、Vue、SSM、HLMT、小程序、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、安卓app、大数据、物联网、机器学习等设计与开发。 主要内容&#xff1a;…

Windows Server 2022:赋能未来,打造智能高效的企业数字基座---免费下载

免费下载地址 Windows Server 2022&#xff1a;赋能未来&#xff0c;打造智能高效的企业数字基座‌ 在数字化转型的浪潮中&#xff0c;企业需要更安全、更灵活、更智能的基础设施支撑。‌Windows Server 2022‌作为微软新一代服务器操作系统&#xff0c;以革新性的技术架构和行…

支持向量简要理解

决策方程符合感知机区分理论&#xff0c;我们基于线性代数来看这满足子空间理论&#xff0c;可以获取得到超平面。 支持向量机的目标是寻找最与超平面最近的点的最大距离&#xff0c;而距离计算如上&#xff0c;符合数学上计算点到线&#xff08;面&#xff09;的距离公式。 …

USB2.0 学习(1)字段和包

目录 1 字段 1.1 包识别字段PID 1.2 地址字段 1.3帧号字段 1.4 数据字段 1.5 CRC字段 2 包 2.1令牌包 2.2帧起始包 2.3数据包 2.4SPLIT包(分割事务包) 2.5握手包 参考 USB包的构成是一个逐层的过程,首先这些串行数据按照特定的规则构成字段,字段是构成包的基本…

AI 人工智能深度解析:从基础到前沿,全面掌握未来科技

AI 人工智能深度解析&#xff1a;从基础到前沿&#xff0c;全面掌握未来科技 前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;可以分享一下给大家。点击跳转到网站。 https://www.captainbed.cn/ccc 文章目录 AI 人工智能深度解析…

2025-03-09 学习记录--C/C++-PTA 习题11-1 输出月份英文名

合抱之木&#xff0c;生于毫末&#xff1b;九层之台&#xff0c;起于累土&#xff1b;千里之行&#xff0c;始于足下。&#x1f4aa;&#x1f3fb; 一、题目描述 ⭐️ 裁判测试程序样例&#xff1a; #include <stdio.h>char *getmonth( int n );int main() {int n;char …

【音视频 | AAC】AAC编码库faac介绍、使用步骤、例子代码

&#x1f601;博客主页&#x1f601;&#xff1a;&#x1f680;https://blog.csdn.net/wkd_007&#x1f680; &#x1f911;博客内容&#x1f911;&#xff1a;&#x1f36d;嵌入式开发、Linux、C语言、C、数据结构、音视频&#x1f36d; &#x1f923;本文内容&#x1f923;&a…

macos 程序 运行

sudo xattr -r -d com.apple.quarantine [/Applications/Name]使用stow 管理配置文件