DeepSeek技术提升，Linux本地部署全攻略

文章目录

1.Ollama部署
- 1.1 安装Ollama
- 1.2 配置Ollama
- 1.3 下载deepseek模型
2.安装MaxKB可视化页面
- 2.1 下载镜像
- 2.2 运行容器
- 2.3 配置MaxKB
3.配置Chatbox AI可视化页面

1.Ollama部署

Ollama下载地址

根据自己需求选择版本下载在这里插入图片描述

1.1 安装Ollama

下载安装脚本并执行

curl -fsSL https://ollama.com/install.sh | sh

1.2 配置Ollama

配置模型默认存储位置

可以把模型放在数据盘下

#创建目录
[root@10-60-236-43 ~]# mkdir -p /opt/ollama/models

#授予权限
[root@10-60-236-43 ~]# chown -R ollama.ollama /opt/ollama
[root@10-60-236-43 ~]# chmod 755 /opt/ollama

#修改service文件
[root@10-60-236-43 ~]# vim /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"
Environment="OLLAMA_MODELS=/opt/ollama/models"
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

[Install]
WantedBy=default.target

#新增三行参数解释
Environment="OLLAMA_MODELS=/opt/ollama/models"   #模型存放得路径
Environment="OLLAMA_HOST=0.0.0.0" #表示接受来自任何网络接口的连接。
Environment="OLLAMA_ORIGINS=*"  #表示允许来自任何来源的跨域请求。

#重新加载，重启
[root@10-60-236-43 ~]# vim /etc/systemd/system/ollama.service
[root@10-60-236-43 ~]# systemctl daemon-reload ; systemctl start ollama
[root@10-60-236-43 ~]# systemctl status ollama

访问web页面

http://IP:11434/

出现Ollama is running即可
在这里插入图片描述

[root@10-60-236-43 opt]# ll ollama/models/
total 0
drwxr-xr-x 2 ollama ollama 6 Feb 25 11:27 blobs
#出现blobs表示模型目录也修改成

1.3 下载deepseek模型

deepseek模型下载地址

根据自己硬件情况下载对应得模型
在这里插入图片描述

模型介绍及硬件需求

模型参数	特点	适用场景	GPU 显存需求	CPU 核心数	内存需求
1.5B	轻量级模型，参数量少，模型规模小	适用于轻量级任务，如短文本生成、基础问答等	4GB（4-bit 量化）	4 核	8GB
7B	平衡型模型，性能较好，硬件需求适中	适合中等复杂度任务，如文案撰写、表格处理、统计分析等	8GB（4-bit 量化）	8 核	16GB
8B	性能略强于 7B 模型，适合更高精度需求	适合需要更高精度的轻量级任务，如代码生成、逻辑推理等	10GB（4-bit 量化）	8 核	24GB
14B	高性能模型，擅长复杂任务，如数学推理、代码生成	可处理复杂任务，如长文本生成、数据分析等	16GB（4-bit 量化）	12 核	32GB
32B	专业级模型，性能强大，适合高精度任务	适合超大规模任务，如语言建模、大规模训练、金融预测等	24GB（4-bit 量化 + 多卡）	16 核	64GB
70B	顶级模型，性能最强，适合大规模计算和高复杂任务	适合高精度专业领域任务，如多模态任务预处理	48GB（4-bit 量化 + 4 卡）	32 核	128GB
671B	超大规模模型，适用于对准确性和性能要求极高的场景	适用于大型科研机构进行前沿科学研究、大型企业进行复杂的商业决策分析等	无单机方案，需分布式集群	256 核以上	512GB+

安装模型

根据模型的大小，等待的时间不同

[root@10-60-236-43 ~]# ollama run deepseek-r1:14b
#注：我下载完这个模型之后 直接运行了 问了几个问题发现可以使用 我就退出了

在这里插入图片描述

查看模型

[root@10-60-236-43 ~]# ollama list
NAME               ID              SIZE      MODIFIED
deepseek-r1:14b    ea35dfe18182    9.0 GB    2 minutes ago

体验模型

[root@10-60-236-43 ~]# ollama run deepseek-r1:14b
>>> 你好
<think>
</think>
你好！很高兴见到你，有什么我可以帮忙的吗？
>>> /bye to exit.

2.安装MaxKB可视化页面

此步骤是创建一个web可视化页面，让所有人访问使用的，如果只是自己用在本地装个客户端即可。请看第3步

2.1 下载镜像

[root@10-60-236-43 ~]# docker pull registry.fit2cloud.com/maxkb/maxkb

2.2 运行容器

[root@10-60-236-43 ~]# docker run -d --name=maxkb --restart=always -p 8080:8080 -v /opt/maxkb/postgresql-data:/var/lib/postgresql/data -v /opt/maxkb/python-packages:/opt/maxkb/app/sandbox/python-packages registry.fit2cloud.com/maxkb/maxkb
8aa309ce8fa15fc38b378815a1d4b67a3dffc41809d53d0bd251085c86b6041f