1. DeepSeek本地部署基础环境
- 部署 Ollama 推理框架
- 获取并加载 DeepSeek 大语言模型
- 配置图形化用户界面 (GUI)
- 构建本地知识库并集成
鉴于上述四个步骤已在之前的博客中详尽阐述,为避免重复,以下内容将不再赘述,仅作概要性描述
2. 局域网共享大模型配置
在局域网环境下,通过单机部署 DeepSeek-r1 (或其他预训练模型) 及本地知识库,并配置相应的网络服务,实现局域网内其他主机对该模型推理服务及知识库的访问。
1. 启动局域网访问权限
默认Ollama仅允许本地访问,需修改环境变量实现局域网共享:
-
创建用户环境变量
- WIN+R打开输入cmd,以管理身份启动CMD终端,执行如下两个命令创建用户和系统变量,系统多个“ /m”。
setx OLLAMA_HOST "0.0.0.0" setx OLLAMA_ORIGINS "*"
- WIN+R打开输入cmd,以管理身份启动CMD终端,执行如下两个命令创建用户和系统变量,系统多个“ /m”。
-
创建系统环境变量
- 在电脑设置中搜索找到“编辑系统环境变量”并打开 编辑系统环境变量。
- 在系统属性面板中点击环境变量,点击新建系统变量。
- 新建系统变量名为:OLLAMA_HOST ,值设置为0.0.0.0 。
- 再次新建系统变量名称为:OLLAMA ORIGINS ,值设为:“ * ” 。
- 电脑右下角右键退出Ollama 程序后重新手动启动Ollama程序。
2. 局域网访问本地大模型配置
在同一局域网下的其他用户访问当前本地部署。无论是使用Page Assist、Anything LLM、Chatbox或Cherry Studio进行部署,都需要在主机与被访问主机上安装对应用的部署工具。
主机ip 地址查询,在CMD中 直接输入: ipconfig 回车即可显示。
2.1 浏览器插件
Page Assist浏览器插件安装与配置
- 首先打开Chrome浏览器,进入应用商店
- 在顶部搜索框中搜索Page Assist
- 点击添加至Chrome
- 在弹出的提示框中点击添加扩展程序
添加后在浏览器右上角的扩展程序图标中打开它即可看到Web UI界面了
- 被访问主机设置(Server)、:点击右上角设置,找到Ollama设置地址为
http://[主机IP]:11434
。
- 访问主机设置(Client):访问主机将127.0.0.1 改为被访问主机IP 地址,如:192.168.50.80,端口默认11434 即可。
2.2 客户端工具
Anything LLM、Chatbox或Cherry Studio进行部署,配置API地址为http://[主机IP]:11434/v1
,选择对应模型即可交互。
- 被访问主机设置:默认Api :http://localhost:11434,保持默认即可
- 访问主机设置:访问主机将localhost改为被访问主机IP 地址,如:192.168.50.80,端口默认11434 即可。
- Anything LLM工具设置同上
3. 跨域公网访问大模型
一台主机本地部署了DeepSeek-r1 (或其他模型)以及数据(知识)库后,通过公网(外网)异地访问这台主机的大模型和数据,进行内网穿透设置,工具cpolar或路由侠。
1. 被访问主机安装路由侠
-
这里以路由侠为例,选择适合自己系统下载安装。
# 路由侠地址: https://www.luyouxia.com/ # cpolar地址: https://www.cpolar.com/
2. 启动安装程序进行安装。
3. 注册路由侠账户,并登录账户
2. 路由侠配置
- 启动软件后,设置点击内网映射。
- 点击添加映射 ,并进行配置
- 选择原生端口——开始创建。
- 配置公网地址:设置端口为Ollama 端口,然后点击创建。
- 创建完成后即显示创建的映射内容,右键复制地址,接下来将复制的地址粘贴到对应部署的工具中。
3.1 访问端设置
3.1.1 浏览器插件部署
- Page Assist访问端设置:将复制的地址粘贴在Ollama 设置——Ollama URL 中保存,重启浏览器。
3.1.2 客户端工具
- Cherry studio访问端设置:在设置——模型服务——Ollama——API地址中粘贴地址,再添加模型设置后重启Cherry studio。
- AnythingLlm访问端设置:首选项——Ollama——Ollama URL 中粘贴复制的地址,设置完成后设置后重启AnythingLlm。
注:提示错误 Ollama call failed with status code 403
:
检查环境变量——用户变量及系统变量是否有Ollama的变量设置。