DeepSeek本地化部署与跨域访问架构构建

1. DeepSeek本地部署基础环境

  1. 部署 Ollama 推理框架
  2. 获取并加载 DeepSeek 大语言模型
  3. 配置图形化用户界面 (GUI)
  4. 构建本地知识库并集成

鉴于上述四个步骤已在之前的博客中详尽阐述,为避免重复,以下内容将不再赘述,仅作概要性描述

2. 局域网共享大模型配置

在局域网环境下,通过单机部署 DeepSeek-r1 (或其他预训练模型) 及本地知识库,并配置相应的网络服务,实现局域网内其他主机对该模型推理服务及知识库的访问。

1. 启动局域网访问权限

默认Ollama仅允许本地访问,需修改环境变量实现局域网共享:

  • 创建用户环境变量

    1. WIN+R打开输入cmd,以管理身份启动CMD终端,执行如下两个命令创建用户和系统变量,系统多个“ /m”。
      setx OLLAMA_HOST "0.0.0.0"
      setx OLLAMA_ORIGINS "*"
      
      在这里插入图片描述
  • 创建系统环境变量

    1. 在电脑设置中搜索找到“编辑系统环境变量”并打开 编辑系统环境变量。
    2. 在系统属性面板中点击环境变量,点击新建系统变量。
    3. 新建系统变量名为:OLLAMA_HOST ,值设置为0.0.0.0 。
      在这里插入图片描述
    4. 再次新建系统变量名称为:OLLAMA ORIGINS ,值设为:“ * ” 。
      在这里插入图片描述
    5. 电脑右下角右键退出Ollama 程序后重新手动启动Ollama程序。 在这里插入图片描述

2. 局域网访问本地大模型配置

在同一局域网下的其他用户访问当前本地部署。无论是使用Page Assist、Anything LLM、ChatboxCherry Studio进行部署,都需要在主机与被访问主机上安装对应用的部署工具。

主机ip 地址查询,在CMD中 直接输入: ipconfig 回车即可显示。
在这里插入图片描述

2.1 浏览器插件

Page Assist浏览器插件安装与配置

  1. 首先打开Chrome浏览器,进入应用商店
    在这里插入图片描述
  2. 在顶部搜索框中搜索Page Assist
    在这里插入图片描述
  3. 点击添加至Chrome

在这里插入图片描述

  • 在弹出的提示框中点击添加扩展程序
    在这里插入图片描述
    添加后在浏览器右上角的扩展程序图标中打开它即可看到Web UI界面了
    在这里插入图片描述
  • 被访问主机设置(Server)、:点击右上角设置,找到Ollama设置地址为http://[主机IP]:11434
    在这里插入图片描述
  • 访问主机设置(Client):访问主机将127.0.0.1 改为被访问主机IP 地址,如:192.168.50.80,端口默认11434 即可。
    在这里插入图片描述

2.2 客户端工具

Anything LLM、ChatboxCherry Studio进行部署,配置API地址为http://[主机IP]:11434/v1,选择对应模型即可交互。

  • 被访问主机设置:默认Api :http://localhost:11434,保持默认即可
    在这里插入图片描述
  • 访问主机设置:访问主机将localhost改为被访问主机IP 地址,如:192.168.50.80,端口默认11434 即可。
    在这里插入图片描述
  • Anything LLM工具设置同上
    在这里插入图片描述

3. 跨域公网访问大模型

一台主机本地部署了DeepSeek-r1 (或其他模型)以及数据(知识)库后,通过公网(外网)异地访问这台主机的大模型和数据,进行内网穿透设置,工具cpolar路由侠

1. 被访问主机安装路由侠

  • 这里以路由侠为例,选择适合自己系统下载安装。

    # 路由侠地址:
    https://www.luyouxia.com/
    # cpolar地址:
    https://www.cpolar.com/
    

    在这里插入图片描述
    2. 启动安装程序进行安装。 在这里插入图片描述
    3. 注册路由侠账户,并登录账户
    在这里插入图片描述

2. 路由侠配置

  • 启动软件后,设置点击内网映射。
    在这里插入图片描述
  • 点击添加映射 ,并进行配置
    在这里插入图片描述
  • 选择原生端口——开始创建。
    在这里插入图片描述
  • 配置公网地址:设置端口为Ollama 端口,然后点击创建。
    在这里插入图片描述
  • 创建完成后即显示创建的映射内容,右键复制地址,接下来将复制的地址粘贴到对应部署的工具中。
    在这里插入图片描述

3.1 访问端设置

3.1.1 浏览器插件部署

  • Page Assist访问端设置:将复制的地址粘贴在Ollama 设置——Ollama URL 中保存,重启浏览器。
    在这里插入图片描述

3.1.2 客户端工具

  • Cherry studio访问端设置:在设置——模型服务——Ollama——API地址中粘贴地址,再添加模型设置后重启Cherry studio
    在这里插入图片描述
  • AnythingLlm访问端设置:首选项——Ollama——Ollama URL 中粘贴复制的地址,设置完成后设置后重启AnythingLlm。
    在这里插入图片描述

注:提示错误 Ollama call failed with status code 403:

检查环境变量——用户变量及系统变量是否有Ollama的变量设置。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/984926.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

深度学习系列78:使用langchain的api进行RAG

用起来很麻烦,看api的工夫都已经能自己写完代码了。但现在有些开源api用的是langchain的接口,还是了解一下。参考官方文档:https://www.langchain.com.cn/docs/how_to/ 1. LLM和langserve示例 以openai接口为例,可以看到分为3步…

LiveCommunicationKit OC 实现

一、实现效果: ‌ LiveCommunicationKit‌是苹果公司在iOS 17.4、watchOS 10.4和visionOS 1.1中引入的一个新框架,旨在优化VoIP通话的交互体验。该框架提供了与

SQL Server查询计划操作符(7.3)——查询计划相关操作符(10)

7.3. 查询计划相关操作符 88)Sequence Project:该操作符通过对一个排序集合增加字段来进行计算。其基于一个或多个字段的值将其输入的数据行分成多个段,这样,该操作符每次输出一个段,这些字段显示为该操作符的参数。该…

mac使用Homebrew安装miniconda(mac搭建python环境),并在IDEA中集成miniconda环境

一、安装Homebrew mac安装brew 二、使用Homebrew安装miniconda brew search condabrew install miniconda安装完成后的截图: # 查看是否安装成功 brew list环境变量(无需手动配置) 先执行命令看能不能正常返回,如果不能正常…

vue-cli + echarts 组件封装 (Vue2版)

在Vue2中使用ECharts还是比较麻烦的,今天做了几个组件让我们能更加简单的调用Echars来显示图表。 效果展示 echarts 导入 这里我们使用 package.json 方式导入Echars。配置好后使用命令 npm install或者其他方式都可以 {// ... "scripts": {// ... &qu…

基于编译器特性浅析C++程序性能优化

最近在恶补计算机基础知识,学到CSAPP第五章的内容,在这里总结并且展开一下C程序性能优化相关的内容。 衡量程序性能的方式 一般而言,程序的性能可以用CPE(Cycles Per Element)来衡量,其指的是处理每个元素…

多模态融合的分类、跨模态对齐的方法

两者的主要区别 维度扩模态对齐扩模态融合目标对齐模态间的表示,使其语义一致融合模态间的信息,生成联合表示关注点模态间的相似性和语义一致性模态间的互补性和信息整合空间映射到共享的公共语义空间生成新的联合特征空间方法对比学习、共享空间、注意…

计算机网络--访问一个网页的全过程

文章目录 访问一个网页的全过程应用层在浏览器输入URL网址http://www.aspxfans.com:8080/news/index.aspboardID5&ID24618&page1#r_70732423通过DNS获取IP地址生成HTTP请求报文应用层最后 传输层传输层处理应用层报文建立TCP连接传输层最后 网络层网络层对TCP报文进行处…

自动化测试脚本语言选择

测试人员在选择自动化测试脚本语言时面临多种选项。Python、Java、C#、JavaScript 和 Ruby 都是常见选择,但哪种语言最适合?本文将详细分析这些语言的特点、适用场景和优劣势,结合行业趋势和社会现象,为测试人员提供全面指导。 选…

Oracle 字符类型对比

本文以 Oracle12c 为例 1.主要区别对比 类型存储方式最大长度字符集支持适用场景备注​CHAR(M)固定长度空格填充2000 字节,M 代表字节长度默认字符集固定长度编码实际存储长度固定为定义长度(如 CHAR(10) 始终占 10 字节)​VARCHAR2(M)可变长…

Nginx(基础安装+配置文件)

目录 一.Nginx基础 1.基础知识点 2.异步非阻塞机制 二.Nginx安装 2.1安装nginx3种方式 1.包管理工具安装(yum/apt) 2.本地包安装(rpm/dpkg) 3.源码编译安装 3.1 源码编译安装nginx流程(ubuntu) 1.…

PyCharm 接入 DeepSeek、OpenAI、Gemini、Mistral等大模型完整版教程(通用)!

PyCharm 接入 DeepSeek、OpenAI、Gemini、Mistral等大模型完整版教程(通用)! 当我们成功接入大模型时,可以选中任意代码区域进行解答,共分为三个区域,分别是选中区域、提问区域以及回答区域,我…

Python——计算机网络

一.ip 1.ip的定义 IP是“Internet Protocol”的缩写,即“互联网协议”。它是用于计算机网络通信的基础协议之一,属于TCP/IP协议族中的网络层协议。IP协议的主要功能是负责将数据包从源主机传输到目标主机,并确保数据能够在复杂的网络环境中正…

【LeetCode合并区间C++实现】【c++】【合并区间】

LeetCode合并区间C实现 LeetCode 56题思路图示完整代码运行结果代码或思路哪里有误还请指正!!thank you!! LeetCode 56题 以数组 intervals 表示若干个区间的集合,其中单个区间为 intervals[i] [starti, endi] 。请你合并所有重叠的区间&am…

笔记六:单链表链表介绍与模拟实现

在他一生中,从来没有人能够像你们这样,以他的视角看待这个世界。 ---------《寻找天堂》 目录 文章目录 一、什么是链表? 二、为什么要使用链表? 三、 单链表介绍与使用 3.1 单链表 3.1.1 创建单链表节点 3.1.2 单链表的头插、…

使用Modelsim手动仿真

FPGA设计流程 在设计输入之后,设计综合前进行 RTL 级仿真,称为综合前仿真,也称为前仿真或 功能仿真。前仿真也就是纯粹的功能仿真,主旨在于验证电路的功能是否符合设计要求,其特点是不考虑电路门延迟与线延迟。在完成一个设计的代码编写工作之后,可以直接对代码进行仿真,…

Docker搭建Redis哨兵模式【一主两从三哨兵】

Docker搭建Redis哨兵模式 系统: CentOS 7 Dockder 版本: VMware虚拟机 网络适配器 网络连接 桥接模式:直接连接物理网络查看IP命令 ip addr一、哨兵模式概述 1. 官方文档与关联博客 官方文档:https://redis.io/docs/latest/operate/oss_and_stack/management/sentinel关联博…

(更新完)LPZero: Language Model Zero-cost Proxy Search from Zero

LPZero代码 摘要 神经架构搜索 (NAS) 有助于自动执行有效的神经网络搜索,同时需要大量的计算资源,尤其是对于语言模型。零样本 NAS 利用零成本 (ZC) 代理来估计模型性能,从而显着降低计算需求。然而,现有的 ZC 代理严重依赖于深…

【互联网性能指标】QPS/TPS/PV/UV/IP/GMV/DAU/MAU/RPS

📕我是廖志伟,一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》(基础篇)、(进阶篇)、(架构篇)清华大学出版社签约作家、Java领域优质创作者、CSDN博客专家、…

【Linux docker】关于docker启动出错的解决方法。

无论遇到什么docker启动不了的问题 就是 查看docker状态sytemctl status docker查看docker日志sudo journalctl -u docker.service查看docker三个配置文件(可能是配置的时候格式错误):/etc/docker/daemon.json(如果存在&#xf…