Linux服务升级:Almalinux 升级 DeepSeek-R1

目录

 一、实验

1.环境

2.Almalinux 部署 Ollama

3.Almalinux 升级 DeepSeek-R1

4.Almalinux 部署 docker

5. docker 部署 DeepSeek-R1

6.Almalinux 部署 Cpolar (内网穿透)

7.使用cpolar内网穿透

二、问题

1.构建容器失败


 一、实验

1.环境

(1)主机

表1 主机

系统版本软件IP备注
Almalinux9.4

Ollama

Docker

Cpolar

192.168.204.150

配置:12C 16G

(2)Termius连接主机

(3)查看系统版本

 cat /etc/os-release

(4)DeepSeek-R1版本

表2 版本

模型显存/内存备注
1.5B

需要4核CPU + 5GB内存

最低3GB显存(GTX1060+)

7B

需要8核CPU + 9GB内存

最低6GB显存(GTX1650+)

8B

需要8核CPU + 10GB内存

最低8GB显存(GTX1660+)

14B

需要12核CPU + 16GB内存

最低12GB显存(RTX3070+)

32B

需要16核CPU + 36GB内存

推荐24GB显存(RTX4090)

70B

需要32核CPU + 75GB内存

需要多卡(2xA100)

家用电脑不适用

(5)查看cpu与内存

lscpu

free -m

(6)目标版本

主机配置:12C 16G

所以目标版本:14B

2.Almalinux 部署 Ollama

(1) 查阅

https://ollama.com/download/linux

(2) 预先安装软件包

安装包pciutils (查看pci总线设备信息)

安装包lshw (查看硬件信息)

yum install -y pciutils lshw

(3)下载

curl -fsSL https://ollama.com/install.sh | sh

最后提示仅CPU模式

(4)修改配置

添加配置(让物理机可以访问)

vim /etc/systemd/system/ollama.service
……
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
……

修改前:

修改后

(5)重载配置

systemctl daemon-reload

(6)重启服务

systemctl restart ollama

(7)查看端口

ss -anlp | grep 11434

(8)访问

127.0.0.1:11434

物理机访问 (linux需要关闭防火墙与selinux)

http://192.168.204.150:11434/

3.Almalinux 升级 DeepSeek-R1

 (1) 查阅

https://ollama.com/library/deepseek-r1

(2) 选择

下拉选择14b

(3)复制命令执行

ollama run deepseek-r1:14b

(4)提问

devops含义

(5)退出

ctrl +d 或 /bye

这里输入 /bye 

4.Almalinux 部署 docker

(1) 安装docker

安装软件包yum-utils

yum install yum-utils -y

添加repo源

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

安装

yum install docker-ce-24.0.6 -y

(2)开机启动

systemctl start docker

systemctl enable docker

(3)查阅

https://developer.aliyun.com/article/29941

(4)docker镜像加速

修改配置文件

vim /etc/docker/daemon.json

XXXXXXXX为自己的镜像加速配置

{
 "registry-mirrors":["https://XXXXXXXX.mirror.aliyuncs.com","https://docker.lmirror.top","https://docker.m.daocloud.io", "https://hub.uuuadc.top","https://docker.anyhub.us.kg","https://dockerhub.jobcher.com","https://dockerhub.icu","https://docker.ckyl.me","https://docker.awsl9527.cn","https://docker.laoex.link","https://ghcr.nju.edu.cn"]
} 

(5)重启

systemctl restart docker

5. docker 部署 DeepSeek-R1

(1)查阅

Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 AI 平台,旨在完全离线运行。它支持各种 LLM 运行器(如Ollama)和与OpenAI 兼容的 API,并内置RAG 推理引擎,使其成为强大的 AI 部署解决方案

Github开源地址:
https://github.com/open-webui/open-webui

Open WebUI 文档地址:  
https://docs.openwebui.com/features/

(2)拉取镜像

docker pull ghcr.io/open-webui/open-webui:main

如果拉不动,可以切换其他源拉取

# 如果拉不动的话切换镜像源
docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/ghcr.io/open-webui/open-webui:v0.5.18
 
# 重命名镜像(如果是通过代理下载的) 
docker tag  swr.cn-north-4.myhuaweicloud.com/ddn-k8s/ghcr.io/open-webui/open-webui:v0.5.18   ghcr.io/open-webui/open-webui:main

# 删除代理镜像(如果是通过代理下载的) 
docker rmi swr.cn-north-4.myhuaweicloud.com/ddn-k8s/ghcr.io/open-webui/open-webui:v0.5.18

拉取

重新打标签

删除原有镜像

(3)查看镜像

docker images

(4)环境变量

表3 环境变量

变量备注
OLLAMA_API_BASE_URL    Ollama 服务器的地址
WEBUI_SECRET_KEY密码,可用 Vaultwarden 生成的可选

(5)运行

运行容器(仅CPU)

docker run -d -p 9000:8080 -e OLLAMA_BASE_URL=http://192.168.204.150:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

查看容器

docker ps 

(6)访问

点击开始使用

http://192.168.204.150:9000

(7)创建账号密码

创建完会自动登录

(8)确认开始使用

(9)进入界面

(10)提问

devops含义

回答

6.Almalinux 部署 Cpolar (内网穿透)

(1) 官网

https://www.cpolar.com

(2)一键脚本安装命令

curl -L https://www.cpolar.com/static/downloads/install-release-cpolar.sh | sudo bash

(3)开机自启

systemctl enable cpolar

(4)启动cpolar服务

systemctl start cpolar

(5) 监听服务端口

netstat -antlp | grep 9200

(6)浏览器访问

http://localhost:9200

登录仪表盘 (输入注册的账号密码)

7.使用cpolar内网穿透

(1)内网访问open webui

(2)固定二级子域名地址

登录cpolar官网点击左侧的预留,找到保留二级子域名,为远程服务器连接保留一个固定二级子域名地址

https://www.cpolar.com

(3)创建隧道

域名类型:选择二级子域名
 
预留的http地址:复制粘贴官网保留成功的地址,Ollama
 
地区选择:China VIP


(4) 查看隧道列表

(4)查看在线隧道列表

(5)二级子域名地址访问

http访问

http://newollama.vip.cpolar.cn

https访问

 https://newollama.vip.cpolar.cn 

二、问题

1.构建容器失败

(1)问题

问题一

ARNING: The requested image's platform (linux/arm64) does not match the detected host platform (linux/amd64/v3) and no specific platform was requested

问题二

docker: Error response from daemon: failed to create task for container: failed to create shim task: OCI runtime create failed: runc create failed: unable to start container process: error during container init: exec: "-e": executable file not found in $PATH: unknown

(2)原因分析

问题一:镜像使用了arm平台,与当前系统不匹配;

问题二:尝试重启docker 内存不能分配问题解决

(2)解决方法

问题一:

删除旧镜像


重新下载linux/amd64 镜像并构建

问题二:

msg="stream copy error: reading from a closed fifo"

重启docker

成功:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/979906.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

深度剖析数据分析职业成长阶梯

一、数据分析岗位剖析 目前,数据分析领域主要有以下几类岗位:业务数据分析师、商业数据分析师、数据运营、数据产品经理、数据工程师、数据科学家等,按照工作侧重点不同,本文将上述岗位分为偏业务和偏技术两大类,并对…

CosyVoice2整合包 特殊声音标记,声音克隆更逼真,新增批量生成

新增批量生成,可用于制作直播话术音频 特殊声音标记 符号示例1_语气加强<strong> </strong>每天都<strong>付出</strong>和<strong>精进</strong>&#xff0c;才能达到巅峰。2_呼吸声[breath][breath] 吸气,[breath] 呼气! [breath] 吸,[b…

vector习题

完数和盈数 题目 完数VS盈数_牛客题霸_牛客网 一个数如果恰好等于它的各因子(该数本身除外)之和&#xff0c;如&#xff1a;6321。则称其为“完数”&#xff1b;若因子之和大于该数&#xff0c;则称其为“盈数”。 求出2到60之间所有“完数”和“盈数”。 输入描述&#xff…

如何保证 Redis 缓存和数据库的一致性?

如何保证 Redis 缓存和数据库的一致性&#xff1f; 1. 问题出现场景 先修改数据库&#xff0c;再删除缓存 删除数据库数据成功了&#xff0c;但是删除缓存却失败了&#xff0c;缓存中仍保留的是旧数据 先删除缓存&#xff0c;再删除数据库 如果 Redis 缓存删除成功后&#xf…

信刻光盘安全隔离与信息交换系统让“数据摆渡”安全高效

随着数据传输、存储及信息技术的飞速发展&#xff0c;信息安全保护已成为重中之重。各安全领域对跨网数据交互的需求日益迫切&#xff0c;数据传输的安全可靠性成为不可忽视的关键。为满足业务需求并遵守保密规范&#xff0c;针对于涉及重要秘密信息&#xff0c;需做到安全的物…

网络原理--TCP/IP(2)

我们在之前已经介绍到TCP协议的核心机制二,接下来我们将继续介绍其他的核心机制。 核心机制三:连接管理 即建立连接,断开连接,在正常情况下,TCP要经过三次握⼿建⽴连接,四次挥⼿断开连接。 建立连接:TCP是通过“三次握手” 在生活中的握手就是打招呼,,但握手操作没有…

Windows PicPick Professional-v7.3.2-中文版

Windows PicPick Professional-中文版 链接&#xff1a;https://pan.xunlei.com/s/VOKGwGVGWUDl7L8cW4D1A1W4A1?pwdw5qz# - 更新了中文翻译&#xff0c;默认取消检测升级&#xff0c;删除多国语言

校园二手交易微信小程序的设计与实现(论文源码调试讲解)

第4章 系统设计 一个成功设计的系统在内容上必定是丰富的&#xff0c;在系统外观或系统功能上必定是对用户友好的。所以为了提升系统的价值&#xff0c;吸引更多的访问者访问系统&#xff0c;以及让来访用户可以花费更多时间停留在系统上&#xff0c;则表明该系统设计得比较专…

数据结构之各类排序算法代码及其详解

1. 排序的概念 排序是一种常见的算法概念&#xff0c;用于将一组数据按照特定的顺序进行排列。排序算法的目的是将一组数据按照递增或递减的顺序重新排列。常见的排序算法包括冒泡排序、插入排序、选择排序、快速排序、归并排序等。排序算法的选择通常取决于数据规模、数据分布…

6.6.6 嵌入式SQL

文章目录 2个核心问题识别SQL语句主语言和SQL通信完整导图 2个核心问题 SQL语句嵌入高级语言需要解决的2个核心问题是&#xff1a;如何识别嵌入语句&#xff1f;如何让主语言&#xff08;比如C,C语言&#xff09;和SQL通信&#xff1f; 识别SQL语句 为了识别主语言中嵌入的SQL…

keil主题(vscode风格)

#修改global.prop文件&#xff0c;重新打开keil即可 # Keil uVision Global Properties File # This file is used to customize the appearance of the editor# Editor Font editor.font.nameConsolas editor.font.size10 editor.font.style0# Editor Colors editor.backgro…

医疗AR眼镜:FPC如何赋能科技医疗的未来之眼?【新立电子】

随着科技的飞速发展&#xff0c;增强现实&#xff08;AR&#xff09;技术在医疗领域的应用逐渐成为焦点。医疗AR眼镜作为一种前沿的智能设备&#xff0c;正在为医疗行业带来深刻的变革。它不仅能够提升医生的工作效率&#xff0c;还能改善患者的就医体验&#xff0c;成为医疗科…

【异地访问本地DeepSeek】Flask+内网穿透,轻松实现本地DeepSeek的远程访问

写在前面&#xff1a;本博客仅作记录学习之用&#xff0c;部分图片来自网络&#xff0c;如需引用请注明出处&#xff0c;同时如有侵犯您的权益&#xff0c;请联系删除&#xff01; 文章目录 前言依赖Flask构建本地网页访问LM Studio 开启网址访问DeepSeek 调用模板Flask 访问本…

GPIO(嵌入式学习)

GPIO 通用输入输出口&#xff1a; 可分为八种输入输出模式 输出模式 下端可控制端口输出高低电平&#xff0c;用以驱动LED&#xff0c;控制蜂鸣器&#xff0c;模拟通信协议输出时序 输入模式 读取高低电平或电压&#xff0c;用与读取按键输入&#xff0c;外界模块电平信号…

AI助理精准匹配------助力快速搭建Stable Difussion图像生成应用

AI助理精准匹配------助力快速搭建Stable Difussion图像生成应用 背景信息搭建Stable Difussion图像生成应用释放资源 背景信息 过去你在阿里云社区搭建Stable Difussion图像生成应用&#xff0c;你可能还需要去在线实验室或者是官方文档去查找部署步骤&#xff0c;找到部署步…

火山引擎 DeepSeek R1 API 使用小白教程

一、火山引擎 DeepSeek R1 API 申请 首先需要三个要素&#xff1a; 1&#xff09;API Key 2&#xff09;API 地址 3&#xff09;模型ID 1、首先打开火山引擎的 DeepSeek R1 模型页面 地址&#xff1a;账号登录-火山引擎 2、在页面右下角&#xff0c;找到【推理】按钮&#…

排序算法(3):

这是我们的最后一篇排序算法了&#xff0c;也是我们的初阶数据结构的最后一篇了。 我们来看&#xff0c;我们之前已经讲完了插入排序&#xff0c;选择排序&#xff0c;交换排序&#xff0c;我们还剩下最后一个归并排序&#xff0c;我们今天就讲解归并排序&#xff0c;另外我们还…

【源码】【Java并发】【线程池】邀请您从0-1阅读ThreadPoolExecutor源码

&#x1f44b;hi&#xff0c;我不是一名外包公司的员工&#xff0c;也不会偷吃茶水间的零食&#xff0c;我的梦想是能写高端CRUD &#x1f525; 2025本人正在沉淀中… 博客更新速度 &#x1f44d; 欢迎点赞、收藏、关注&#xff0c;跟上我的更新节奏 &#x1f4da;欢迎订阅专栏…

微信小程序:完善购物车功能,购物车主页面展示,详细页面展示效果

一、效果图 1、主页面 根据物品信息进行菜单分类&#xff0c;点击单项购物车图标添加至购物车&#xff0c;记录总购物车数量 2、购物车详情页 根据主页面选择的项&#xff0c;根据后台查询展示到页面&#xff0c;可进行多选&#xff0c;数量加减等 二、代码 1、主页面 页…

51c自动驾驶~合集52

我自己的原文哦~ https://blog.51cto.com/whaosoft/13383340 #世界模型如何推演未来的千万种可能 驾驶世界模型&#xff08;DWM&#xff09;&#xff0c;专注于预测驾驶过程中的场景演变&#xff0c;已经成为追求自动驾驶的一种有前景的范式。这些方法使自动驾驶系统能够更…