使用WebUI访问本地Deepseek(Ollama集成Open WebUI)

在《deepseek本地部署和使用(Linux虚拟机)》中,我们使用Ollama部署了Deepseek-r1,但是只能通过命令行方式交互,默认Ollama启动后,会启动一个监听到127.0.0.1,用以接收POST 请求,服务器使用指定的 DeepSeek-R1 模型处理提示并返回生成的响应。

 ~]# ss -tlnp|grep ollam                            
LISTEN     0           4096                 127.0.0.1:11434                0.0.0.0:*         users:(("ollama",pid=441905,fd=3)) 

curl 发送请求

请求命令如下:

curl -X POST http://127.0.0.1:11434/api/generate \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-r1:1.5b",
    "prompt": "请比较一下5.4和5.12的大小。"
  }'

回显也是JSON格式,我猜测 Ollama 的 API 可能默认是以流式的方式返回数据,也就是每次生成一个词就发送一次响应。

集成WebUI

执行如下命令即可启动open webui(需要联网);在无法联网的场景下需要事先下载ghcr.io/open-webui/open-webui:main镜像,上传到服务器之后启动。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

该命令的参数释义如下:

1. docker run
  • 含义:用于创建并启动一个新的 Docker 容器。

  • 作用:这是 Docker 的核心命令之一,用于运行容器。

2. -d
  • 含义-d 表示以 ** detached 模式** 运行容器,即在后台运行。

  • 作用:容器会在后台运行,不会占用当前终端。

3. -p 3000:8080
  • 含义:将容器内部的端口 8080 映射到宿主机的端口 3000

  • 作用:通过 localhost:3000 访问容器内部运行的服务(通常是 Web 服务)。

  • 效果:
  • LISTEN 0      4096         0.0.0.0:3000       0.0.0.0:*    users:(("docker-proxy",pid=347493,fd=4))
    LISTEN 0      4096            [::]:3000          [::]:*    users:(("docker-proxy",pid=347507,fd=4))
4. --add-host=host.docker.internal:host-gateway
  • 含义:向容器的 /etc/hosts 文件中添加一个自定义的 hosts 记录。

  • 作用:允许容器内的服务通过 host.docker.internal 访问宿主机的网络资源。

    • host.docker.internal 是 Docker 提供的一个特殊域名,指向宿主机的网络接口。

    • host-gateway 是宿主机的网关地址。

  • 效果:172.17.0.1      host.docker.internal
5. -v open-webui:/app/backend/data
  • 含义:将宿主机的 open-webui 目录挂载到容器内的 /app/backend/data 目录。

  • 作用:实现宿主机和容器之间的数据共享。容器内的数据可以持久化到宿主机的目录中。

  • 效果:
  • ~]# ll /var/lib/docker/volumes/open-webui
    总用量 0
    drwxr-xr-x 5 root root 67 2月   7 10:39 _data
6. --name open-webui
  • 含义:为容器指定一个名称 open-webui

  • 作用:可以通过这个名称方便地管理和操作容器,例如使用 docker stop open-webui 停止容器。

7. --restart always
  • 含义:设置容器的重启策略为 always

  • 作用:无论容器因为何种原因退出,Docker 都会自动重启该容器。

8. ghcr.io/open-webui/open-webui:main
  • 含义:指定要运行的 Docker 镜像及其版本。

    • ghcr.io/open-webui/open-webui 是镜像的名称,存储在 GitHub Container Registry (GHCR) 中。

    • main 是镜像的标签,表示使用的是主分支的版本。

启动后状态验证

~]# docker ps 
CONTAINER ID   IMAGE                                COMMAND           CREATED        STATUS                  PORTS                                       NAMES
50c57b182bf3   ghcr.io/open-webui/open-webui:main   "bash start.sh"   20 hours ago   Up 20 hours (healthy)   0.0.0.0:3000->8080/tcp, :::3000->8080/tcp   open-webui

访问 OpenWebUI 界面(因服务器性能,可能相应比较慢)

打开浏览器,在地址栏输入 http://主机IP地址:3000/ 并打开,进入 OpenWebUI 的聊天测试界面。首次进入需要注册账号。

选择并连接 Ollama 模型

在聊天界面的左上角选择当前在 Ollama 中运行的大语言模型。如果无选择内容,则可能是因为无法连接到 Ollama,可以进行以下修改:

 ~]# systemctl edit ollama

添加
[Service]
Environment="OLLAMA_HOST=0.0.0.0"

重启 Ollama 服务:

systemctl daemon-reload
systemctl restart ollama

重新刷新open webui的页面即可。

补充一点内容: 
1、open webui请求Ollama服务的时候,会触发ollama运行对应的model,效果其实跟ollama run mode-name一样,在回答问题期间,通过ollama ps则可查看运行的model: ~]# ollama ps NAME ID SIZE PROCESSOR UNTIL deepseek-r1:1.5b a42b25d8c10a 1.6 GB 100% CPU 4 minutes from now deepseek-r1:7b 0a8c26691023 5.5 GB 100% CPU 4 minutes from now 2、问题回答完毕,对应的model不会立即终止运行,如果一直没有问题请求,则超时被杀,再次查看就空空如也了: ~]# ollama ps NAME ID SIZE PROCESSOR UNTIL

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/966439.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

[NKU]C++安装环境 VScode

bilibili安装教程 vscode 关于C/C的环境配置全站最简单易懂!!大学生及初学初学C/C进!!!_哔哩哔哩_bilibili 1安装vscode和插件 汉化插件 ​ 2安装插件 2.1 C/C 2.2 C/C Compile run ​ 2.3 better C Syntax ​ 查看已…

DeepSeek图解10页PDF

以前一直在关注国内外的一些AI工具,包括文本型、图像类的一些AI实践,最近DeepSeek突然爆火,从互联网收集一些资料与大家一起分享学习。 本章节分享的文件为网上流传的DeepSeek图解10页PDF,免费附件链接给出。 1 本地 1 本地部…

如何将Excel的表格存为图片?

emmm,不知道题主具体的应用场景是什么,就分享几个我一般会用到的场景下奖excel表格保存为图片的技巧吧! 先来个总结: 方法 适用场景 画质 操作难度 截图(WinShiftS) 快速保存表格,方便粘贴…

UnrealEngine dotnet.exe 请求的操作需要提升 解决方案

一、问题如图 二、解决方式 按照图片路径找到dotnet.exe,鼠标右键-属性- 兼容性,勾选以管理员方式运行后重启UE。如下图:

活动预告 |【Part 1】Microsoft 安全在线技术公开课:通过扩展检测和响应抵御威胁

课程介绍 通过 Microsoft Learn 免费参加 Microsoft 安全在线技术公开课,掌握创造新机遇所需的技能,加快对 Microsoft Cloud 技术的了解。参加我们举办的“通过扩展检测和响应抵御威胁”技术公开课活动,了解如何更好地在 Microsoft 365 Defen…

「vue3-element-admin」告别 vite-plugin-svg-icons!用 @unocss/preset-icons 加载本地 SVG 图标

🚀 作者主页: 有来技术 🔥 开源项目: youlai-mall ︱vue3-element-admin︱youlai-boot︱vue-uniapp-template 🌺 仓库主页: GitCode︱ Gitee ︱ Github 💖 欢迎点赞 👍 收藏 ⭐评论 …

SAP HCM PFCG读取结构化权限参数

权限:HCM的权限分两套,一套是PFCG的普通权限,一套是结构化权限是根据组织ID限制访问权限的,今天我们讨论的话题如何把这两类的权限组合起来 场景:例如下载有个薪酬管理人员,他复制A和B部门,但是…

3D数字化营销:重塑家居电商新生态

随着电商的蓬勃发展,网上订购家具已成为众多消费者的首选。然而,线上选购家具的诸多挑战,如风格不匹配、尺寸不合适、定制效果不如预期以及退换货不便等,一直困扰着消费者。为解决这些问题,家居行业急需一种全新的展示…

发布:大彩科技DN系列2.8寸高性价比串口屏发布!

一、产品介绍 该产品是一款2.8寸的工业组态串口屏,采用2.8寸液晶屏,分辨率为240*320,支持电阻触摸、电容触摸、无触摸。可播放动画,带蜂鸣器,默认为RS232通讯电平,用户短接屏幕PCB上J5短接点即可切换为TTL电…

【C++篇】C++11新特性总结2

目录 1,可变参数模板 1.1,基本语法及原理 1.2,包扩展 4.3,emplace系列接口 2,新的类功能 2.1,默认的移动构造和移动赋值 2.2,default和delete 2.3,final与override 3&…

TCP三次握手全方面详解

文章目录 (1) 三次握手各状态CLOSE状态SYN_SENT状态SYN_RECV状态ESTABLISHED状态 (2) 为什么握手时的seqnum是随机值,以及acknum的功能(3) 三次握手中的半连接队列(SYN队列)和全连接队列(ACCEPT队列)半连接队列全连接队…

模拟开发小鹅通首页网站练习

HTML代码 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>小鹅通-首页</title><!-- 引入页…

认识O(NlogN)的排序

归并排序 归并排序&#xff08;任何一个递归&#xff09;如果不懂可以画一个树状结构去帮助自己去理解。 核心排序方法为Merger public class 归并排序 {public static void main(String[] args) {int[] arr1 {3, 1, 2, 2, 5, 6};int[] arr2 Arrays.copyOf(arr1, arr1.len…

Qt中的绘图设备:QPixmap、QImage 和 QPicture(详细图文教程_附代码)

&#x1f4aa; 图像算法工程师&#xff0c;专业从事且热爱图像处理&#xff0c;图像处理专栏更新如下&#x1f447;&#xff1a; &#x1f4dd;《图像去噪》 &#x1f4dd;《超分辨率重建》 &#x1f4dd;《语义分割》 &#x1f4dd;《风格迁移》 &#x1f4dd;《目标检测》 &a…

w199疫情打卡健康评测系统设计与实现

&#x1f64a;作者简介&#xff1a;多年一线开发工作经验&#xff0c;原创团队&#xff0c;分享技术代码帮助学生学习&#xff0c;独立完成自己的网站项目。 代码可以查看文章末尾⬇️联系方式获取&#xff0c;记得注明来意哦~&#x1f339;赠送计算机毕业设计600个选题excel文…

JAVA:Spring Boot 集成 Disruptor 的技术指南

1、简述 在高并发应用中&#xff0c;传统的队列机制如 BlockingQueue 在面对大量请求时容易成为系统瓶颈。而 LMAX Disruptor 是一个高效的无锁队列&#xff0c;适合用来构建高吞吐、低延迟的事件处理系统。本文将介绍如何在 Spring Boot 中集成 Disruptor&#xff0c;并列出详…

使用AI工具(Deepseek or 豆包etc)话业务流程图

①打开AI工具&#xff0c;这里以Deepseek为例子&#xff1a; Deepseek官网 ②输入所要画图的业务流程的文字。 &#xff08;这里以一个用户登录的流程的文字作为例子&#xff09; mermaid在线画图网页&#xff08;根据AI工具对应生成的画图代码&#xff09; ③把AI工具生成的…

自动化测试工具:selenium

&#x1f345; 点击文末小卡片 &#xff0c;免费获取软件测试全套资料&#xff0c;资料在手&#xff0c;涨薪更快 Selenium是一个用于Web应用程序测试的工具。是一个开源的Web的自动化测试工具&#xff0c;最初是为网站自动化测试而开发的&#xff0c;类型像我们玩游戏用的按键…

UIAbility 生命周期方法

生命周期流程图 UIAbility的生命周期官方文档地址https://developer.huawei.com/consumer/cn/doc/harmonyos-guides-V13/uiability-lifecycle-V13 1. onCreate(want: Want, launchParam: LaunchParam) 触发时机&#xff1a;Ability首次创建时 作用&#xff1a;初始化核心资源…

C语言:函数栈帧的创建和销毁

目录 1.什么是函数栈帧2.理解函数栈帧能解决什么问题3.函数栈帧的创建和销毁的过程解析3.1 什么是栈3.2 认识相关寄存器和汇编指令3.3 解析函数栈帧的创建和销毁过程3.3.1 准备环境3.3.2 函数的调用堆栈3.3.3 转到反汇编3.3.4 函数栈帧的创建和销毁 1.什么是函数栈帧 在写C语言…