在Windows系统中本地部署属于自己的大语言模型(Ollama + open-webui + deepseek-r1)

文章目录

      • 1 在Windows系统中安装Ollama,并成功启动;
      • 2 非docker方式安装open-webui
      • 3下载并部署模型deepseek-r1


  • Ollama
    Ollama 是一个命令行工具,用于管理和运行机器学习模型。它简化了模型的下载与部署,支持跨平台使用,包括 Windows、Linux 和 MacOS 系统。用户可以通过 Ollama 访问丰富的模型库,如 Qwen、Llama 等,并支持自定义模型参数。

  • open-webui
    open-webui 是一个用户友好的 Web 界面,用于与大型语言模型进行交互。它提供了一个直观的图形用户界面,使用户能够更方便地与模型进行交互。类似于chatgpt的web界面;

  • deepseek-r1
    DeepSeek-R1 是由中国公司 DeepSeek 开发的大型语言模型。它以成本效益高和开放性受到科学家的欢迎,能够生成类似于人类推理过程的逐步响应。


1 在Windows系统中安装Ollama,并成功启动;

  • 在ollama官网中下载OllamaSetup.exe;
    在这里插入图片描述
  • 点击OllamaSetup.exe进行安装;按照提示一步步安装;
    在这里插入图片描述
  • 安装完成以后,直接去系统托盘里面查看ollama是否已经启动,存在则代表启动成功;后面第二次启动则像下图一样;
    在这里插入图片描述
  • 这个时候其实已经可以在CMD窗口中,通过ollama下载开源的大语言模型,并在本地进行部署,下图就是以Google的开源模型gemma2为例子;
    在这里插入图片描述
  • 在ollama的library网页可以查看ollama可以下载并部署的大语言模型,如下图选择的就是deepseek-r1:14b模型;
  • “B” 指的是模型的参数数量,例如"7B"即这个模型有70亿(Billion)个参数。
  • 参数是机器学习模型中用来从数据中学习的变量。
  • 参数数量是衡量模型复杂度和容量的一个指标,通常参数数量越多,模型的表达能力越强,但同时也需要更多的数据和计算资源来训练。
  • 所以在本地部署模型的时候,要根据电脑配置选取合适参数变量的模型;
    在这里插入图片描述

2 非docker方式安装open-webui

使用 PyCharm 作为集成开发环境(IDE),并结合 Miniconda 来管理 Python 环境和依赖

    1. pycharm创建项目(按需命名),miniconda创建虚拟环境,注意创建时选用的python版本需要大于等于3.11;
      在这里插入图片描述
    1. 在pycharm终端确认虚拟环境已经激活,然后通过以下命令安装open-webui,安装过程会有些慢;
  pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple open-webui

在这里插入图片描述

  • 安装的时候会在这个地方卡很久,请耐心等待5-10mins左右;
    在这里插入图片描述

  • 3.通过以下命令启动open-webui,下图是我第二次启动的样子,第一次应该会比较慢,需要安装很多依赖包;如果过程中出现安装失败的情况,就需要科学上网解决;或者访问这个视频网址,根据up主的方式去解决;

open-webui serve       

在这里插入图片描述

  • 4.根据上面的信息,open-webui是部署在本机的8080端口上,所以通过以下网址可以进行访问,访问以后来到注册界面,如下图,这个注册只需要填写信息即可注册,且第一个注册人员就是管理员;
localhost:8080

在这里插入图片描述

    1. 成功登陆以后界面如下,将界面语言设置成简体中文;
      在这里插入图片描述

3下载并部署模型deepseek-r1

  • 1.在open-webui中按照下图标注打开管理模型的界面;
    在这里插入图片描述

  • 2.点击标注的地方;
    在这里插入图片描述

  • 3.按照以下标注顺序下载和部署模型
    在这里插入图片描述

  • 下载完成以后,就可以按照下图,在“新对话”的界面中选取部署好的模型,然后就能正常使用了;
    在这里插入图片描述


更多关于open-webui的使用可以参考:

  • 三分钟一键部署Ollama!解压即用!
  • OpenWebUI+Ollama本地部署保姆级教程(非Docker),轻松搭建大语言模型!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/961015.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【问题】Chrome安装不受支持的扩展 解决方案

此扩展程序已停用,因为它已不再受支持 Chromium 建议您移除它。详细了解受支持的扩展程序 此扩展程序已停用,因为它已不再受支持 详情移除 解决 1. 解压扩展 2.打开manifest.json 3.修改版本 将 manifest_version 改为3及以上 {"manifest_ver…

RoboVLM——通用机器人策略的VLA设计哲学:如何选择骨干网络、如何构建VLA架构、何时添加跨本体数据

前言 本博客内解读不少VLA模型了,包括π0等,且如此文的开头所说 前两天又重点看了下openvla,和cogact,发现 目前cogACT把openvla的动作预测换成了dit,在模型架构层面上,逼近了π0​那为了进一步逼近&#…

嵌入式知识点总结 Linux驱动 (三)-文件系统

针对于嵌入式软件杂乱的知识点总结起来,提供给读者学习复习对下述内容的强化。 目录 1.什么是文件系统? 2.根文件系统为什么这么重要?​编辑 3.可执行映像文件通常由几部分构成,他们有什么特点? 1.什么是文件系统&a…

【AI大模型】提示词(Prompt)全面解析

文章目录 前言前置准备(非常重要)一、Prompt 提示词介绍1.1 Prompt 的重要性 二、Prompt 提示词元素构成与实践2.1 关键字2.2 上下文2.3 格式要求2.4 实践示例 三、Prompt 提示词编写原理3.1 清晰性3.2 具体性3.3 适应性 四、Prompt 提示词编写常用的分隔…

react native在windows环境搭建并使用脚手架新建工程

截止到2024-1-11,使用的主要软件的版本如下: 软件实体版本react-native0.77.0react18.3.1react-native-community/cli15.0.1Android Studio2022.3.1 Patch3Android SDKAndroid SDK Platform 34 35Android SDKAndroid SDK Tools 34 35Android SDKIntel x…

Linux环境基础开发工具的使用(apt, vim, gcc, g++, gbd, make/Makefile)

什么是软件包 在Linux下安装软件, 一个通常的办法是下载到程序的源代码, 并进行编译, 得到可执行程序. 但是这样太麻烦了, 于是有些人把一些常用的软件提前编译好, 做成软件包(可以理解成windows上的安 装程序)放在一个服务器上, 通过包管理器可以很方便的获取到这个编译好的…

[c语言日寄]越界访问:意外的死循环

【作者主页】siy2333 【专栏介绍】⌈c语言日寄⌋:这是一个专注于C语言刷题的专栏,精选题目,搭配详细题解、拓展算法。从基础语法到复杂算法,题目涉及的知识点全面覆盖,助力你系统提升。无论你是初学者,还是…

终极的复杂,是简单

软件仿真拥有最佳的信号可见性和调试灵活性,能够高效捕获很多显而易见的常见错误,被大多数工程师熟练使用。 空间领域应用的一套数据处理系统(Data Handling System),采用抗辐FPGA作为主处理器,片上资源只包含10752个寄存器,软仿也是个挺花时间的事。 Few ms might take …

第一个3D程序!

运行效果 CPP #include <iostream> #include <fstream> #include <string> #include <cmath>#include <GL/glew.h> #include <GLFW/glfw3.h> #include <glm/glm.hpp> #include <glm/gtc/type_ptr.hpp> #include <glm/gtc/…

vim如何解决‘’文件非法关闭后,遗留交换文件‘’的问题

过程描述&#xff1a; 由于我修改文件时&#xff08;一定得修改了文件&#xff0c;不做任何修改不会产生这个问题&#xff09;的非法关闭&#xff0c;比如直接关闭虚拟机&#xff0c;或者直接断开远程工具的远程连接&#xff0c;产生了以下遗留交换文件的问题&#xff1a; 点击…

t113_can增加驱动

1 基于太极派的SDK添加 //设备树添加can0: can2504000 {compatible "allwinner,sun20i-d1-can";reg <0x0 0x02504000 0x0 0x400>;interrupts <GIC_SPI 21 IRQ_TYPE_LEVEL_HIGH>;clocks <&ccu CLK_BUS_CAN0>;resets <&ccu RST_BUS_…

力扣【669. 修剪二叉搜索树】Java题解

一开始在想为什么题目说存在唯一答案。然后发现是二叉搜索树就合理了。如下图&#xff1a;如果0节点小于low&#xff0c;那其左子树也都小于low&#xff0c;故可以排除&#xff1b;对于4&#xff0c;其右子树也是可以排除。 代码如下&#xff1a; class Solution {public Tre…

WSL安装CUDA

WSL安装CUDA 参考文档&#xff1a; ​ 总安装文档&#xff1a;https://docs.nvidia.com/cuda/cuda-installation-guide-linux/#wsl-installation 1. 下载cuda ​ 进入下载界面&#xff1a;https://developer.nvidia.com/cuda-downloads?target_osLinux&target_archx86_…

浅谈Linux的发展

目录 1.Linux背景 1.1 发展史 UNIX发展的历史 1.2开源 1.3官网 1.4.企业应用现状 1.5.发行版本 1.6 os概念&#xff0c;定位 1.Linux背景 1.1 发展史 学习Linux系统编程&#xff0c;你可能要问Linux从哪里来&#xff1f;它是怎么发展的&#xff1f;在这里简要介绍Linux的发展史…

Unbutu虚拟机+eclipse+CDT编译调试环境搭建

问题1: 安装CDT&#xff0c;直接Help->eclipse Market space-> 搜cdt , install&#xff0c;等待重启即可. 问题2&#xff1a;C变量不识别vector ’could not be resolved 这是库的头文件没加好&#xff0c;右键Properties->C Build->Enviroment&#xff0c;增加…

操作系统(Linux Kernel 0.11Linux Kernel 0.12)解读整理——内核初始化(main init)之缓冲区的管理

前言 当一个程序需要读取硬盘上的一个逻辑块时&#xff0c;就会向缓冲区管理程序提出申请。而请求读写的程序进程则进入睡眠等待状态。缓冲区管理程序首先在缓冲区中寻找以前是否已经读取过这块数据。如果缓冲区中已经有了&#xff0c;就直接将对应的缓冲区块头指针返回给程序并…

服务器上安装Nginx详细步骤

第一步&#xff1a;上传nginx压缩包到指定目录。 第二步&#xff1a;解压nginx压缩包。 第三步&#xff1a;配置编译nginx 配置编译方法&#xff1a; ./configure 配置编译后结果信息&#xff1a; 第四步&#xff1a;编译nginx 在nginx源文件目录中直接运行make命令 第五步&…

【算法】经典博弈论问题——威佐夫博弈 python

目录 威佐夫博弈(Wythoff Game)【模板】 威佐夫博弈(Wythoff Game) 有两堆石子&#xff0c;数量任意&#xff0c;可以不同&#xff0c;游戏开始由两个人轮流取石子 游戏规定&#xff0c;每次有两种不同的取法 1)在任意的一堆中取走任意多的石子 2)可以在两堆中同时取走相同数量…

linux挂载新硬盘,查看新硬盘,格式化分区,创建挂载点,挂载逻辑卷,整盘方式挂载,LVM方式挂载,查看linux 磁盘卷组的剩余空间,ext4与xfs区别

摘要 挂载新硬盘&#xff0c;本文作者整理了几乎所有相关的知识点 作者采用的是本文第二种挂载方式&#xff08;LVM&#xff09;&#xff0c;只用了下面6条命令搞定 # 说明&#xff1a; # /dev/mapper/appvg-mylv1 逻辑卷完整名称 # # /dev/mapper目录是Linux系统中用…

Golang并发机制及CSP并发模型

Golang 并发机制及 CSP 并发模型 Golang 是一门为并发而生的语言&#xff0c;其并发机制基于 CSP&#xff08;Communicating Sequential Processes&#xff0c;通信顺序过程&#xff09; 模型。CSP 是一种描述并发系统中交互模式的正式语言&#xff0c;强调通过通信来共享内存…