从 0 开始本地部署大语言模型

在这里插入图片描述

1、准备

● Ollama:ollama.com
● Docker:https://docs.openwebui.com/

2、下载 Ollama

进入 Ollama 官网,点击 Download 。
在这里插入图片描述

下载完成后,双击安装,什么都不需要勾选,直接下一步即可。安装完成,电脑 Mac(右上角)Windows(右下角)出现这个图标就说明安装成功了。
在这里插入图片描述

另外:windows 电脑还需要设置一下环境变量(mac 不需要)。因为Ollama 默认将模型安装在 c 盘,会造成电脑资源紧张。配置如下:
我的电脑-右键-属性中的高级系统设置找到环境变量
系统环境变量名OLLAMA_MODELS,值就是你要把大模型安装的位置,这里我使用 G:\Ollama(换成你自己的)。

3、安装大模型

● 打开电脑终端
● 运行命令 ollama run llama3
● 接下来等待安装完成即可
在这里插入图片描述

点击Ollama 官网的 Models
在这里插入图片描述

可以看到支持很多的模型
在这里插入图片描述

随便选择一个,点击进去
在这里插入图片描述

我们在下拉框可以看到,不同的类型,需要不同的电脑磁盘空间,当然越大的,模型就越聪明

4、Ollama的常用操作

● ollama list:列出已安装的本地大型模型信息
● ollama pull xxx:version:更新模型
● ollama rm xxx:删除不再使用的模
● ollama -h:帮助

5、安装Docker

打开官网,点击Getting Started。看Before You Begin的内容,不同的系统下载 docker 的方式
在这里插入图片描述

点击进入docker下载
在这里插入图片描述

下载完成后,双击安装即可
在这里插入图片描述

接下来是安装 open-webui,有几种安装配置,ollama 安装在你的电脑、安装在不同的服务器上
在这里插入图片描述

打开终端,运行命令
在这里插入图片描述

然后访问:http:localhost:3000
注册一个账号(注册的数据都是存储在本地的)
登录进去
选择你安装的模型,你可以安装多个,来回切换
在这里插入图片描述

接下来,你就可以玩起来了
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/641813.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

[读论文]精读Self-Attentive Sequential Recommendation

论文链接:https://arxiv.org/abs/1808.09781 其他解读文章:https://mp.weixin.qq.com/s/cRQi3FBi9OMdO7imK2Y4Ew 摘要 顺序动态是许多现代推荐系统的一个关键特征,这些系统试图根据用户最近执行的操作来捕获用户活动的“上下文”。为了捕捉…

Hive运行错误

Hive 文章目录 Hive错误日志错误SessionHiveMetaStoreClientql.Driver: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTaskerror: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster Please check …

GIT 新建分支和合并分支

文章目录 前言一、新建分支二、切回老分支,保留新分支的更改三、合并分支 前言 本文主要针对以下场景进行介绍: 场景一:创建新的分支 当前分支(dev_1)已经开发完毕,下一期的需求需要在新分支(dev_2)上进行开发,如何创…

每日5题Day8 - LeetCode 36 - 40

每一步向前都是向自己的梦想更近一步,坚持不懈,勇往直前! 第一题:36. 有效的数独 - 力扣(LeetCode) 题目要求我们进行判断,我们不需要自己填写,所以要一个标志位,来看当…

LLM——探索大语言模型在心理学方面的应用研究

1. 概述 心理学经历了多次理论变革,目前人工智能(AI)和机器学习,特别是大型语言模型(LLMs)的使用,预示着新研究方向的开启。本文详细探讨了像ChatGPT这样的LLMs如何转变心理学研究。它讨论了LL…

从旅游广告联想到《桃花源记》

近日收到《长江头条网》等知名网络自媒体相邀,促我写点儿旅游题材的文案。虽说笔者游历过许多名山大川的绝美风景区,但那是在70岁之前的事儿了。如今年逾78岁,纵使有少许自有资本能够支持出游,可体力难撑,岂不是花钱买罪受吗?而且,写没有亲身经历过的事挺难,即便发表出…

台灯的功能作用有哪些?护眼台灯真的护眼吗?

现在的学生会长时间使用平板、手机、电脑等,这些设备的屏幕会产生一定的频闪和蓝光辐射,也就会影响视力健康,而护眼养眼也成了家长关注的问题,视力疲劳和眼部疾病不仅影响个体的生活质量,还可能导致长期的健康问题。当…

装修:尽显个性品味

家,是心灵的港湾,也是生活的舞台。装修,不仅是对空间的改造,更是对生活态度的诠释。无论是温馨的北欧风,还是华丽的欧式古典,或是简约的现代感,我们的专业团队都能为您量身打造。每一个细节&…

力扣--哈希表13.罗马数字转整数

首先我们可以知道,一个整数,最多由2个罗马数字组成。 思路分析 这个方法能够正确将罗马数字转换为阿拉伯数字的原因在于它遵循了罗马数字的规则,并且对这些规则进行了正确的编码和处理。 罗马数字规则 罗马数字由以下字符组成&#xff1a…

如何使用ffmpeg 实现10种特效

相关特效的名字 特效id 特效名 1 向上移动 2 向左移动 3 向下移动 4 颤抖 5 摇摆 6 雨刷 7 弹入 8 弹簧 9 轻微跳动 10 跳动 特效展示(同时汇总相关命令) pad背景显示 pad背景透明 相关命令(一会再讲这些命令,先往下看) # 合成特效语音 ffmpeg -y -loglevel erro…

Pandas高效数据清洗与转换技巧指南【数据预处理】

三、数据处理 1.合并数据(join、merge、concat函数,append函数) Concat()函数使用 1.concat操作可以将两个pandas表在垂直方向上进行粘合或者堆叠。 join属性为outer,或默认时,返回列名并集,如&#xff…

day34 贪心算法 455.分发饼干 376. 摆动序列

贪心算法理论基础 贪心的本质是选择每一阶段的局部最优,从而达到全局最优。 贪心一般解题步骤(贪心无套路): 将问题分解为若干个子问题找出适合的贪心策略求解每一个子问题的最优解将局部最优解堆叠成全局最优解 455.分发饼干 …

2024年最全的信息安全、数据安全、网络安全标准分享(可下载)

以上是资料简介和目录,如需下载,请前往星球获取:https://t.zsxq.com/Gz1a0

Unity3D雨雪粒子特效(Particle System)

系列文章目录 unity工具 文章目录 系列文章目录👉前言👉一、下雨的特效1-1.首先就是创建一个自带的粒子系统,整几张贴图,设置一下就能实现想要的效果了1-2 接着往下看视频效果 👉二、下雪的特效👉三、下雪有积雪的效果3-1 先把控…

基于Android studio 订餐、外卖系统

目录 项目介绍 图片展示 运行环境 获取方式 项目介绍 具有登录,注册,修改密码,查看关于开发信息(可以填写自己的信息) 我的:可以查看菜品详情,填写份数,加入购物车, 购物车:可…

ElasticSearch操作之重置密码脚本

ElasticSearch操作之重置密码脚本 #!/bin/bash # 使用样例 ./ES密码重置.sh 旧密码 新密码# 输入旧密码 es_old_password$1# 设置新的密码变量 es_password$2# 正确响应 es_reponse{"acknowledged":true}# 检查Elasticsearch是否在运行 if pgrep -f elasticsearch &g…

Java订餐系统源码 springboot点菜系统源码

Java订餐系统源码 springboot点菜系统源码 源码下载地址:https://download.csdn.net/download/xiaohua1992/89341358 功能介绍: 前台登录:前台登录: ①首页:菜品信息推荐、菜品信息展示、查看更多 ②菜品信息&…

IPIDEA与您分享:代理IP究竟是如何保护用户隐私的?

在信息化、网络化的今天,互联网已成为人们生活中不可或缺的一部分。无论是日常沟通、学习工作,还是娱乐休闲,网络都扮演着举足轻重的角色。然而,随着网络活动的增加,网络安全问题也日益凸显,为了保护个人隐…

Vue速成学习笔记

这两天速成了一下Vue,在这里记录一下相关的笔记,之后有时间详细学Vue的时候再来回顾一下! 一、Vue理解 1、Vue的核心特征:双向绑定。 在网页中,存在视图和数据。在Vue之前,需要使用JavaScript编写复杂的逻…

vue 打印、自定义打印、页面打印、隐藏页眉页脚

花了一天时间搞了个打印功能,现则将整体实现过程进行整理分享。先来看看效果图: 1、页面展示为: 2、重组页面打印格式为:这里重组页面的原因是客户要求为一行两列打印 !内容过于多的行则独占一行显示完整。 整体实现&…