ollama离线部署llama3(window系统)

        首先介绍下ollama是什么?Ollama是一个开源的大型语言模型服务工具,旨在为用户提供本地化的运行环境,满足个性化的需求。具体来说,Ollama是一个功能强大的开源框架,可以简化在Docker容器中部署和管理大型语言模型(LLM)的过程,使得用户能够快速地在本地计算机上运行大型语言模型,如Llama 2等。此外,Ollama还提供了类似OpenAI的API接口和聊天界面,方便用户部署和使用。总的来说,Ollama可以帮助用户实现大型语言模型的本地化运行,从而满足用户对于语言处理任务的个性化需求。

        下面开始下载和安装,下载的话可以到ollama的官网去下载,有window,macOS,liunx三个版本,下载链接

点击下载后等待下载完成,然后会得到一个exe文件:

双击此exe,点击Install直接开始安装,

        安装完毕后,点击window下面的状态栏会看到有ollama的标志,就是刚才exe一样的标识,此时ollama就在运行中了。也可以打开命令提示符窗口,输入ollama list,这个命令是查看已经下载的大模型,因为我这里是刚安装所以是空的:

        ollama只是一个大模型的服务工具,并非大模型本体,所以只是安装ollama也并不能使用大模型,所以接下来要通过ollama下载大模型,需要注意的是,llama3分为多个版本,如果你的电脑性能一般还是安装llama3:8B的版本,除非是很好的电脑,内存64以上,GPU 3090的那种才考虑安装llama3:70B,下面是根据电脑配置推荐的安装版本

RAM:Llama 3 8B至少16GB,Llama 3 70B至少64GB或更多。
GPU:Llama 3 8B具有至少8GB VRAM的强大GPU,Llama 3 70B最好是支持CUDA的NVIDIA GPU。
磁盘空间:Llama 3 8B约为5GB,而Llama 3 70B超过20GB

这类以下载ollama3为例,在命令提示符窗口输入:

ollama run llama3

 这里使用run命令就可以直接下载llama3了,然后等待下载完成。如下图就是下载完成,可以直接在这里提问了,

不过llama3对英文支持更好,可以用英文进行提问,英文不好的话也可以要求它用英文回答。

至此,用ollama部署一个离线的llama3大模型就好啦。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/625835.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

24深圳杯C题18页高质量论文+可执行代码+图表

比赛题目的完整版思路可执行代码数据参考论文都会在第一时间更新上传的,大家可以参考我往期的资料,所有的资料数据以及到最后更新的参考论文都是一次付费后续免费的。注意:(建议先下单占坑,因为随着后续我们更新资料数…

2024年5月中,AITOP100平台活动专区迎来六场AI大赛盛事!

AITOP100平台的活动专区在2024年5月中旬更新的6场AI大赛来了! 随着人工智能技术的飞速发展,AI设计已经成为了创新与创意的新领域。2024年5月中旬,由腾讯研究院、剪映、站酷等互联网大厂主办的6场AI设计大赛震撼来袭,为广大AI设计…

文本到语音的学习笔记:从Docker开始

1.docker 是什么意思? Docker 是一种开源的容器化平台,它允许开发者将应用及其依赖打包到一个轻量级、可移植的容器中,然后可以在任何支持Docker的系统上运行这个应用,而不必担心环境差异导致的问题。 以下是Docker的一些关键特…

【接口测试_03课_-接口自动化思维梳理及Requests库应用】

一、通过代码,实现Jmeter 1、项目要放在虚拟环境里面,解释器要使用虚拟环境的 上面是虚拟环境,下面是系统环境。2选一 venv目录 查看当前虚拟环境已存在的依赖包 2、安装Requests依赖包 1)安装命令 pip install requests 如果…

Windows Server 2022 环境下WEB和DNS服务器配置方法

目录 实验名称:WEB和DNS服务器配置实验目的实验原理:主要设备、器材:实验内容:配置本地WEB站点配置本地DNS服务器 实验名称:WEB和DNS服务器配置 实验目的 掌握 Windows Server 2022 环境下WEB服务器配置方法 掌握 Wi…

RT Thread + CLion环境搭建

RT Thread CLion环境搭建 0.前言一、准备工具1. Env RT Thread v5.12.CLion安装3.编译及下载工具 二、新建Env工程三、CLion配置四、运行测试 0.前言 事情的起因是最近在使用RT Thread Studio时,发现默认的 rtt 内核版本及交叉编译链版本都过于陈旧,于…

【科研】常用的实验结果评价指标(2) —— MAE 是什么? !

了解MAE 提示:先说概念,后续再陆续上代码 文章目录 了解MAE前言一、MAE 基本概念1. MAE 是什么?2. MAE 的起源3. MAE 的计算公式 二、MAE的适用场景是什么?三、MAE 的劣势,或 不适用于那些场景或者数据?四、…

2024成都现代职业教育及装备展6月1日举办 免费参观

2024成都现代职业教育及装备展6月1日举办 免费参观 同期举办:中国西部职业教育产教融合高峰论坛 主办单位: 中国西部教体融合博览会组委会 承办单位:重庆港华展览有限公司 博览会主题:责任教育 职教兴邦 组委会:…

ssti学习(1)

一、成因: 渲染模板时,没有严格控制对用户的输入。(使用了危险的模板,导致用户可以和flask程序进行交互) flask是一种基于web开发的web服务器,如果用户可以和flask交互,则可以执行eval、syste…

嵌入式学习-通用定时器

简介 框图介绍 时钟选择 计数器部分 输入捕获和输出比较框图 嵌入式学习全文参考(小向是个der)做笔记:https://blog.csdn.net/qq_41954556/article/details/129735708

Runes 生态一周要览 ▣ 2024.5.06-5.12

1、香港「Runes Asia 2024」符文峰会之行圆满结束。 2、BEVM 宣布首次大规模 RUNES 空投现已结束!符文桥即将上线。 3、来自 Book of Blob 的交互式视听信息铭刻了第一个 Epic Sat 在 coinex 上市交易。 4、 Binance Research 发布了对 Runes 的报告。 5、HOPE•…

re--SMC

参考:http://t.csdnimg.cn/g7fUY 参考:http://t.csdnimg.cn/qi3q5 简介 SMC,即Self Modifying Code,动态代码加密技术,指通过修改代码或数据,阻止别人直接静态分析,然后在动态运行程序时对代…

嵌入式Linux:编译和使用Protobuf库

目录 1、开发环境和工具 2、安装和编译Protobuf、Protobuf-C库 3、编写和编译proto文件 4、修改makefile文件 5、测试示例 6、参考资料 Protobuf(Protocol Buffers)是由 Google 开发的一种轻量级、高效的结构化数据序列化方式,用于在不同应用…

SSM【Spring SpringMVC Mybatis】——Mybatis(二)

如果对一些基础理论感兴趣可以看这一期👇 SSM【Spring SpringMVC Mybatis】——Mybatis 目录 1、Mybatis中参数传递问题 1.1 单个普通参数 1.2 多个普通参数 1.3 命名参数 1.4 POJO参数 1.5 Map参数 1.6 Collection|List|Array等参数 2、Mybatis参数传递【#与…

单区域OSPF实验

实验目的: 理解OSPF的基本概念。掌握单曲于OSPF的配置掌握OSPF邻居状态的解读掌握通过Cost控制OSPF选路的方法掌握OSPF认证的配置方法 一、基础配置: 搭建实验拓扑图; 配置路由器接口的IP地址以及配置环回地址待后续使用 (1&a…

webjars学习

webjars介绍 官网:WebJars - Web Libraries in Jars github: WebJars GitHub 文档:WebJars - Documentation WebJAR 是一个用于管理Web前端依赖的工具。它允许开发者将特定的客户端库(如JavaScript、CSS等)打包成JAR&#xf…

STL----push,insert,empalce

push_back和emplace_back的区别 #include <iostream> #include <vector>using namespace std; class testDemo { public:testDemo(int n) :num(n) {cout << "构造函数" << endl;}testDemo(const testDemo& other) :num(other.num) {cou…

python的标准数据类型

四、标准数据类型 1、为什么编程语言中要有类型 类型有以下几个重要角色&#xff1a; 对机器而言&#xff0c;类型描述了内存中的电荷是怎么解释的。 对编译器或者解释器而言&#xff0c;类型可以协助确保上面那些电荷、字节在程序的运行中始终如一地被理解。 对程序员而言…

来个大揭秘,有趣的ZIP压缩文件伪加密(附自制演示工具)

网管小贾 / sysadm.cc “太公……太……哎哟……” 员外刚一个转身&#xff0c;与家仆高才撞了个满怀。 员外用手点指&#xff1a;“你你你……你这小厮&#xff0c;跌跌撞撞&#xff0c;成何体统&#xff01;” 高才坐在地上喘气笑脸道&#xff1a;“恭……恭喜……太……太…

使用Pyramid、Mako和PyJade生成 HTML

Pyramid 是一个流行的 Python Web 框架&#xff0c;而 Mako 和 PyJade 是用于模板引擎的工具&#xff0c;它们可以与 Pyramid 配合使用来生成 HTML 内容。但是在实际使用中还是有些差别的&#xff0c;尤其会遇到各种各样的问题&#xff0c;下面我将利用我所学的知识一一为大家解…