Ollama 本地大模型框架

图片

该篇教程主要讲解*Ollama的安装和简单使用*

Ollama:
在本地启动并运行大型语言模型。

图片

主要流程目录:

1.安装

2.使用

2.1.下载模型

2.2.简单使用

2.3.中文模型

2.4.中文社区

3.总结

1.安装

创建一个容器

图片

切换”高级视图“

图片

参考填写

ollama
ollama/ollama:latest
https://mmbiz.qpic.cn/sz_mmbiz_png/5xFLia3A3km6oibL7VLZV0B09KTUphrnTjIXGsuraPsJr0a0yzQuxlgjnZnT5m56tDCSic9h2XP34cvNjiaMk1POmQ/640?wx_fmt=png&from=appmsg
http://[IP]:[PORT:11434]/

在这里插入图片描述

Tip:

上面配置是纯CPU运行,如果要使用GPU(Nvidia/AMD)自行看文档

https://hub.docker.com/r/ollama/ollama

添加其他参数

在这里插入图片描述

/root/.ollama

/mnt/user/appdata/ollama

图片

11434

11434

图片

2.使用

上面部署的这个只是一个框架,还需要下载模型才可以运行。如果需要美观的UI界面,还需要另外安装其他应用配合。

2.1.下载模型

来到官网,点击右上角"Model",下载模型

图片

点击可以进行排序,这里我选择llama3

图片

Tip:

- 7b 大小的模型通常至少需要 8GB RAM

- 13b 大小的模型通常至少需要 16GB RAM

- 33b 大小的模型通常至少需要 32GB RAM

- 70b 大小的模型通常需要至少 64GB RAM

可以选择模型大小进行下载,复制右侧代码(不指定大小默认是8B)

图片

打开ollama的控制台

图片

Tip:

一定要保证网络通畅,还有一定不要关闭弹窗不然就看不到进度了

拉取llama3模型

ollama pull llama3

图片

模型下载完成

图片

2.2.简单使用

因为没有UI界面,所以还是在这个控制台界面操作

列出模型

ollama list

图片

前面部分就是名称了(只有一个版本的话,可以不用后面版本)

在这里插入图片描述

运行模型

ollama run 模型名称

图片

可以直接输入问题,回车确认

图片

中文也是没问题的

图片

2.3.中文模型

虽然一般的模型都可以中文问答,但是有时候还是会出现英文回复现象。所以我建议是可以直接用中文微调的模型,这样比较省事。

拉取中文模型(拉取一个就行了,这里我是拉取Llama3的)

在这里插入图片描述

运行效果

图片

Tip:

删除模型(如果前面下载的模型不想要了,可以删除)

ollama rm 模型名称

图片

2.4.中文社区

这里属于扩展部分,简单介绍Llama中文社区

Llama中文社区(GitHub),上面相关教程还是很多很全面的,也可以下载中文相关的模型。

https://github.com/LlamaFamily/Llama-Chinese

图片

Llama中文社区(官网),很有意思的网站,建议自行挖宝

https://llama.family/

图片

3.总结

部署和使用其实还是很方便的,没有遇到什么问题,小白也可以轻松上手。本地部署大模型的好处就是不需要联网,数据相当比较安全。虽然运行模型对设备要求不算太高,但想要有一个比较好的体验还是需要性能好一点。

上面测试用的是QNCT(6C12T,而且当时还运行其他占用资源比较多的应用),下面这段话回复大概用了57秒左右

图片

需要内存还是比较大的,会随着使用增多

没有加载模型前

图片

加载模型以后

图片

回复问题时

图片

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/664413.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

07.爬虫---使用session发送请求

07.使用session发送请求 1.目标网站2.代码实现 1.目标网站 我们以这个网站作为目标网站 http://www.360doc.com/ 注册用户 注册后从登录界面获取到这些信息 2.代码实现 import requestssession requests.Session() url http://www.360doc.com/ajax/login/login.ashx u…

Thingsboard物联网网关接入ThingsBoard物联网平台的操作说明

本文包含关于如何配置ThingsBoard 平台和连接钡铼技术R40设备的说明。ThingsBoard平台是一个用于数据收集、处理、可视化和设备管理的开源物联网平台。它通过行业标准MQTT协议实现设备连接。ThingsBoard结合了可扩展性、容错性和性能,因此您永远不会丢失数据。 4G L…

Java垃圾回收_1

一、垃圾回收 1.如何判断对象可以回收 (1)引用计数法 存在循环引用问题, Java未使用这种算法 在引用计数法中,每个对象都有一个引用计数器,记录着指向该对象的引用数量。当引用计数器为零时,表示没有任…

kali自带--DNS路由--信息搜集

目录 DNS信息搜集 whois fierce dnsenum 路由信息搜集 DNS信息搜集 whois whois 域名 --域名注册的时候填的基本信息. fierce 域名的多级域名? 搜索引擎-谷歌搜索 whois 枚举/递归查询 dnsenum dnsenum 域名 -f 文件名 路由信息搜集 icmp经常ping不通--所以kali出了个tcp的…

Maven简介和快速入门

1.1Maven介绍 Maven – Introduction (apache.org) Maven就是一个软件,掌握软件安装、配置、以及基本功能(项目构建、依赖管理)。 1.2Maven主要作用 1.依赖管理: Maven 可以管理项目的依赖,包括自动下载所需依赖库、…

【vscode免密连接云服务器】

目录: 前言1.1 生成 SSH 密钥对1.2 将公钥复制到远程服务器1.3配置remote ssh 插件信息 总结 前言 剑指offer:一年又120天 1.1 生成 SSH 密钥对 在本地cmd命令窗口执行: ssh-keygen -t rsa会提示你设置生成密钥的文件、密码等等,可以一路回…

数据资产价值如何评估?一文详解如何构建数据资产评估的综合框架

数据资产,如同其构成的数据本身,具备物理、存在和信息三重属性。数据资产的物理属性体现在其对存储空间的占用;其存在属性则体现在数据的可读取性上,若数据无法读取,则其作为资产的价值便无从体现。这两个属性共同构成…

IP地址在字符串形式、数字形式和byte数组中的转换

IP地址 ip地址,我们以ipv4为例,字符串形式为:“192.168.0.1”,可以转换成dword类型的数据: on key a {char ipv4AddrStr[16] = "192.168.0.1";//16进制:c0.a8.0.1dword ipv4AddrNum;ipv4AddrNum = ipGetAddressAsNumber(ipv4AddrStr);write("ipv4AddrNu…

Qt-qrencode生成二维码

Qt-qrencode开发-生成二维码📀 文章目录 Qt-qrencode开发-生成二维码📀[toc]1、概述📸2、实现效果💽3、编译qrencode🔍4、在QT中引入编译为静态库的QRencode5、在Qt中直接使用QRencode源码6、在Qt中使用QRencode生成二…

【Unity知识点详解】Addressables的资源加载

今天来简单介绍一下Addressables&#xff0c;并介绍一下如何通过AssetName加载单个资源、如何通过Label加载多个资源、以及如何通过List<string>加载多个资源。由于Addressables的资源加载均为异步加载&#xff0c;所以今天给大家介绍如何使用StartCoroutine、如何使用As…

WHAT - 用户登录系列(二)- 单点登录 SSO

目录 一、认证机制1.1 基于会话的认证&#xff08;Session-based Authentication&#xff09;1. 介绍2. 基本流程 1.2 JSON Web Tokens (JWT)1. 介绍2. jwt 组成3. 基本流程4. 阻止列表5. 刷新令牌 二、单点登录&#xff1a;SSO2.1 单系统登录2.2 SSO 介绍2.3 SSO 登录2.4 SSO …

arcgis api for javascript点击获取要素错乱的问题

今天帮同事看了一个前端地图点击的问题&#xff1a;点击时总会获取到周边的图元&#xff0c;即使我点击线的周围&#xff0c;也是能获取到的&#xff0c;除非离得特别远。 地图组件用的是arcgis api, 图层类是grahicslayer,要素类型是线。这是添加图元的代码&#xff1a; grap…

STM32高级控制定时器之输入捕获模式

目录 概述 1 输入捕获模式 1.1 原理介绍 1.2 实现步骤 1.3 发生输入捕获流程 2 使用STM32Cube配置工程 2.1 软件环境 2.2 配置参数 2.3 生成项目文件 3 功能实现 3.1 PWM调制占空比函数 3.2 应用函数库 4 测试 4.1 功能框图 4.2 运行结果 源代码下载地址&#xf…

基于ELK的日志管理【开发实践】

文章目录 一、ELK简介1.1 ELK的作用与应用1.2 ELK的组成1.3 Elasticsearch1.4 Logstash1.5 Kibana1.6 ELK架构简述1.7 基础知识1.7.1 数据格式1.7.2 正排索引和倒排索引1.7.3 全文搜索 二、ES入门---基于HTTP的使用方式&#xff08;了解&#xff09;2.1 索引操作2.1.1 创建索引…

探索无限可能:API平台引领数据驱动的新时代

在数字化浪潮的推动下&#xff0c;数据已成为推动商业创新和增长的核心动力。然而&#xff0c;数据的获取、整合和应用并非易事&#xff0c;需要跨越技术、安全和效率等多重挑战。幸运的是&#xff0c;API&#xff08;应用程序接口&#xff09;平台的出现&#xff0c;为我们打开…

docker 安装mysql,redis,rabbitmq

文章目录 docker 安装ngnix&#xff0c;mysql,redis,rabbitmq安装docker1.安装下载docker-ce源命令2.安装docker3.查看版本4.查看docker状态5.启动docker6.测试安装ngnix 安装mysql8.0.361.拉取mysql镜像2.安装mysql8 安装redis1.拉取redis7.0.11镜像2.安装redis3.进入容器内部…

159.二叉树:二叉树的层平均值(力扣)

代码解决 /*** Definition for a binary tree node.* struct TreeNode {* int val;* TreeNode *left;* TreeNode *right;* TreeNode() : val(0), left(nullptr), right(nullptr) {}* TreeNode(int x) : val(x), left(nullptr), right(nullptr) {}* Tre…

mybatisPlus3.5.1有个奇葩bug的解决方法

mybatisPlus3.5.1有个奇葩bug的解决方法 文章目录 1.啥bug&#xff1f;1.1mybatisPlus官网及GitHub项目地址1.2 bug问题 2.解决方法2.1根据报错修改表中字段2.2 升级JSqlParser依赖的版本2.3升级mybatisPlus的版本 3.mysql关键字大全4.总结 1.啥bug&#xff1f; 1.1mybatisPlu…

上传RKP 证书签名请求息上传到 Google 的后端服务器

上传证书签名请求 1.准备环境&#xff1a;OK pip3 install google-auth2.13.0 requests2.28下载 device_info_uploader.py 。 没找到先跳过 选项 1&#xff1a;通过 GCP 帐户使用 device_info_uploader.py 运行脚本。 ./device_info_uploader.py --credentials /secure/s…

软件测试可发现所有bug吗?有什么样的原则和目的?

在今天的高度数字化时代&#xff0c;软件测试的重要性不可忽视。这是一种系统性的过程&#xff0c;通过对软件系统进行评估和验证&#xff0c;以确定其是否满足预期要求。在软件开发的各个阶段&#xff0c;软件测试都扮演着至关重要的角色。它涉及到软件功能、性能、安全性等多…