零刻SER8 AMD 8845Hs Ryzen AI 本地部署大语言模型教程!

零刻SER8 8845HS,配备了一个内置的 NPU(神经网络处理单元),可以通过LM Studio语言大模型来部署己的 GPT 模型 AI 聊天机器人,AI 助手已迅速成为提高生产力、效率,甚至是头脑风暴的关键资源。在本地机器上运行 AI 聊天机器人不仅不需要互联网连接,而且你的对话也保存在本地机器上。
AMD 8845Hs Ryzen AI
  • AI 引擎性能:最高可达 16 TOPS(每秒万亿次操作)

  • 总处理器性能:最高可达 38 TOPS

零刻SER8 IPU默认状态为开启状态,无需再进行二次开启操作,可在设备管理器中查看相关的设备状态。

在这里插入图片描述

操作步骤:

1.下载LM Studio大模型部署软件,点击链接进入官网,https://lmstudio.ai/,下载Windows版本

在这里插入图片描述

2.下载完成后,双击进行启动进入软件界面

在这里插入图片描述

3.AMD官方这里提供了两个大语言模型,Mistral 7b(TheBloke/OpenHermes-2.5-Mistral-7B-GGUF)和LLAMA v2 7b(TheBloke/Llama-2-7B-Chat-GGUF),这里的7b指的是70亿参数训练出来的大模型,我们选择LLAMA v2 7b语言大模型进行下载,点击左侧搜索按钮(如果搜索提示网络报错,可查看LM Studio语言大模型部署软件搜索语言模型报错“Error searching for models ‘Network error’”解决办法)

在这里插入图片描述

4.在搜索栏中复制并粘贴以下搜索词:“TheBloke/Llama-2-7B-Chat-GGUF”,在右侧选择’Q4 K M’模型文件点击’Download’进行下载

在这里插入图片描述

5.耐心等待下载完成

在这里插入图片描述

6.下载完成后,点击左侧的聊天按钮,切换到聊天模式

在这里插入图片描述

7.点击顶部,切换刚刚下载的语言大模型包

在这里插入图片描述

8.等待模型加载完成就可以使用了,LLAMA v2 7b模型只支持英文,如果需要中文可以使用其他的大语言模型。

在这里插入图片描述

9.推荐中文语言大模型"TheBloke/openHermes-2.5-Mistral-7B-GGUF"搜索后,可在右侧选择’Q4 K M’模型文件点击’Download’进行下载

在这里插入图片描述

10.下载完成后,点击聊天按钮,在顶部选择大语言模型进行切换

在这里插入图片描述

在这里插入图片描述

更多其它大语言模型:

“PrunaAI/Llama3-8B-Chinese-Chat-GGUF-smashed” 来源 https://zhuanlan.zhihu.com/p/696250131

“zhouzr/Llama3-8B-Chinese-Chat-GGUF”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/690101.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

端午搞个零花钱,轻松赚取创业的第一桶金!2024最受欢迎的创业项目,2024新的创业机会

好好的端午节, 净给我添堵! 本来我打算在端午节愉快的玩耍, 结果一大早起床却看到舍友在给一堆设备充电, 然后装的整整齐齐, 满满一书包。 我好奇他小子这是要干嘛? 不会是打算今天回去给亲朋好友准备…

图神经网络(GNN)的原理及应用

什么是图神经网络 (GNN)? 图神经网络 (GNN) 是一种神经网络架构和深度学习方法,可以帮助用户分析图,使他们能够根据图的节点和边描述的数据进行预测。 图形表示数据点(也称为节点&…

MacOS_奇安信天擎卸载指南,无需管理员密码

背景 奇安信天擎是一款基于云端的终端安全管理软件,在某些情况下,用户可能需要卸载该软件,例如 1、入职企业后使用的是自己的电脑,离职后监控软件还在 2、自己无意下载的软件或被病毒感染后强制下载的垃圾软件 3、员工看不惯企业监控自己的这个行为,使用技术手段屏蔽企业…

SQLite3(1):介绍安装与测试

目录 1、SQLite3介绍 2、SQLite3的优势和特性 3、SQLite3安装与测试 3.1 SQLite3安装 3.2 SQLite3测试 4、SQLite3简单使用 4.1 连接数据库文件 4.2 创建信息表 4.3 插入三个学生信息 4.4 确认信息 5、总结 1、SQLite3介绍 SQLite3是一种轻量级的关系型数据库管理系…

使用 CloudFlare Turnstile 解决跨境电商站的垃圾邮件侵扰

最近明月一个跨境电商代维客户的网站被垃圾邮件侵扰了,从最开始的每天几封疯狂到每天几百上千封垃圾邮件,几乎所有可拦截屏蔽的关键词都是随机可变的,简单的邮件客户端拦截基本已经没有任何效果了,在收到用户的求助后经过分析发现主要是利用网站在线咨询页面里的邮件发送造…

C++| 一维线性插值、imadjust函数

前言:最近要从Matlab代码改C代码,不能直接用Matlab生成的C代码,因为需要嵌入到已有项目中。Matlab本身有很多很方便的数学公式,但是在C里没有相关的库的话,需要自己实现。 一维线性插值、imadjust函数 一维线性插值原理…

Ubuntu项目部署

解压jdk tar -zxvf jdk-8u151-linux-x64.tar.gz 配置Java环境变量: vim ~/.bashrc export JAVA_HOME/root/soft/jdk1.8.0_151 export JRE_HOME${JAVA_HOME}/jre export CLASSPATH.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH${JAVA_HOME}/bin:$PATH 设置环境变…

公差基础(互换性和测量基础)

互换性概念: 图纸设计是理论的,理性的,没有误差的,但是实际上加工上市有误差的。 所以说,实际加工出来的零件是否符合要求,我们需要对图纸上的尺寸精度,几何精度,表面粗糙度进行说明…

【vector模拟实现】附加代码讲解

vector模拟实现 一、看源代码简单实现1. push_backcapacity(容量)sizereserve(扩容)operator[ ] (元素访问) 2. pop_back3. itorator(迭代器)4.insert & erase (头插…

机器学习与数据挖掘知识点总结(一)

简介:随着人工智能(AI)蓬勃发展,也有越来越多的人涌入到这一行业。下面简单介绍一下机器学习的各大领域,机器学习包含深度学习以及强化学习,在本节的机器学习中主要阐述一下机器学习的线性回归逻辑回归&…

Day46 代码随想录打卡|二叉树篇---从中序与后序遍历序列构造二叉树

题目(leecode T106): 给定两个整数数组 inorder 和 postorder ,其中 inorder 是二叉树的中序遍历, postorder 是同一棵树的后序遍历,请你构造并返回这颗 二叉树 。 方法:本题要通过中序遍历和后…

【面试干货】如何选择MySQL数据库存储引擎(MyISAM 或 InnoDB)

【面试干货】如何选择MySQL数据库存储引擎(MyISAM 或 InnoDB) 💖The Begin💖点点关注,收藏不迷路💖 MySQL数据库存储引擎是一个 关键 的考虑因素。MySQL提供了多种存储引擎,其中最常用的是 MyISAM 和 InnoD…

实习记录2

1.flowable框架参数传递大概流程 通过传递xml,传递到后端,然后后端去解析 2.vue封装组件 在 Vue.js 中创建可复用的自定义组件是一个常见的需求,这样可以提高代码的复用性和可维护性。下面是一个简单的步骤指南,帮助你创建一个…

【kyuubi-spark】从0-1部署kyuubi集成spark执行spark sql到k8s读取iceberg的minio数据

一、背景 团队在升级大数据架构 前端使用trino查询,对trino也进行了很多优化,目前测试来看,运行还算稳定,但是不可避免的trino的任务总会出现失败的情况。原来的架构是trino失败后去跑hive,而hive是跑mapreduce依赖于…

C# list线程安全

不安全的例子 /// <summary> /// 不安全的例子 /// </summary> static void unSalfe() {List<int> mylist new List<int>();var t Task.Run(()>{Thread.Sleep(2000);for(int i0; i<20; i){mylist.Add(3);Thread.Sleep(1);}System.Console.Wri…

【全开源】云调查考试问卷系统(FastAdmin+ThinkPHP+Uniapp)

便捷、高效的在线调研与考试新选择​ 云调查考试问卷是一款基于FastAdminThinkPHPUniapp开发的问卷调查考试软件&#xff0c;可以自由让每一个用户自由发起调查问卷、考试问卷。发布的问卷允许控制问卷的搜集、回答等各个环节的设置&#xff0c;同时支持系统模板问卷&#xff…

微信小程序毕业设计-综合文化信息管理系统项目开发实战(附源码+论文)

大家好&#xff01;我是程序猿老A&#xff0c;感谢您阅读本文&#xff0c;欢迎一键三连哦。 &#x1f49e;当前专栏&#xff1a;微信小程序毕业设计 精彩专栏推荐&#x1f447;&#x1f3fb;&#x1f447;&#x1f3fb;&#x1f447;&#x1f3fb; &#x1f380; Python毕业设计…

【vscode-快捷键 一键JSON格式化】

网上有很多JSON格式化工具&#xff0c;也有很多好用的在线json格式化工具。但是其实Vscode里面的可以直接格式化JSON&#xff0c;这里分享一个我常用的小插件 Prettify JSON 未格式化的JSON数据 召唤出命令行&#xff0c;输入prettify JSON 即可! ✿✿ヽ(▽)ノ✿

基于STM32开发的智能家居监控系统

目录 引言环境准备智能家居监控系统基础代码实现&#xff1a;实现智能家居监控系统 4.1 传感器数据读取4.2 电器设备控制4.3 实时数据监控与分析4.4 用户界面与数据可视化应用场景&#xff1a;家庭安全监控与管理问题解决方案与优化收尾与总结 1. 引言 随着智能家居技术的发…

Go微服务: 关于消息队列的选择和分类以及使用场景

消息队列概述 在分布式系统和微服务架构中&#xff0c;消息队列&#xff08;Message Queue&#xff09;是一个核心组件&#xff0c;用于在不同的应用程序或服务之间异步传递消息在 Go 语言中&#xff0c;有多种实现消息队列的方式&#xff0c;包括使用开源的消息队列服务&…