手把手带你本地部署大模型

这篇文章的唯一目的是实现在本地运行大模型,我们使用LMStudio这个工具协助达成这个目标。

文章目录

  • 一,下载安装LM Studio
  • 二,本地部署大模型
    • 1,搜索模型
    • 2,下载大模型
    • 3,加载大模型
    • 4,测试大模型
    • 5,部署大模型
    • 6, 验证

一,下载安装LM Studio

打开下载页面https://lmstudio.ai/下载LM Studio。

在这里插入图片描述
这个工具是免安装的,双击就可以打开软件。
在这里插入图片描述

二,本地部署大模型

1,搜索模型

打开LM Studio后,就可以在软件中搜索要部署的模型了,比如我们想部署阿里的通义千问,可以输入关键字qwen

在这里插入图片描述

搜索结果会以列表的形式罗列出来。

在这里插入图片描述

我们会发现通过关键字搜索出来的模型非常多,选择的依据主要有两个

  • 模型参数。上面图中每个模型都带有一个参数,比如7B,14B,0.5B,数字越大,说明模型越复杂,耗费的资源越多,一般在自己的电脑上部署大模型,选择0.5B体验下即可。关于模型参数的具体知识,见文章最后一部分。
  • 模型的格式。要选择GGUF,GGUF格式是为了使大型语言模型的推理更加高效、轻量级和易于部署而设计的,特别适用于资源受限的设备或环境。

2,下载大模型

比方说我们选择高亮的Qwen1.5-1.8B-Chat-GGUF模型。

如下图,在右下角找到Download按钮,点击下载。

在这里插入图片描述
可能会遇到下载很慢的情况,耐心等待,或者不通过这里下载,去网站手段下载模型,然后加载进来也行。

3,加载大模型

在这里插入图片描述
如上图,在LM Studio中按如下步骤,加载刚刚下载的大模型,并进行测试。

  • ① 左侧选择chat
  • ② 点击下拉列表,查看已经下载的大模型
  • ③ 选择我们想要加载的大模型

4,测试大模型

加载大模型之后,按照下面步骤测试大模型是否正常加载。

  • ① 点击 New Chat 新建一个会话
  • ② 输入一个问题,根据AI的回答确认模型是否正常加载

在这里插入图片描述

5,部署大模型

在LM Studio中部署大模型,也非常简单。

  • ① 点击左侧菜单,切换到部署界面
  • ② 点击Start Server按钮,开始部署
    在这里插入图片描述
    大模型很快就部署好了,当然,这是因为我们选择的模型比较小,不用耗费很多资源。

6, 验证

大模型部署好了之后,LM Studio中还提供了各种访问大模型的Demo。

如下图,我们选择使用Python进行访问,点击chat(python)按钮,copy下面的代码到pycharm中,执行代码。
在这里插入图片描述
如果在LM Studio的控制台能看到类似的日志,说明大模型运行正常。

在这里插入图片描述

关于大模型参数的补充知识

在提及大模型如7B、33B、70B时,这里的数值代表的是模型的参数量,也就是构成神经网络的权重和偏置的数量。在深度学习中,模型的复杂度与其参数量成正比,更多的参数意味着模型具有更强的学习能力和表达能力,但也需要更多的计算资源来进行训练和推理。

  • 7B:指的是模型拥有大约70亿(7 Billion)个参数。
  • 33B:指的是模型拥有大约330亿(33 Billion)个参数。
  • 70B:指的是模型拥有大约700亿(70 Billion)个参数。

这些参数是模型学习得到的,用于捕捉输入数据与输出预测之间的复杂关系。较大的模型通常能够更好地拟合复杂的数据分布,但同时也可能带来过拟合的风险,需要大量的数据进行训练以避免这种情况。

在实际应用中,选择多大的模型取决于多种因素,包括计算资源的限制、模型的预期用途、数据集的大小和复杂性等。例如,对于资源有限的设备,可能需要使用较小的模型(如7B);而对于云服务或高性能计算集群,则可能使用更大的模型(如70B)。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/786760.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Java实战:寻找完美数

文章目录 一、何谓完美数二、寻找完美数(一)编程思路(二)编写程序(三)运行程序 三、实战小结 一、何谓完美数 完美数是一种特殊的自然数,它等于其所有正除数(不包括其本身&#xff…

算法——同步算法

在力扣有这样一道题求交集,与此类似的还有求差集,相关的解法有很多。我这里提供一种思路:利用C的容器set对这两个数组去重,遍历数组插入set即可去重。再同时遍历比较set的每个元素。 代码实现很简单,如下所示&#xff…

《mysql篇》--索引事务

索引 索引的介绍 索引是帮助MySQL高效获取数据的数据结构,是一种特殊的文件,包含着对数据表里所有记录的引用指针,因为索引本身也比较大,所以索引一般是存储在磁盘上的,索引的种类有很多,不过如果没有特殊…

人工智能AI安全认证,我推荐CAISP认证!

在人工智能AI越来越火热的时代,AI信息安全认证已经成为热门职业,是众多知名企业众星捧月的人才! 成为高级AI安全专业官,认准CAISP人工智能安全专家认证! 课程概述: 生成式人工智能、大模型等人工智能技术…

VBA实现Excel的数据透视表

前言 本节会介绍通过VBA的PivotCaches.Create方法实现Excel创建新的数据透视表、修改原有的数据透视表的数据源以及刷新数据透视表内容。 本节测试内容以下表信息为例 1、创建数据透视表 语法:PivotCaches.Create(SourceType, [SourceData], [Version]) 说明&am…

文章SameStr(三):图3代码

“Publication Figure 3” 百度云盘链接: https://pan.baidu.com/s/15g7caZp354zIWktpnWzWhQ 提取码: 4sh7 Libraries Standard Import library(tidyverse) library(cowplot) library(scales) library(ggpubr)Special library(ggridges) library(grid) # library(Hmisc) …

国产鸿道Intewel操作系统与Codesys高实时虚拟化运动控制解决方案

随着运控行业的快速发展,实时与非实时业务的融合应用需求日益增长。例如在机器视觉处理领域,无论是在Windows还是Linux平台上,传统实时操作系统无法与非实时操作系统如Windows或Linux兼容,不能充分利用Windows或者Linux系统的生态…

CC7利用链分析

分析版本 Commons Collections 3.2.1 JDK 8u65 环境配置参考JAVA安全初探(三):CC1链全分析 分析过程 CC7,6,5都是在CC1 LazyMap利用链(引用)的基础上。 只是进入到LazyMap链的入口链不同。 CC7这个链有点绕,下面顺着分析一下利用链。 入口类是Hashtable&…

Java面试八股之MySQL索引B+树、全文索引、哈希索引

MySQL索引B树、全文索引、哈希索引 注意:B树中B不是代表二叉树(binary),而是代表平衡(balance),因为B树是从最早的平衡二叉树演化而来,但是B树不是一个二叉树。 B树的高度一般在2~…

java之循环练习题

思路分析&#xff1a; 代码&#xff1a; public static void main(String[] args) {int sum0;for (int i1;i<100;i){for (int j1;j<i;j) {sum j;}}System.out.println(sum);} 结果为&#xff1a;

量子保密通信协议原理:量子保密通信实验

纸上得来终觉浅&#xff0c;绝知此事要躬行。 在之前的文章中&#xff0c;我们对量子密钥分发协议原理、分发过程进行了详细的描述&#xff0c;今天我们实操一波。博主向大家隆重介绍一下华中师范大学量子保密通信虚拟仿真试验平台&#xff1a;量子保密通信是将量子密钥分发和一…

数字化时代下,财务共享数据分析建设之路

随着人工智能、云计算、大数据、区块链等技术&#xff0c;以及衍生出的各种产品的大发展&#xff0c;使得数字化发展的速度再一次加快&#xff0c;也让数字经济和数字化转型得到了更多人的关注和认可。 在传统经济增长逐渐放缓&#xff0c;市场竞争愈发激烈的局面下&#xff0…

3D模型进入可快速编辑时代,51建模网赋能Web3D展示!

丰富多样的Web3D展示形式&#xff0c;离不开强大的3D互动引擎作为坚实后盾。51建模网依托WebGL技术的先进力量&#xff0c;匠心打造了一款在线3D模型编辑器&#xff0c;它不仅能够迅速优化3D模型效果&#xff0c;更能够生成引人入胜的3D互动内容&#xff0c;让创意无界&#xf…

Linux 系统 CPU 100% 异常问题,能否用一个 Shell 脚本完美解决?

昨天下午突然收到运维邮件报警&#xff0c;显示数据平台服务器cpu利用率达到了98.94%&#xff0c;而且最近一段时间一直持续在70%以上&#xff0c;看起来像是硬件资源到瓶颈需要扩容了&#xff0c;但仔细思考就会发现咱们的业务系统并不是一个高并发或者CPU密集型的应用&#x…

uniapp本地打包到Android Studio生成APK文件

&#xff08;1&#xff09;安装 Android Studio 软件&#xff1b; 下载地址&#xff1a;官方下载地址&#xff0c;英文环境 安装&#xff1a;如下之外&#xff0c;其他一键 next &#xff08;2&#xff09;配置java环境&#xff1b; 下载&#xff1a;j…

第一次坐火车/高铁,如何坐?全流程讲解

第一次坐动车注意事项 第一次乘动车流程&#xff1a;进站→安检→候车厅→找检票口→过闸机→站台候车→找车厢→上车找座→下车→出站 乘车流程 一、进火车站/高铁站&#xff1a;刷购票证件原件进站 1、自助闸机刷证&#xff1a;身份证 2、人工通道&#xff1a;护照、临时…

AFT:Attention Free Transformer论文笔记

原文链接 2105.14103 (arxiv.org) 原文翻译 Abstract 我们介绍了 Attention Free Transformer (AFT)&#xff0c;这是 Transformer [1] 的有效变体&#xff0c;它消除了点积自注意力的需要。在 AFT 层&#xff0c;键key和值value首先与一组学习的位置偏差position biases相结…

九、Linux二进制安装ElasticSearch集群

目录 九、Linux二进制安装ElasticSearch集群1 下载2 安装前准备(单机&#xff0c;集群每台机器都需要配置)3 ElasticSearch单机&#xff08;7.16.2&#xff09;4 ElasticSearch集群&#xff08;8.14.2&#xff09;4.1 解压文件&#xff08;先将下载文件放到/opt下&#xff09;4…

语义言语流畅性的功能连接和有效连接

摘要 语义言语流畅性(SVF)受损在多种神经系统疾病中都存在。虽然已经报道了SVF相关区域的激活情况&#xff0c;但这些区域如何相互连接以及它们在脑网络中的功能作用仍存在分歧。本研究使用功能磁共振成像评估了健康被试SVF静态和动态功能连接(FC)以及有效连接。观察到额下回(…

js替换对象内部的对象名称或属性名称-(第一篇)

方案一&#xff1a;对于值为undefined null 的对象属性不考虑该方案 JSON.parse(JSON.stringify(data).replace(/name/g, new_name)) //data为数组&#xff0c;name为修改前&#xff0c;new_name为修改后 解释&#xff1a;1&#xff09;JSON.stringify()把json对象转成json字…