文章目录
- 一、下载LM Studio
- 二、下载大语言模型
- 1. 查看模型介绍
- 2. 点击模型文件进行下载
- 2.1 完整下载
- 2.2 部分下载
- 三、加载模型
- 1. 打开LM Studio图形化界面,点击**My Models**
- 2. 然后,点击“...”,选择“change”,选择刚下载好的存储模型的models文件夹
- 3. 选择要使用的模型
- 四、开启学习之旅
有时候需要使用离线大语言模型,然后看到了一个非常好用的客户端LM Studio,所以来分享一下。它可以提供图形化界面来运行本地大语言模型,非常方便。接下来,我将分享如何通过LM Studio来快速搭建自己的离线大语言模型。
一、下载LM Studio
LM Studio下载:https://lmstudio.ai/?utm_source=ai-bot.cn
下载完后,直接安装即可。
安装完后,打开的界面:
二、下载大语言模型
虽然LM Studio里面可直接下载模型,但是在国内往往正常下载速度非常慢,所以,推荐去国内的魔搭社区下载模型。
魔搭社区官网:https://www.modelscope.cn/models
可以看到这里有非常多的LLMs(大语言模型),可以选择适合你的电脑配置的模型,下载下来。
我的电脑处理器为12th Gen Intel® Core™ i5-12500H 3.10 GHz,试了一下,7B(70亿参数)模型如果是5G多的模型文件,可以跑起来,速度还可以,再大点的就加载不起来,配置不够;然后下载了一个3B的模型,选择.gguf文件如果是2到3G的,输出非常快,选择5G以上的话,输出的时候,就可以明显感觉到慢了,不过还能接受。
拿这个3B的模型举例:
测试的7B的模型:
1. 查看模型介绍
有的模型会在模型介绍中,详细写明适合的配置以及如何安装的多种方法和注意事项,所以先查看模型介绍。
2. 点击模型文件进行下载
大多数模型提供了多个不同大小的模型存储文件(比如GGUF文件),可以选择性的下载模型存储文件。也可以全部下载。下载后,在自定义位置新建一个路径为models\Publisher\Repository,然后把下载的模型文件放在Repository文件夹下(也可以在Repository文件夹下新建文件夹,然后存放下载的模型文件)。
2.1 完整下载
想全部下载的话,可以点击最右边的下载模型按钮,打开后会有多种下载方式,选择一种下载方式即可。
2.2 部分下载
部分下载可以点击每个文件最右边的下载按钮,下载想要的大语言模型文件,放到自定义位置新建路径models\Publisher\Repository的Repository文件夹下。
三、加载模型
1. 打开LM Studio图形化界面,点击My Models
2. 然后,点击“…”,选择“change”,选择刚下载好的存储模型的models文件夹
选择之后,顺利的话,会自动识别出语言模型,显示在下面。
3. 选择要使用的模型
点击“chat”,然后在上面选择一个你想使用的模型。
然后回出现一些自定义参数配置,通常默认即可,你也可以自己调参数。然后点击右下角的“Load Model”。
四、开启学习之旅
现在,离线的语言模型就部署好啦,可以开启学习之旅啦。
如果本文对你有一点点帮助,可以为我点个免费的赞,支持一下嘛,也期待你的评论和关注哦。^_^