这篇文章的唯一目的是实现在本地运行大模型,我们使用LMStudio这个工具协助达成这个目标。
文章目录
- 一,下载安装LM Studio
- 二,本地部署大模型
- 1,搜索模型
- 2,下载大模型
- 3,加载大模型
- 4,测试大模型
- 5,部署大模型
- 6, 验证
一,下载安装LM Studio
打开下载页面https://lmstudio.ai/下载LM Studio。
这个工具是免安装的,双击就可以打开软件。
二,本地部署大模型
1,搜索模型
打开LM Studio后,就可以在软件中搜索要部署的模型了,比如我们想部署阿里的通义千问,可以输入关键字qwen
。
搜索结果会以列表的形式罗列出来。
我们会发现通过关键字搜索出来的模型非常多,选择的依据主要有两个:
模型参数
。上面图中每个模型都带有一个参数,比如7B,14B,0.5B,数字越大,说明模型越复杂,耗费的资源越多,一般在自己的电脑上部署大模型,选择0.5B体验下即可。关于模型参数的具体知识,见文章最后一部分。模型的格式
。要选择GGUF,GGUF格式是为了使大型语言模型的推理更加高效、轻量级和易于部署而设计的,特别适用于资源受限的设备或环境。
2,下载大模型
比方说我们选择高亮的Qwen1.5-1.8B-Chat-GGUF
模型。
如下图,在右下角找到Download
按钮,点击下载。
可能会遇到下载很慢的情况,耐心等待,或者不通过这里下载,去网站手段下载模型,然后加载进来也行。
3,加载大模型
如上图,在LM Studio中按如下步骤,加载刚刚下载的大模型,并进行测试。
- ① 左侧选择chat
- ② 点击下拉列表,查看已经下载的大模型
- ③ 选择我们想要加载的大模型
4,测试大模型
加载大模型之后,按照下面步骤测试大模型是否正常加载。
- ① 点击 New Chat 新建一个会话
- ② 输入一个问题,根据AI的回答确认模型是否正常加载
5,部署大模型
在LM Studio中部署大模型,也非常简单。
- ① 点击左侧菜单,切换到部署界面
- ② 点击
Start Server
按钮,开始部署
大模型很快就部署好了,当然,这是因为我们选择的模型比较小,不用耗费很多资源。
6, 验证
大模型部署好了之后,LM Studio中还提供了各种访问大模型的Demo。
如下图,我们选择使用Python进行访问,点击chat(python)
按钮,copy下面的代码到pycharm
中,执行代码。
如果在LM Studio的控制台能看到类似的日志,说明大模型运行正常。
关于大模型参数的补充知识
在提及大模型如7B、33B、70B时,这里的数值代表的是模型的参数量,也就是构成神经网络的权重和偏置的数量。在深度学习中,模型的复杂度与其参数量成正比,更多的参数意味着模型具有更强的学习能力和表达能力,但也需要更多的计算资源来进行训练和推理。
- 7B:指的是模型拥有大约70亿(7 Billion)个参数。
- 33B:指的是模型拥有大约330亿(33 Billion)个参数。
- 70B:指的是模型拥有大约700亿(70 Billion)个参数。
这些参数是模型学习得到的,用于捕捉输入数据与输出预测之间的复杂关系。较大的模型通常能够更好地拟合复杂的数据分布,但同时也可能带来过拟合的风险,需要大量的数据进行训练以避免这种情况。
在实际应用中,选择多大的模型取决于多种因素,包括计算资源的限制、模型的预期用途、数据集的大小和复杂性等。例如,对于资源有限的设备,可能需要使用较小的模型(如7B);而对于云服务或高性能计算集群,则可能使用更大的模型(如70B)。