下载地址
模型下载地址:GitHub - THUDM/GLM-4: GLM-4 series: Open Multilingual Multimodal Chat LMs | 开源多语言多模态对话模型
已经训练好的数据下载地址:
https://huggingface.co/THUDM/glm-4-9b-chat-1m/tree/main
测试主机配置
cpu:E5-2680v4
内存:32G
显卡:Tesla M4 24G
最低硬件要求
如果您希望运行官方提供的最基础代码 (transformers 后端) 您需要:
- Python >= 3.10
- 内存不少于 32 GB
如果您希望运行官方提供的本文件夹的所有代码,您还需要:
- Linux 操作系统 (Debian 系列最佳)
- 大于 8GB 显存的,支持 CUDA 或者 ROCM 并且支持
BF16
推理的 GPU 设备。(FP16
精度无法训练,推理有小概率出现问题)
一、下载
(一)打开模型安装地址,点击下载
(二)打开已经训练好的数据下载地址,依次点击下载。超过1G的,建议使用迅雷云盘。
二、安装依赖
(一)安装步骤
从官网了解可知composite_demo文件夹是存放更新说明的地方
composite_demo文件夹中的requirements.txt文件夹,是此版本需要安装的依赖
使用命令:(反复执行,直到安装成功)
为保证减少连接失败造成的安装失败,建议尝试使用科学方法,你懂的
pip install -r requirements.txt
安装完毕的样子:
(二)安装失败的解决方案
安装失败,基本都是因为下载时连接失败或者连接断开造成,解决方案主要是两种:
一种是,指定源地址下载
另一种是,手动从web下载安装文件后安装
1. transformers==4.40.0载失败
解决办法:指定清华源下载
pip install transformers==4.40.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
2. accelerate>=0.30.1下载失败
accelerate>=0.30.1,也是类似情况,但指定源下载依然不奏效。
解决方法:可以在该版本下载页面下载安装文件accelerate · PyPI(浏览器下载也失败了2次,反正都是断点续传,继续重复执行下载即可。)
使用下面命令进行安装
pip install accelerate-0.31.0-py3-none-any.whl
安装成功显示如下:
3. matplotlib下载失败
解决方法:直接在requirements.txt文件中,将>=3.9.0删除。即不约束版本号
4. PyMuPDF下载失败
解决方法:
(1)先安装PyMuPDFb-1.24.3-py3-none-manylinux2014_x86_64.manylinux_2_17_x86_64.whl
PyMuPDF手动安装:下载地址PyMuPDFb · PyPI
安装命令:
pip install PyMuPDFb-1.24.3-py3-none-manylinux2014_x86_64.manylinux_2_17_x86_64.whl
(2)再安装PyMuPDF-1.24.5-cp311-none-manylinux2014_x86_64.whl
下载地址:PyMuPDF · PyPI
安装命令:
pip install PyMuPDF-1.24.5-cp311-none-manylinux2014_x86_64.whl
5. python_docx-1.1.2下载失败
下载地址:python-docx · PyPI
安装命令:
pip install python_docx-1.1.2-py3-none-any.whl
6. python-pptx 0.6.23 下载失败
下载地址:python-pptx · PyPI
安装命令:
pip install python_pptx-0.6.23-py3-none-any.whl
(1)执行安装时,过程中下载XlsxWriter-3.2.0-py3-none-any.whl又失败!
下载地址:XlsxWriter · PyPI
安装命令:
pip install XlsxWriter-3.2.0-py3-none-any.whl
最后,重新安装
pip install python_pptx-0.6.23-py3-none-any.whl
7.streamlit-1.35.0下载失败
下载地址:streamlit · PyPI
安装命令
pip install streamlit-1.35.0-py2.py3-none-any.whl
8. tiktoken 0.7.0 下载失败
下载地址:tiktoken · PyPI
安装命令
pip install tiktoken-0.7.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
三、测试模型
已经下载好的模型及训练数据。
glm-4-9b-chjat为已经训练的参数
GLM-4-main为模型文件
(一)修改trans_cli_demo.py文件中,第18行,训练参数的位置
把它修改成glm-4-9b-chat的路径:/home/ls/文档/GLM4/glm-4-9b-chat
(二)执行trans_cli_demo.py
执行命令:
python trans_cli_demo.py
可以执行,但是太慢了
chatglm4 在当前配置可以运行。但是只是能运行而已。跟chatglm3回复速度相比,简直是慢动作中的慢动作。要想丝滑运行,升级硬件吧。