一、环境要求

硬件

内存：>= 16GB

显存: >= 13GB（4080 16GB）

软件

python 版本推荐3.10 - 3.11

transformers 库版本推荐为 4.36.2

torch 推荐使用 2.0 及以上的版本，以获得最佳的推理性能

二、部署步骤

1、新建python3.10虚拟环境

使用pycharm建虚拟环境

2、升级pip

python -m pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple

3、安装项目依赖

pip install -r requirements.txt

4、安装Demo依赖

pip install -r composite_demo/requirements.txt

5、下载模型

git clone https://huggingface.co/THUDM/chatglm3-6b

如果从 HuggingFace 下载比较慢，也可以从 ModelScope 中下载。

6、运行demo

streamlit run basic_demo/web_demo_streamlit.py