【记录】ChatGLM3-6B大模型部署、微调（一）：部署

ChatGLM3介绍

源码连接：

ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性：

更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，* ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能*。
更完整的功能支持： ChatGLM3-6B 采用了全新设计的 Prompt 格式，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code Interpreter）和 Agent 任务等复杂场景。
更全面的开源序列： 除了对话模型 ChatGLM3-6B 外，还开源了基础模型 ChatGLM3-6B-Base 、长文本对话模型 ChatGLM3-6B-32K 和进一步强化了对于长文本理解能力的 ChatGLM3-6B-128K。以上所有权重对学术研究完全开放 ，在填写问卷进行登记后亦允许免费商业使用。

ChatGLM3-6B对话模型部署

拉取github项目源码

#下载项目源码建议在终端执行
#git clone https://github.com/THUDM/ChatGLM3.git
#若因为网络问题无法连接，建议使用gitee或者下载后上传

下载模型到本地

官网有多个下载地址，考虑网络原因使用modelscope

git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

安装依赖

#安装python依赖建议在终端执行
pip install -r /mnt/workspace/ChatGLM3/requirements.txt

#如果报错执行下面内容隔离环境如果无错误跳过环境隔离部分

此处python依赖包版本有问题，可能是安装的包与原环境中的包存在版本冲突。后续运行时会出现报错：“ImportError： cannot import name 'MultiModalData' from 'vllm.sequence' （/usr/local/lib/python3.10/dist-packages/vllm/sequence.py）”

逐一解决比较麻烦，此处是测试直接进行环境隔离（也可以使用conda等方式）

# 环境隔离终端执行
pip install virtualenv
virtualenv myenv
source myenv/bin/activate

再执行pip install -r /mnt/workspace/ChatGLM3/requirements.txt