环境准备

使用30% A100 来运行chatglm3模型，采用lmdeploy来启动。

创建虚拟环境

# 创建虚拟环境
conda create -n langchain python=3.11 -y

# 激活环境
conda activate langchain

安装组件

pip install -r requirements.txt

requirenments.txt 内容

langchain
modelscope
ipykernel
xtuner
lmdeploy

下载模型

download_model.py:
用于从魔搭下载chatglm3模型

from modelscope import snapshot_download
model_dir = snapshot_download("ZhipuAI/chatglm3-6b-32k", revision = "v1.0.0")

# 运行下载代码
python download_model.py

模型会下载到 /root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b-32k

chat启动模型并对话

直接采用lmdeploy chat启动并对话交互

lmdeploy chat /root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b-32k

显存使用20多G

启动成api_server服务并对话

# 通过api_server方式启动成一个API服务
lmdeploy serve api_server /root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b-32k \
                            --server-name 127.0.0.1 \
                            --model-name chatglm3-6b-32k 

启动后，运行在127.0.0.1的23333端口，使用的是fastAPI服务器

通过curl来访问这个api，对话：

curl -X 'POST' \
  'http://127.0.0.1:23333/v1/chat/completions' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -d '{
  "model": "chatglm3-6b-32k",
  "messages": [
    {
      "content": "hi,什么是股票",
      "role": "user"
    }
  ],
  "temperature": 0.7,
  "top_p": 1,
  "logprobs": false,
  "top_logprobs": 0,
  "n": 1,
  "max_tokens": null,
  "stop": null,
  "stream": false,
  "presence_penalty": 0,
  "frequency_penalty": 0,
  "user": "string",
  "repetition_penalty": 1,
  "session_id": -1,
  "ignore_eos": false,
  "skip_special_tokens": true,
  "top_k": 40
}'

文本补全

curl -X 'POST' \
  'http://127.0.0.1:23333/v1/completions' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -d '{
  "model": "chatglm3-6b-32k",
  "prompt":"今天天气不错" 
    
}'

注：具体的API可以访问23333端口来查看

启动成gradio服务

注意在lmdeploy 0.3.0上启动没问题，在0.4.2上启动会报错

lmdeploy serve gradio /root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b-32k

启动后，就可以浏览器访问127.0.0.1:6006

lmdeploy 0.4.2上错误：