【DataWhale学习】用免费GPU线上跑chatGLM项目实践

用免费GPU线上跑chatGLM项目实践

DataWhale组织了一个线上白嫖GPU跑chatGLM与SD的项目活动，我很感兴趣就参加啦。之前就对chatGLM有所耳闻，是去年清华联合发布的开源大语言模型，可以用来打造个人知识库什么的，一直没有尝试。而SD我前两天刚跟着B站秋叶大佬和Nenly大佬的视频学习过，但是生成某些图片显存吃紧，想线上部署尝试一下。

参考：DataWhale 学习手册链接

1 学习简介

本文以趋动云平台为例，详细介绍下如何通过平台提供的在线开发环境，直接在云端编写、运行代码，并使用GPU资源进行加速。本教程将学习云算力资源的使用方式，并给出了两个AI项目实践：

用免费GPU创建属于自己的聊天GPT
用免费GPU部署自己的stable-diffusion

平台注册：

注册即送168元算力金
Datawhale专属注册链接：https://growthdata.virtaicloud.com/t/SA

适用人群：

新手开发者、快速原型设计者；
需要协作和分享的团队；
对大模型部署感兴趣的人；
深度学习入门学习者；
对使用GPU资源有需求的人。

优势：

无需进行本地环境配置，简单易用，便于分享和协作。

组织方：Datawhale x 趋动云

2 部署chatGLM3-6B模型

ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。

推理速度比上一代提高了很多，虽然本教程有两种启动方式，但教程作者强烈推荐使用streamlit体验，效果极佳。

2.1 项目配置

本项目采用 趋动云 云端配置，环境采用 Pytorch2.0.1、python3.9、cuda11.7 的镜像，在公开模型选择葱姜蒜上传的这个ChtaGLM3-6B模型。

资源配置采用拥有24G显存的 B1.large ，最好设置一个最长运行时间，以免忘关环境，导致资源浪费。我这里选择了24h的最长运行时间。

2.2 环境配置

成功配置好项目基本资源后，就可以进入JupyterLab开发环境了。现在需要在终端进一步配置环境，通过我们选择的模型资源中的加载的文件，我们首先要设置镜像源、克隆ChatGLM项目。

升级apt，安装unzip

apt-get update && apt-get install unzip

设置镜像源，升级pip

git config --global url."https://gitclone.com/".insteadOf https://
pip config set global.index-url https://pypi.virtaicloud.com/repository/pypi/simple
python3 -m pip install --upgrade pip

克隆项目，并进入项目目录

git clone https://github.com/THUDM/ChatGLM3.git
cd ChatGLM3

安装项目依赖与peft

可以先把requirements.txt中的torch删掉，避免重复安装
```
pip install -r requirements.txt
pip install peft
```

2.2 镜像发布

通过以上步骤，项目环境已部署完成啦。但是为了防止下次加载还得重新装载镜像，此时可以将镜像封装发布。

点击右上角将当前环境制作为镜像
填写镜像名称，构建镜像

填写自定义镜像名称后，在Dockerfile中，填写以下内容，以之前选择的基础镜像，创建镜像。

RUN apt-get update && apt-get install unzip

RUN git config --global url."https://gitclone.com/".insteadOf https://
RUN pip config set global.index-url https://pypi.virtaicloud.com/repository/pypi/simple
RUN python3 -m pip install --upgrade pip

RUN pip install  accelerate==0.27.2  \ 
 aiofiles==23.2.1  \ 
 altair==5.2.0  \ 
 annotated-types==0.6.0  \ 
 arxiv==2.1.0  \ 
 blinker==1.7.0  \ 
 colorama==0.4.6  \ 
 cpm-kernels==1.0.11  \ 
 dataclasses-json==0.6.4  \ 
 distro==1.9.0  \ 
 fastapi==0.110.0  \ 
 feedparser==6.0.10  \ 
 ffmpy==0.3.2  \ 
 gitdb==4.0.11  \ 
 GitPython==3.1.42  \ 
 gradio==4.21.0  \ 
 gradio_client==0.12.0  \ 
 greenlet==3.0.3  \ 
 h11==0.14.0  \ 
 httpcore==1.0.4  \ 
 httpx==0.27.0  \ 
 huggingface-hub==0.21.4  \ 
 jsonpatch==1.33  \ 
 jupyter_client==8.6.0  \ 
 langchain==0.1.11  \ 
 langchain-community==0.0.27  \ 
 langchain-core==0.1.30  \ 
 langchain-text-splitters==0.0.1  \ 
 langchainhub==0.1.15  \ 
 langsmith==0.1.23  \ 
 latex2mathml==3.77.0  \ 
 loguru==0.7.2  \ 
 markdown-it-py==3.0.0  \ 
 marshmallow==3.21.1  \ 
 mdtex2html==1.3.0  \ 
 mdurl==0.1.2  \ 
 openai==1.13.3  \ 
 orjson==3.9.15  \ 
 packaging==23.2  \ 
 peft==0.9.0  \ 
 protobuf==4.25.3  \ 
 pydantic==2.6.3  \ 
 pydantic_core==2.16.3  \ 
 pydeck==0.8.1b0  \ 
 pydub==0.25.1  \ 
 PyJWT==2.8.0  \ 
 python-multipart==0.0.9  \ 
 regex==2023.12.25  \ 
 requests==2.31.0  \ 
 rich==13.7.1  \ 
 ruff==0.3.2  \ 
 safetensors==0.4.2  \ 
 semantic-version==2.10.0  \ 
 sentence-transformers==2.5.1  \ 
 sentencepiece==0.2.0  \ 
 sgmllib3k==1.0.0  \ 
 shellingham==1.5.4  \ 
 smmap==5.0.1  \ 
 SQLAlchemy==2.0.28  \ 
 sse-starlette==2.0.0  \ 
 starlette==0.36.3  \ 
 streamlit==1.32.0  \ 
 tenacity==8.2.3  \ 
 tiktoken==0.6.0  \ 
 timm==0.9.16  \ 
 tokenizers==0.15.2  \ 
 toml==0.10.2  \ 
 tomlkit==0.12.0  \ 
 transformers==4.38.2  \ 
 typer==0.9.0  \ 
 typing_extensions==4.10.0  \ 
 urllib3==2.2.1  \ 
 uvicorn==0.28.0  \ 
 watchdog==4.0.0  \ 
 websockets==11.0.3  \ 
 zhipuai==2.0.1

等待镜像构建
在开发环境实例中修改镜像

在构建的项目中，点击右边栏的开发，点击 修改挂载镜像 ，在我的里选择刚才创建的镜像。

2.4 通过 Gradio 创建ChatGLM交互界面

Gradio是一个开源的Python库，用于创建机器学习模型的交互式界面。其中，StableDiffusion的WebUI就是通过 Gradio 开发。

修改模型目录

将 basic_demo 文件夹中的 web_demo_gradio.py 的模型加载路径改为 /gemini/pretrain
修改启动路径

将代码最后一行的启动代码修改为如下代码。
```
demo.queue().launch(share=False, server_name="0.0.0.0",server_port=7000)
```
添加外部端口映射

在界面的右边添加外部端口：7000
运行gradio界面

返回终端，输入以下指令，运行 web_demo_gradio.py
```
cd basic_demo
python web_demo_gradio.py
```
等待模型慢慢加载完毕，即可访问gradio页面。
访问gradio页面

加载完毕之后，复制外部访问的连接，到浏览器打打开

打开后界面如下，可以再input输入框进行问答测试。

可以看到，Gradio界面并不稳定，回答的结果有点"抽风"，回复中夹杂指令字符<|im_end|> 与 <|im_start|>，并且出现了自问自答的现象。

配置好环境后，再次访问，在终端输入以下指令直接运行 gradio 。
cd ChatGLM3/basic_demo
python web_demo_gradio.py

2.5 通过 streamlit 创建ChatGLM交互界面

如果你运行了gradio，需要先杀掉这个进程，不然内存不够。

CTRL+C 可以杀掉进程

Streamlit是一个开源的Python库，它允许用户 快速创建 交互式的数据科学和机器学习Web应用程序。
与Gradio相比，Streamlit在用户体验设计上更为通用，适合广泛的应用场景，而Gradio则更专注于展示和交互机器学习模型。

根据以下步骤，创建 streamlit 交互界面。

修改模型目录

将 basic_demo 文件夹中的 web_demo_streamlit.py 的模型加载路径改为 /gemini/pretrain
运行streamlit界面

在终端输入以下指令，运行web_demo_stream.py并指定7000端口，这样就不用再次添加外部端口映射啦~
```
streamlit run web_demo_streamlit.py --server.port 7000
```
访问streamlit界面

复制外部访问地址到浏览器打开，之后模型才会开始加载。（不复制在浏览器打开是不会加载的！）

出现以上界面，等待加载，加载结束后工作台后端画面如下。可以在输入框提问。

可以看到，streamlit界面的问答，比Gradio的问答稳定的多，没有多余的符号与自问自答。

配置好环境后，再次访问，在终端输入以下指令直接运行 streamlit 。
cd ChatGLM3/basic_demo
streamlit run web_demo_streamlit.py --server.port 7000

2.6 chatGLM功能测试

可以看到，chatGLM侧边栏有三行可调节参数，其功能分别如下：

Max_length（最大长度）: 这个参数决定了模型生成文本的最大长度。如果输入文本特别长，可能需要调整这个参数以避免截断数据，确保模型能够理解完整的上下文信息。
Top_P（Top P采样）: 这是一个概率阈值，模型在生成文本时只考虑累积概率达到这个阈值的词汇。较高的Top P值意味着模型在生成时会考虑更多的词汇，从而增加文本的多样性。
Temperature（温度）: 这个参数控制生成文本的随机性。较低的温度值会使模型生成更确定性、更可预测的文本，而较高的温度值则会使模型生成更多样化和创造性的文本。

下面分别测试以上3个方面对生成文本的影响。

2.6.1 测试max_length对生成文本的影响

max_length决定了模型生成文本的最大长度。于是本次测试决定让模型回答固定长度的答案，一次超过max_length，一次没有对比其对生成文本的影响。

max_length较大时，生成500字的作文

可以看到成功生成了一篇大约500字的作文。
max_length较小时，生成500字的作文

可以看到，max_length有效的控制了生成的字数，当要求生成的字数小于max_length，生成的文章将会被截断。

2.6.2 测试Top_P对生成文本的影响

Top P影响着文本的多样性。即值越大用词越丰富，值越少越词穷。本次测试让模型生成一个旅游规划，对比不同Top P的值对生成文本的影响。

Top_P较大时，生成泰山旅游行程
Top_P较小时，生成泰山旅游行程

可以看到，在Top P值较大时，生成的旅游规划较为详细，每日都有不同的行程。而Top P较小时，生成的旅游规划十分简单，而且还出现了 “专线 bus”、"泰山 train"这种不伦不类的用词。

2.6.3 测试Temperature对生成文本的影响

Temperature控制着生成文本的随机性。即值越小回答越死板，值越大回答越丰富。这个参数和Top P其实有点相似，经过查阅资料得知：

当 temperature 设置为较高值（接近1或大于1）时，模型在选择下一个 token 时，会倾向于选择概率较低的选项，从而产生更具创新性和多样性的输出。

当 temperature 设置为较低值（接近0但大于0）时，模型在选择下一个 token 时，会更偏向于选择概率较高的选项，从而产生更准确、更确定性的输出。

所以，本次选择一个大语言模型表现不太的领域——数学，来考察 temperature 对生成文本的影响。