下载Qwen源码
Qwen作为中文支持非常nice的模型,很适合用于LLM学习。在云服务器里clone Qwen工程。
git clone https://github.com/QwenLM/Qwen2.5.git
原始模型使用主要基于cli_demo.py-命令行调用,web_demo.py-网页调用。
预览这两个文件时,VC提示下载Python扩展,为了方便运行和调试Python代码,点击安装。
安装transformers
运行cli_demo.py时,提示缺少transformers模块,此模块便是LLM最基础的原理,ChatGPT等都是基于此原理架构实现的。
查看Qwen的Readme:https://qwen.readthedocs.io/zh-cn/latest/getting_started/quickstart.html
里面有安装transformers的指令:
命令行输入:
pip install transformers -U
下载Qwen基座模型
安装transformers后再次运行cli_demo.py,提示没有找到模型文件。
模型文件可以从小黄脸(huggingface)或者魔搭社区下载,HF是全球最活跃的LLM社区,不过需要魔法访问,没魔法的可在魔搭下载。这里以魔搭:https://www.modelscope.cn/
举例
经过简单的注册后,选择模型库,输入qwen2.5,在下方找到Qwen2.5-7B-Instruct,点击进入。
注意:Qwen2.5-7B为更原始的基座模型,带有Instruct的为提升对话再次训练的。
如图,这几个safetensors文件便是基座文件。
safetensors 文件格式是由 Hugging Face 创建的,但它并不局限于他们的工具链。理论上,它可以在任何支持的机器学习框架下使用,包括 PyTorch、TensorFlow 等。
点击下载模型,会有相关方法:
选择第一种从Python代码下载。
在demo文件夹下创建download.py文件,复制下载源码:
运行Python,报错缺少modelscope模块,pip安装即可。
再次运行,经过10分钟左右的下载,得到模型文件:
命令行运行模型
还是先测试命令行模式运行,将模型路径修改到DEFAULT_CKPT_PATH:
运行代码,会提示缺少accelerate加速库,pip安装,再次运行,成功进入命令行模式:
网页运行模型
同理修改DEFAULT_CKPT_PATH为模型路径,然后运行,提示缺少gradio库,pip安装后,运行web_demo.py,成功后网页进入8000端口: