一、任务1:模型下载
使用魔搭社区平台下载文档中提到的模型
1.创建开发机
2.环境配置
# 激活环境 conda activate /root/share/pre_envs/pytorch2.1.2cu12.1 # 安装 modelscope pip install modelscope -t /root/env/maas pip install numpy==1.26.0 -t /root/env/maas pip install packaging -t /root/env/maas
保证能够找到每次装的依赖,每次新建一个终端之后都需要导出path
export PATH=$PATH:/root/env/maas/bin export PYTHONPATH=/root/env/maas:$PYTHONPATH
创建demo目录
mkdir -p /root/ms_demo
3.下载指定多个文件
internlm2_5-7b-chat
modelscope download \
--model 'Shanghai_AI_Laboratory/internlm2_5-7b-chat' \
tokenizer.json config.json model.safetensors.index.json \
--local_dir '/root/ms_demo'
internlm2_5-1_8b-chat
modelscope download \
--model 'Shanghai_AI_Laboratory/internlm2_5-1_8b-chat' \
tokenizer.json config.json model.safetensors.index.json \
--local_dir '/root/ms_demo'
刷新文件目录,能看到在ms_demo中下载了指定的json文件
二、任务2:模型上传
#Git模型下载 git clone https://www.modelscope.cn/<your_username>/<your_model>
三、附笔记
1. Hugging Face 最初专注于开发聊天机器人服务。尽管他们的聊天机器人项目并未取得预期的成功,但他们在GitHub上开源的Transformers库却意外地在机器学习领域引起了巨大轰动。如今,Hugging Face已经发展成为一个拥有超过100,000个预训练模型和10,000个数据集的平台,被誉为机器学习界的GitHub。
2.ModelScope 是一个“模型即服务”(MaaS)平台,由阿里巴巴集团的达摩院推出和维护。它旨在汇集来自AI社区的最先进的机器学习模型,并简化在实际应用中使用AI模型的流程。通过ModelScope,用户可以轻松地探索、推理、微调和部署各种AI模型。
3.魔乐社区(Modelers)是一个提供多样化、开源模型的平台,旨在促进开发者和研究人员在最先进的模型和流行应用上进行协作。