一、解决场景
下载模型或数据集,到国内云GPU平台、阿里云盘(便于持久化储存,或者分享朋友)。
及时收藏,下次还能找到!
二、优势
此方法可以避免大文件下载到本地——占用内存,受到小带宽网络的限制。
三、使用工具
大带宽服务器:这个服务器何必你自己的服务器🐶
本期所使用的服务器在下面的表格之中
- 除AutoDL外,其余的都是的GPU学习打榜平台,可以免费使用GPU,由于我们操作只涉及文件的上传下载,所以尽量不要占用GPU资源,选择cpu环境即可。只要你不用GPU,不就相当于一个linux的服务器,且它们的带宽相当大。
- 对于部分学习平台,磁盘限制并不严格,可以使用命令查看
# 查看所有挂载磁盘
df -hl
查看某目录挂载磁盘
df -h /绝对路径
四、使用方法
下载模型
1. 从魔搭社区(modelscope)下载模型
速度对比
我们,以下载stable-diffusion-v1-4
为例,模型大小在11G
左右(再大的文件逐个平台测试有点浪费时间),测试模型下载到平台指定目录所花费的时间,测试时段在晚上,由于网速波动受影响一因素较多,测试结果仅对本次结果有效!
- 函数使用(cache_dir为指定目录)
#模型下载,出现代码错误,请卸载modelscope重装
from modelscope import snapshot_download
model_dir = snapshot_download('AI-ModelScope/stable-diffusion-v1-4', cache_dir='/mnt/workspace', revision='master')
- 结果比较
平台cpu环境 | 特点 | 时间 |
---|---|---|
魔搭社区 免费 8h 32g | 单次最长运行10小时,磁盘限制90G左右 | 1分22秒 |
阿里天池社区 免费 2h4g | 单次运行时长最大9小时 | 1分36秒 |
百度 AIstudio 免费 2h8g | 没有sudo密码 | 2分49秒 |
中国移动 九天毕昇 8h32g | 磁盘200G限制 | 4分50秒 |
CSDN Inscode 免费1h1g | 磁盘挂载>700G | 较慢 |
AutoDL ,0.5h2g,0.1元/h | 免费50g磁盘 | 5分20秒 |
本地 | 完全取决你你的下载速度 |
2. 从huggingface下载
from huggingface_hub import snapshot_download
snapshot_download(repo_id='CompVis/stable-diffusion-v1-4',
repo_type='model',
local_dir='./model_dir',
resume_download=True)
或者,官方说下面的函数下载更快
# 终端执行
pip install -U huggingface_hub
pip install -U hf-transfer
$env:HF_HUB_ENABLE_HF_TRANSFER = 1
huggingface-cli download --resume-download CompVis/stable-diffusion-v1-4 --local-dir model_dir --local-dir-use-symlinks False
平台带宽肯定是足够的,但是明显从huggingface上下载没那么快了,这一部分取决于你代理服务器的速度了,如何使用,请查看第3部分。
代理速度因人而异,这里不详细测试
平台cpu环境 | 限制 | 时间 |
---|---|---|
魔搭社区 免费 8h 32g | 单次最长运行10小时,内存挂载90G左右 | 5分40秒 |
阿里天池社区 免费 2h4g | 单次运行时长最大9小时 | 4分10秒 |
百度 AIstudio 免费 2h8g | 没有开放sudo权限,无法开代理 |
3. 参考项目
这里自行去github搜索,Elegycloud大佬的项目
保存模型
基于上面的介绍,下载到平台之后,如果不使用对应平台来进行学习,可以保存下来。
这里就没办法逐个平台列个表格对比测试了,因为这个比较热门的模型,只要别人上传过,再次上传阿里云盘,几乎就是秒传,上传速度大家自己测试。
1. 保存到百度网盘
找了一圈,关于百度网盘API开发的项目不多,找到这个,但是我试用下来感觉不是很好用。项目地址
2. 保存阿里云盘
相比之下,即使阿里云盘没有vip,现阶段还是挺好用的。这是个不带图形化的项目。
wget https://github.com/tickstep/aliyunpan/releases/download/v0.2.8/aliyunpan-v0.2.8-linux-386.zip
unzip aliyunpan-v0.2.8-linux-386.zip
cd aliyunpan-v0.2.8-linux-386
./aliyunpan
login # RefreshToken 获取方法见原项目
登录阿里云盘,浏览器-右键检查或者按F12,按照步骤获取
- 下载文件/ 文件夹
ls # 可查看云盘文件
download 云盘绝对路径
- 上传文件
upload 服务器的文件或文件夹的绝对路径或相对路径 云盘的绝对路径
写在最后
👍🏻点赞,你的认可是我创作的动力!
⭐收藏,你的青睐是我努力的方向!
✏️评论,你的意见是我进步的财富!