-
准备工作:
1.注册华为云账号,获取AK/SAK,授权ModelArts,并申请华为云代金券
2.获取训练数据集,并进行数据预处理,比如离线制作成tfrecords(建议,可选)
3.将数据集(训练脚本)上传到OBS
4.安装PycharmIDE及ToolKit插件
5.对Tensorflow训练代码进行NPU的迁移&适配 -
创建并提交训练任务
1.Pycharm打开训练工程代码,配置训练参数,下发训练任务
2.查看训练结果
创建并提交训练任务
1.Pycharm打开训练工程代码,配置训练参数,下发训练任务
2.查看训练结果
Modelarts官网教程:Modelarts官网教程
OBS Browser+下载:OBS Browser+下载
ModelArts管理控制台: ModelArts管理控制台
OBS/ModelArts/Pycharm的关系
ModelArts平台:它是华为云面向A开发者的一站式开发平台,开发者可以在云上进行数据处理、模型训练以及模型部署等操作,但它自身不具备存储服务。
对象存储服务(Object Storage Service,OBS):它是一个基于对象的海量存储服务,为客户提供海量安全、高可靠、低成本的数据存储能力
Pycharm插件ToolKit:为开发者快速的将本地代码提交到公有云的训练环境,协助用户完成代码上传提交训练作业、将训练日志获取到本地展示等,用户只需要专注于本地的代码开发即可。
准备工作
申请代金券
数据集获取
数据集预处理
下载好的数据集一般为原始格式,训练时我们需要将其转换为tfrecord格式进行训练。有的训练脚本数据集小,将转换代码直接写在训练脚本中,读取原始格式的数据集,例如Bert-Finetune的squad阅读理解任务:
但是通常对于大多数训练任务,数据集比较大,例如Resnet的ImageNet数据集124GBert-Pretrain的Wiki数据集340G。这些训练脚本会提供已有的数据预处理脚本,提前将数据集预处理并生成tfrecord。
注意:数据集需要上传至华北-北京四。
下载OBS:
OBS 工具
安装PyCharm toolkit
在PyCharm中配置AK和SK
在PyCharm右下角出现下列提示则说明成功:
安装OBS
登录OBS: