【2023 · CANN训练营第一季】基于昇腾910的TF网络脚本训练(ModelArts平台)

  • 准备工作:
    1.注册华为云账号,获取AK/SAK,授权ModelArts,并申请华为云代金券
    2.获取训练数据集,并进行数据预处理,比如离线制作成tfrecords(建议,可选)
    3.将数据集(训练脚本)上传到OBS
    4.安装PycharmIDE及ToolKit插件
    5.对Tensorflow训练代码进行NPU的迁移&适配

  • 创建并提交训练任务
    1.Pycharm打开训练工程代码,配置训练参数,下发训练任务
    2.查看训练结果
    创建并提交训练任务
    1.Pycharm打开训练工程代码,配置训练参数,下发训练任务
    2.查看训练结果
    Modelarts官网教程:Modelarts官网教程
    OBS Browser+下载:OBS Browser+下载
    ModelArts管理控制台: ModelArts管理控制台

OBS/ModelArts/Pycharm的关系

在这里插入图片描述

ModelArts平台:它是华为云面向A开发者的一站式开发平台,开发者可以在云上进行数据处理、模型训练以及模型部署等操作,但它自身不具备存储服务。
对象存储服务(Object Storage Service,OBS):它是一个基于对象的海量存储服务,为客户提供海量安全、高可靠、低成本的数据存储能力
Pycharm插件ToolKit:为开发者快速的将本地代码提交到公有云的训练环境,协助用户完成代码上传提交训练作业、将训练日志获取到本地展示等,用户只需要专注于本地的代码开发即可。

准备工作

申请代金券
在这里插入图片描述
数据集获取
在这里插入图片描述
数据集预处理

下载好的数据集一般为原始格式,训练时我们需要将其转换为tfrecord格式进行训练。有的训练脚本数据集小,将转换代码直接写在训练脚本中,读取原始格式的数据集,例如Bert-Finetune的squad阅读理解任务:
但是通常对于大多数训练任务,数据集比较大,例如Resnet的ImageNet数据集124GBert-Pretrain的Wiki数据集340G。这些训练脚本会提供已有的数据预处理脚本,提前将数据集预处理并生成tfrecord。

在这里插入图片描述
注意:数据集需要上传至华北-北京四。

下载OBS:
OBS 工具
安装PyCharm toolkit
在这里插入图片描述
在PyCharm中配置AK和SK
在这里插入图片描述
在PyCharm右下角出现下列提示则说明成功:
在这里插入图片描述
安装OBS
在这里插入图片描述
登录OBS:
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/24139.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Word控件Spire.Doc 【其他】教程(4):在 Word 中插入上标和下标

Spire.Doc for .NET是一款专门对 Word 文档进行操作的 .NET 类库。在于帮助开发人员无需安装 Microsoft Word情况下,轻松快捷高效地创建、编辑、转换和打印 Microsoft Word 文档。拥有近10年专业开发经验Spire系列办公文档开发工具,专注于创建、编辑、转…

注意力Transformer

注意力 注意力分为两步: 计算注意力分布 α \alpha α 其实就是,打分函数进行打分,然后softmax进行归一化 根据 α \alpha α来计算输入信息的加权平均(软注意力) 其选择的信息是所有输入向量在注意力下的分布 打…

Docker 设置国内镜像源

Docker 镜像加速 国内从 DockerHub 拉取镜像有时会遇到网络问题,此时可以配置国内的镜像加速来下载。Docker 官方和国内很多云服务商都提供了国内加速器服务,例如如下: 科大镜像:https://docker.mirrors.ustc.edu.cn/网易&#…

ATA-4014高压功率放大器驱动超声马达测试应用

ATA-4014 高压功率放大器简介 ATA-4014是一款理想的可放大交、直流信号的单通道高压功率放大器。最大输出160Vp-p(80Vp)电压,452Wp功率,可以驱动高压功率型负载。电压增益数控可调,一键保存常用设置,为您提…

抽象轻松js

重复声明 经过了这么久,对声明变量应该差不多了解了,再加上之前了解的作用域 我们现在开始如果科学的使用重复声明 先复习一边(遍)作用域 var的作用域是全局 let、const的作用域是花括号 了解这点,那么科学使用重复声明就是合理使用作用…

C++11之atomic原子操作

atomic介绍 多线程间是通过互斥锁与条件变量来保证共享数据的同步的,互斥锁主要是针对过程加锁来实现对共享资源的排他性访问。很多时候,对共享资源的访问主要是对某一数据结构的读写操作,如果数据结构本身就带有排他性访问的特性&#xff0c…

如何用chatGPT赚钱?

赚钱思路 1)初级-账号 对于新事物的出现,很多人对此都是抱着一个看热闹的态度,大家对于这个东西的整体认知水平是很低的! 所以这个时候的思路就是快速去抢占市场,去各个平台发一些和ChatGPT相关的视频和文章去抢占市…

css、js(vue)进行textarea自适应高度(超详细说明)

文章目录 需求——如下图一、纯css 的自适应高度(有问题,不推荐)1.css代码2. html代码3. 代码截图说明4. 效果和会出现的问题 二、js 的自适应高度0.思路1.代码1. css代码2. html代码3. js代码 2.代码说明3.注意点导致的问题(0&am…

GP05丨多因子IC对冲

量化策略开发,高质量社群,交易思路分享等相关内容 大家好,今天我们分享股票社群第5期量化策略——多因子IC对冲。 在前几期中,我们分享了GP01多因子、ETF轮动策略及Plus版本、网格等等。本期我们继续分享多因子策略。 策略背景与…

【P32】JMeter While 控制器(While Controller)

文章目录 一、While 控制器(While Controller)参数说明二、测试计划设计2.1、变量2.2、函数2.2.1、groovy脚本2.2.2、jex13脚本2.2.3、js脚本 一、While 控制器(While Controller)参数说明 可以对部分逻辑按变量条件进行循环迭代…

CentOS7编译安装Python3.10(含OpenSSL1.1.1安装),创建虚拟环境,运行Django项目(含sqlite版本报错)

文章目录 1、CentOS安装OpenSSL1.1.1(前置环境)2、CentOS安装 Python 3.103、创建虚拟环境4、运行Django项目 1、CentOS安装OpenSSL1.1.1(前置环境) 编译安装Python3.10时需要openssl1.1.1 查看当前版本 & 删除openssl1.0 …

代码随想录算法训练营第三十九天 | 力扣 62.不同路径, 63. 不同路径 II

62.不同路径 题目 62. 不同路径 一个机器人位于一个 m x n 网格的左上角 (起始点在下图中标记为 “Start” )。 机器人每次只能向下或者向右移动一步。机器人试图达到网格的右下角(在下图中标记为 “Finish” )。 问总共有多…

C++数据结构:二叉树之一(数组存储)

文章目录 前言一、二叉树的基本定义二、二叉树的基本性质三、二叉树的存储(数组)总结原创文章,未经许可,禁止转载 前言 树是一种非线性数据结构,它由若干个节点和边组成。每个节点都有一个值,而边则表示节…

day17 - 用形状包围图像

在进行图像轮廓提取时,有的情况下不需要我们提取出精确的轮廓,只要提取出一个接近于轮廓的近似多边形,就可以满足后续的操作。 本期我们来学习如何通过设置参数来找出图像的近似多边形。 完成本期内容,你可以: 了解…

算法基础学习笔记——⑨C++STL使用技巧

✨博主:命运之光 ✨专栏:算法基础学习 目录 ✨CSTL简介 ✨CSTL使用技巧 前言:算法学习笔记记录日常分享,需要的看哈O(∩_∩)O,感谢大家的支持! ✨CSTL简介 vector变长数组,倍增的思想//系统为…

STM32单片机(三)第一节:GPIO输出

❤️ 专栏简介:本专栏记录了从零学习单片机的过程,其中包括51单片机和STM32单片机两部分;建议先学习51单片机,其是STM32等高级单片机的基础;这样再学习STM32时才能融会贯通。 ☀️ 专栏适用人群 :适用于想要…

驱动开发:内核读写内存浮点数

如前所述,在前几章内容中笔者简单介绍了内存读写的基本实现方式,这其中包括了CR3切换读写,MDL映射读写,内存拷贝读写,本章将在如前所述的读写函数进一步封装,并以此来实现驱动读写内存浮点数的目的。内存浮…

MyBatis操作数据库表和动态SQL的使用

目录 1.MyBatis开发环境的搭建和测试 2.MyBatis基本操作 2.0 准备工作 2.1 新增操作 2.2 删除、修改、查询操作 2.3 #{param} 和 ${param}的使用和区别 2.4 实体对象属性和数据库字段名称不同时如何映射? 3. MyBatis多表查询 3.0 准备工作 3.1 一对一的表…

ELK企业级日志分析系统

ELK概述 为什么要使用 ELK 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。 往…

切比雪夫不等式,大数定律及极限定理。

一.切比雪夫不等式 1.定理 若随机变量X的期望EX和方差DX存在,则对任意ε > 0,有   P{ |X - EX| > ε } < DX/ε2 或 P{ |X - EX| < ε } > 1 - DX/ε2 2.解析定理 ①该定理对 X 服从什么分布不做要求&#xff0c;仅EX DX存在即可。 ②“| |” 由于X某次…