Tensorflow benchmark 实操指南

环境搭建篇见环境搭建-CentOS7下Nvidia Docker容器基于TensorFlow1.15测试GPU_东方狱兔的博客-CSDN博客

1. 下载Benchmarks源码

从 TensorFlow 的 Github 仓库上下载 TensorFlow Benchmarks，可以通过以下命令来下载

https://github.com/tensorflow/benchmarks

我的 - settings -SSH and GPG Keys 添加公钥id_rsa.pub

拉取代码 git clone git@github.com:tensorflow/benchmarks.git

git同步远程分支到本地，拉取tensorflow对应版本的分支

git fetch origin 远程分支名xxx:本地分支名xxx
使用这种方式会在本地仓库新建分支xxx，但是并不会自动切换到新建的分支xxx，需要手动checkout，当然了远程分支xxx的代码也拉取到了本地分支xxx中。采用这种方法建立的本地分支不会和远程分支建立映射关系

root@818d19092cdc:/gpu/benchmarks# git checkout -b tf1.15 origin/cnn_tf_v1.15_compatible

2. 运行不同模型

root@818d19092cdc:/gpu/benchmarks/scripts/tf_cnn_benchmarks# pwd
/gpu/benchmarks/scripts/tf_cnn_benchmarks
root@818d19092cdc:/gpu/benchmarks/scripts/tf_cnn_benchmarks# python3 tf_cnn_benchmarks.py

真实操作：

[root@gputest ~]# docker ps

进入CONTAINER ID  containerid

[root@gputest ~]# nvidia-docker exec -it 818d19092cdc /bin/bash

新开窗口 

[root@gputest ~]# nvidia-smi -l 3 

该命令将3秒钟输出一次GPU的状态和性能，可以通过查看输出结果来得出GPU的性能指标

一、resnet50模型

python3 tf_cnn_benchmarks.py --num_gpus=1 --batch_size=2 --model=resnet50 --variable_update=parameter_server

Running warm up
2023-07-21 09:50:55.398126: I tensorflow/stream_executor/platform/default/dso_loader.cc:50] Successfully opened dynamic library libcublas.so.12
2023-07-21 09:50:55.533068: I tensorflow/stream_executor/platform/default/dso_loader.cc:50] Successfully opened dynamic library libcudnn.so.8
Done warm up
Step    Img/sec    total_loss
1    images/sec: 10.1 +/- 0.0 (jitter = 0.0)    7.695
10    images/sec: 10.7 +/- 0.1 (jitter = 0.1)    8.022
20    images/sec: 10.7 +/- 0.1 (jitter = 0.2)    7.269
30    images/sec: 10.7 +/- 0.1 (jitter = 0.2)    7.889
40    images/sec: 10.7 +/- 0.1 (jitter = 0.2)    8.842
50    images/sec: 10.6 +/- 0.1 (jitter = 0.2)    6.973
60    images/sec: 10.6 +/- 0.1 (jitter = 0.2)    8.124
70    images/sec: 10.6 +/- 0.0 (jitter = 0.2)    7.644
80    images/sec: 10.6 +/- 0.0 (jitter = 0.2)    7.866
90    images/sec: 10.6 +/- 0.0 (jitter = 0.3)    7.687
100    images/sec: 10.6 +/- 0.0 (jitter = 0.3)    8.779
----------------------------------------------------------------
total images/sec: 10.63

二、vgg16模型

python3 tf_cnn_benchmarks.py --num_gpus=1 --batch_size=2 --model=vgg16 --variable_update=parameter_server

由于阿里云服务器申请的是2个G显存，所以只能跑size=1 2 和 4 ，超出会吐核

已放弃(吐核)--linux 已放弃(吐核) (core dumped) 问题分析

出现这种问题一般是下面这几种情况：

1.内存越界

2.使用了非线程安全的函数

3.全局数据未加锁保护

4.非法指针

5.堆栈溢出

也就是需要检查访问的内存、资源。

可以使用 strace 命令来进行分析

在程序的运行命令前加上 strace，在程序出现：已放弃（吐核），终止运行后，就可以通过 strace 打印在控制台的跟踪信息进行分析和定位问题

方法2：docker启动普通镜像的Tensorflow

$ docker pull tensorflow/tensorflow:1.8.0-gpu-py3
$ docker tag tensorflow/tensorflow:1.8.0-gpu-py3 tensorflow:1.8.0-gpu

# nvidia-docker run -it -p 8888:8888 tensorflow:1.8.0-gpu
$ nvidia-docker run -it -p 8033:8033 tensorflow:1.8.0-gpu

浏览器进入指定 URL(见启动终端回显) 就可以利用 IPython Notebook 使用 tensorflow

评测指标

  • 训练时间：在指定数据集上训练模型达到指定精度目标所需的时间

  • 吞吐：单位时间内训练的样本数

  • 加速效率：加速比/设备数*100%。其中，加速比定义为多设备吞吐数较单设备的倍数

  • 成本：在指定数据集上训练模型达到指定精度目标所需的价格

  • 功耗：在指定数据集上训练模型达到指定精度目标所需的功耗

在初版评测指标设计中，我们重点关注训练时间、吞吐和加速效率三项

3. 保存镜像的修改

执行以下命令，保存TensorFlow镜像的修改

docker commit   -m "commit docker" CONTAINER_ID  nvcr.io/nvidia/tensorflow:18.03-py3
# CONTAINER_ID可通过docker ps命令查看。

[root@gputest ~]# docker commit -m "commit docker" 818d19092cdc nvcr.io/nvidia/tensorflow:23.03-tf1-py3
sha256:fc14c7fdf361308817161d5d0cc018832575e7f2def99fe49876d2a41391c52c

 查看docker进程

[root@gputest ~]# docker ps

进入CONTAINER ID  containerid

[root@gputest ~]# nvidia-docker exec -it 818d19092cdc /bin/bash

4. TensorFlow支持的所有参数

参数名称

描述

备注

--help

查看帮助信息

--backend

使用的框架名称，如TensorFlow，PyTorch等，必须指定

当前只支持TensorFlow，后续会增加对PyTorch的支持

--model

使用的模型名称，如alexnet、resnet50等，必须指定

请查阅所有支持的模型

--batch_size

batch size大小

默认值为32

--num_epochs

epoch的数量

默认值为1

--num_gpus

使用的GPU数量。设置为0时，仅使用CPU。

  • 在单机多卡模式下，指定每台机器使用的GPU数量；

  • 在multi-worker模式下，指定每个worker使用的GPU数量

--data_dir

输入数据的目录，对于CV任务，当前仅支持ImageNet数据集；如果没有指定，表明使用合成数据

--do_train

执行训练过程

这三个选项必须指定其中的至少一个，可以同时指定多个选项。

--do_eval

执行evaluation过程

--do_predict

执行预测过程

--data_format

使用的数据格式，NCHW或NHWC，默认为NCHW。

  • 对于CPU设备，建议使用NHWC格式

  • 对于GPU设备，建议使用NCHW格式

--optimizer

所使用的优化器，当前支持SGD、Adam和Momentum，默认为SGD

--init_learning_rate

使用的初始learning rate的值

--num_epochs_per_decay

learning rate decay的epoch间隔

如果设置，这两项必须同时指定

--learning_rate_decay_factor

每次learning rate执行decay的因子

--minimum_learning_rate

最小的learning rate值

如果设置，需要同时指定面的两项

--momentum

momentum参数的值

用于设置momentum optimizer

--adam_beta1

adam_beta1参数的值

用于设置Adam

--adam_beta2

adam_beta2参数的值

--adam_epsilon

adam_epsilon参数的值

--use_fp16

是否设置tensor的数据类型为float16

--fp16_vars

是否将变量的数据类型设置为float16。如果没有设置，变量存储为float32类型，并在使用时转换为fp16格式。

建议：不要设置

必须同时设置--use_fp16

--all_reduce_spec

使用的AllReduce方式

--save_checkpoints_steps

间隔多少step存储一次checkpoint

--max_chkpts_to_keep

保存的checkpoint的最大数量

--ip_list

集群中所有机器的IP地址，以逗号分隔

用于多机分布式训练

--job_name

任务名称，如‘ps'、’worker‘

--job_index

任务的索引，如0，1等

--model_dir

checkpoint的存储目录

--init_checkpoint

初始模型checkpoint的路径，用于在训练前加载该checkpoint，进行finetune等

--vocab_file

vocabulary文件

用于NLP

--max_seq_length

输入训练的最大长度

用于NLP

--param_set

创建和训练模型时使用的参数集。

用于Transformer

--blue_source

包含text translate的源文件，用于计算BLEU分数

--blue_ref

包含text translate的源文件，用于计算BLEU分数

--task_name

任务的名称，如MRPC，CoLA等

用于Bert

--do_lower_case

是否为输入文本使用小写

--train_file

训练使用的SQuAD文件，如train-v1.1.json

用于Bert模型，运行SQuAD， --run_squad必须指定

--predict_file

预测所使用的SQuAD文件，如dev-v1.1.json或test-v1.1.json

--doc_stride

当将长文档切分为块时，块之间取的间距大小

--max_query_length

问题包含的最大token数。当问题长度超过该值时，问题将被截断到这一长度。

--n_best_size

nbest_predictions.json输出文件中生成的n-best预测的总数

--max_answer_length

生成的回答的最大长度

--version_2_with_negative

如果为True，表明SQuAD样本中含有没有答案（answer）的问题

--run_squad

如果为True，运行SQUAD任务，否则，运行sequence （sequence-pair）分类任务

5. GPU机器学习调研tensorflow

 如何在tensorflow中指定使用GPU资源

在配置好GPU环境的TensorFlow中 ，如果操作没有明确地指定运行设备，那么TensorFlow会优先选择GPU。在默认情况下，TensorFlow只会将运算优先放到/gpu:0上。如果需要将某些运算放到不同的GPU或者CPU上，就需要通过tf.device来手工指定

import tensorflow as tf

# 通过tf.device将运算指定到特定的设备上。
with tf.device('/cpu:0'):
   a = tf.constant([1.0, 2.0, 3.0], shape=[3], name='a')
   b = tf.constant([1.0, 2.0, 3.0], shape=[3], name='b')
with tf.device('/gpu:1'):
    c = a + b

sess = tf.Session(config=tf.ConfigProto(log_device_placement=True))
print sess.run(c)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/46762.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Jenkins 安装构建

Jenkins 安装构建

一、CentOS 安装 1. 使用该存储库 sudo wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat-stable/jenkins.repo sudo rpm --import https://pkg.jenkins.io/redhat-stable/jenkins.io-2023.key 2. 安装 Java yum install fontconfig java-11-openjdk配…
阅读更多...
【iOS】iOS持久化

【iOS】iOS持久化

文章目录 一. 数据持久化的目的二. iOS中数据持久化方案三. 数据持有化方式的分类1. 内存缓存2. 磁盘缓存SDWebImage缓存 四. 沙盒机制的介绍五. 沙盒目录结构1. 获取应用程序的沙盒路径2. 访问沙盒目录常用C函数介绍3. 沙盒目录介绍 六. 持久化数据存储方式1. XML属性列表2. P…
阅读更多...
Appium+python自动化（二十）- Monkey（猴子）日志（超详解）

Appium+python自动化（二十）- Monkey（猴子）日志（超详解）

简介 日志是非常重要的，用于记录系统、软件操作事件的记录文件或文件集合，可分为事件日志和消息日志。具有处理历史数据、诊断问题的追踪以及理解系统、软件的活动等重要作用，在开发或者测试软系统过程中出现了问题，我们首先想到的…
阅读更多...
CSDN原理等级的提升方法

CSDN原理等级的提升方法

文章目录 原力增长是一种积分型的社交平台，它有多个可以增长用户积分的渠道，也可以升级发付费资源，以下是几个主要的渠道：1.原创文章：2.回答问题：3.发动态：4.浏览文章：5.翻译文章&am…
阅读更多...
Rust vs Go:常用语法对比(十)

Rust vs Go:常用语法对比(十)

题图来自 Rust vs. Golang: Which One is Better?[1] 182. Quine program Output the source of the program. 输出程序的源代码 package mainimport "fmt"func main() { fmt.Printf("%s%c%s%c\n", s, 0x60, s, 0x60)}var s package mainimport "fm…
阅读更多...
qt打包发布项目

qt打包发布项目

目录 QT打包发布项目正常操作流程（不包含第三方库）包含第三方库 QT打包发布项目 qt 版本：5.14.2 qtcreator 版本 4.11.1 正常操作流程（不包含第三方库） 首先在左下角的把项目模式从常用的Debug模式改成Release模式&…
阅读更多...
未来行星探索希望：新型多脚机器人-团队版

未来行星探索希望：新型多脚机器人-团队版

机器人正在探索一个模拟的外星环境 即使一个机器人失败了，其余的团队成员也可以抵消它的损失。 背景 虽然探测器取得了令人难以置信的发现，但它们的轮子可能会拖慢它们的速度，而不稳定的地形可能会导致损坏。虽然没有东西可以取代“毅力号”…
阅读更多...
linux 在excel里面找内容

linux 在excel里面找内容

linux 在excel里面找内容 背景：在大数据行业中，很多数据源是excel文件，但是常常会出现查找excel内容找到对应的文件，所以制作了简单的shell脚本方便查询对应的excel文件 查看下面精简的内容即可，开箱即用 shell转换 …
阅读更多...
基于Java+SpringBoot+Vue+uniapp微信小程序实现仓储管理系统

基于Java+SpringBoot+Vue+uniapp微信小程序实现仓储管理系统

博主介绍：✌全网粉丝20W,csdn特邀作者、博客专家、CSDN新星计划导师、java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取源码联系🍅 👇🏻 精彩专…
阅读更多...
windos 服务器设置指定ip访问指定端口，其他ip不能访问

windos 服务器设置指定ip访问指定端口，其他ip不能访问

需求：设置指定ip访问指定端口，其他ip不能访问 一，禁止所有ip访问 需要打开IP安全策略 或者winR 输入secpol.msc 1.先创建一个ip安全策略 2.点击添加，不使用添加向导，建一个安全策略 继续点添加 二，放开需…
阅读更多...
Echarts 柱状图显示百分比

Echarts 柱状图显示百分比

以下是生成的 option option {yAxis: { name: 金额（元）, type: value },xAxis: { type: category },legend: {},series: [{stack: x,name: 早餐,label: {normal: {show: true,position: insideRight,// 格式化显示formatter: function (params) {let …
阅读更多...
LabVIEW使用自定义模板和示例项目来开发LabVIEW项目

LabVIEW使用自定义模板和示例项目来开发LabVIEW项目

LabVIEW使用自定义模板和示例项目来开发LabVIEW项目 创建项目时，LabVIEW将显示“创建项目”对话框，以帮助您选择模板或示例项目来作为开发起点。如果要使用您创建的项目作为自定义模板和示例项目，您必须将每个项目的源文件和元数据添加到相应…
阅读更多...
软件外包开发的需求分析

软件外包开发的需求分析

需求分析是软件开发中的关键步骤，其目的是确定用户需要什么样的软件，以及软件应该完成哪些任务。需求分析是软件工程的早期工作，也是软件项目成功的基础，因此花费大量精力和时间去做好需求分析是值得的。今天和大家分享软件需求分…
阅读更多...
Macbook M1编译安装Java OpenCV

Macbook M1编译安装Java OpenCV

OpenCV-4.8.0编辑安装 查询编译依赖 brew info opencv确保所有需要模块都打上了✔，未打✔的需要使用brew进行安装 下载OpenCV源码 在此处下载OpenCV源代码，选择Source，点击此处下载opencv_contrib-4.8.0 或者使用如下命令，通…
阅读更多...
MultipartFile类型接收上传文件报出的UncheckedIOException以及删除tomcat临时文件失败源码探索

MultipartFile类型接收上传文件报出的UncheckedIOException以及删除tomcat临时文件失败源码探索

1、描述异常背景： 因为需要分析数据，待处理excel文件的数据行数太大，手动太累，花半小时写了一个定制的数据入库工具，改成了通用的，整个项目中的万级别数据都在工具上分析，写SQL进行分析&#x…
阅读更多...
2_Apollo4BlueLite中断控制器NVIC

2_Apollo4BlueLite中断控制器NVIC

1.概述 Apollo4BlueLite 的中断控制器是采用 ARM Cortex-M4 内核，并集成了 NVIC（Nested Vectored Interrupt Controller，嵌套向量中断控制器）作为其中断控制器。 NVIC 是 ARM Cortex-M 系列处理器中常用的中断控制器&#xff0c…
阅读更多...
算法（2）

算法（2）

二叉树 镜像二叉树 树轴对称 第一个节点的左子树与第二个节点的右子树同步递归对比，第一个节点的右子树与第二个节点的左子树同步递归比较。 二叉树序列化、反序列化 当然你也可以根据满二叉树结点位置的标号规律来序列化，还可以根据先序遍历和中序遍…
阅读更多...
余切拉普拉斯算子推导 cotangent Laplace-Beltrami operator

余切拉普拉斯算子推导 cotangent Laplace-Beltrami operator

欢迎关注更多精彩 关注我，学习常用算法与数据结构，一题多解，降维打击。 参考自polygon mesh proccessing这本书 基本思路及原理 余切拉普拉斯算子是一种考虑了网格底层几何联系的一种算子，在网格平滑，参数化等算法中…
阅读更多...
Llama 2: Open Foundation and Fine-Tuned Chat Models

Llama 2: Open Foundation and Fine-Tuned Chat Models

文章目录 TL;DRIntroduction背景本文方案 实现方式预训练预训练数据训练细节训练硬件支持预训练碳足迹 微调SFTSFT 训练细节 RLHF人类偏好数据收集奖励模型迭代式微调（RLHF）拒绝采样（Rejection Sampling）PPO多轮一致性的系统消息&…
阅读更多...
2023 年第二届钉钉杯大学生大数据挑战赛 初赛 B：美国纽约公共自行车使用量预测分析 问题二Python代码分析

2023 年第二届钉钉杯大学生大数据挑战赛 初赛 B：美国纽约公共自行车使用量预测分析 问题二Python代码分析

2023 年第二届钉钉杯大学生大数据挑战赛 初赛 B：美国纽约公共自行车使用量预测分析 问题二 相关链接 【2023 年第二届钉钉杯大学生大数据挑战赛】 初赛 B：美国纽约公共自行车使用量预测分析 问题一Python代码分析 【2023 年第二届钉钉杯大学生大数据挑…
阅读更多...
最新文章

Copyright @ 2022~2023