华为诺亚AI系统工程实验室主任刘文志解读如何使用AutoML预测基站流量 - 知乎讲师介绍:刘文志(花名风辰),华为诺亚AI系统工程实验室主任,异构并行计算专家,毕业于中国科学院研究生院,闻名于并行计算江湖,尤善异构并行计算、AI系统工程和大规模集群计算,涉及图像处理、计算机视觉、自…https://zhuanlan.zhihu.com/p/367474946?utm_medium=social&utm_oi=39853307723776VEGA:诺亚AutoML高性能开源算法集简介 - 知乎VEGA概述:VEGA是华为诺亚方舟实验室自研的全流程AutoML算法集合,提供架构搜索、超参优化、数据增强、模型压缩等全流程机器学习自动化基础能力。目前集成的算法大多数已经合入了华为 DaVinci 全栈AI解决方案 Cann…https://zhuanlan.zhihu.com/p/154516792
神经网络结构搜索(NAS) - 知乎1.1神经网络基本结构参数:一般是指由训练数据得到的数值,例如权重矩阵,卷积核等超参数:在搭建神经网络以及训练之前就要设定好的一些参数,通常由两类超参数,一类是神经网络结构,另一类是算法所以参数是由参…https://zhuanlan.zhihu.com/p/480761383
神经网络结构搜索_神经网络架构搜索-CSDN博客文章浏览阅读3.2k次,点赞3次,收藏28次。整理了一些神经网络结构搜索的论文解读资料_神经网络架构搜索https://blog.csdn.net/RayChiu757374816/article/details/126526453
1.1神经网络基本结构
- 参数:一般是指由训练数据得到的数值,例如权重矩阵,卷积核等
- 超参数:在搭建神经网络以及训练之前就要设定好的一些参数,通常由两类超参数,一类是神经网络结构,另一类是算法
所以参数是由参数和超参数共同组成,不同的超参数在经过训练之后会产生不同的参数。进而影响在测试机上的准确性。
1.1.1举例
以CNN举例
CNN的超参数包括以下几个:卷积层的数量,卷积核大小,以及全连接层的宽度等等
但是目前一些很流行的神经网络结构(也就是超参数)都是手动设计出来的,例如res-50等等。
假设我们要搭一个CNN网络,我们要依次设计每一层的超参数,卷积核数量,大小以及步幅。
1.2神经网络结构搜索(NAS)
1.2.1 定义
找一个神经网络结构使得此网络在验证集上的准确率(或者其他指标)最高
1.2.2 举例
- 当以准确率为指标时,Res-50的准确度比VGG要高。
- 当考虑把计算效率也考虑进去时,MobileNet的计算效率要比ResNet高,虽然后者的准确度比前者高
1.2.3 NAS搜索空间
为了完成神经网络搜索,我们第一步需要创建搜索空间:也就是各类超参数集合
1.2.3.1 举例
我们卷积核数量,大小,以及步幅均从下面的集合中取:
- 上面时每层所需要的超参数
- 剩下的超参数时一共需要创建多少层,我们假设共需要20层layer。
那么我们的搜索空间为:
搜索空间大小为:
NAS得到的搜索结果为结构超参数,也就是我们上面定义的集合中取值。
1.2.4 Baseline of NAS: Random Search
随机搜索也就是从我们定义的搜索空间里随机的选取几个值,然后根据定义的指标取选取计算所得值中最大的那一组作为超参数。如下图步骤所示:
1.2.4.1 随机搜索的缺点
- 每一次训练很费时间。例如当使用单GPU训练依次CNN需要花费数小时甚至几天
- 搜索空间太大。一般我们最多搜索几万次,但是对于搜索空间而言,如同沧海一粟