文章目录
- 网络宽度和深度设计
- 1. 什么是网络深度
- 1.1 为什么需要更深的模型
- 浅层学习的缺陷
- 深度网络更好拟合特征
- 学习更加简单
- 2. 基于深度的模型设计
- 2.1 AlexNet
- 2.2 AlexNet工程技巧
- 2.3 VGGNet
- 3. 什么是网络宽度
- 3.1 为什么需要足够的宽度
- 4. 基于宽度模型的设计
- 4.1 经典模型的宽度变化
- 4.2 网络宽度设计
网络宽度和深度设计
在深度学习中，网络的宽度和深度是两个重要的超参数，它们对模型的性能和训练过程有重要影响。以下是有关网络宽度和深度的设计考虑：
- 网络宽度：
- 网络宽度指的是每个层中的神经元数量。增加宽度可以增加模型的表示能力，有助于学习更复杂的模式。但要注意，增加宽度会增加模型的计算和内存需求，可能导致过拟合。
- 网络宽度通常在训练集上产生较好的性能，但需要更多的数据来防止过拟合。如果你的数据有限，可以考虑减小网络宽度，以减少过拟合的风险。
- 通常，增加宽度是一种增加模型复杂度的方式，适用于任务较复杂的问题，如大规模图像分类或自然语言处理。
- 网络深度：
- 网络深度指的是神经网络中的层数。增加深度可以增加模型的抽象能力，使其能够学习更高级的特征。然而，深度也会增加训练时间和梯度消失/爆炸的问题。
- 对于某些任务，深度网络可能不是最佳选择，因为训练深层网络可能会很困难，需要大量的数据和计算资源。
- 深度网络在一些领域表现出色，如计算机视觉中的图像分割和自然语言处理中的机器翻译。
考虑网络宽度和深度时，可以尝试不同的组合，根据具体任务和资源进行调整。以下是一些通用建议：
- 在开始设计时，可以选择一个较浅的网络和适度的宽度，然后逐渐增加深度和宽度，观察性能的变化。
- 使用正则化技巧（如Dropout、L1/L2正则化）来减少过拟合风险，特别是在增加网络宽度和深度时。
- 使用预训练模型（如预训练的卷积神经网络或Transformer模型）可以减少深度和宽度对大规模数据的依赖，并提供更好的初始权重。
- 目标是找到适合任务的最佳网络结构，这通常需要进行实验和交叉验证。
总之，网络宽度和深度的设计取决于任务的复杂性、可用的数据和计算资源。在模型设计时，需要谨慎权衡它们，以实现最佳性能。
1. 什么是网络深度
定义： 深度学习的最重要属性，计算最长路径的卷积层+全连接层数量
1.1 为什么需要更深的模型
浅层学习的缺陷
深度网络更好拟合特征
学习更加简单
2. 基于深度的模型设计
2.1 AlexNet
2.2 AlexNet工程技巧
- 多GPU训练
- ReLU激活函数
- LRN归一化
- Dropout正则化
- 重叠池化
- 数据增强
2.3 VGGNet
特点：
- 加深网络，小卷积3*3
- 随着网络深度的增加，性能变好，深度可达19层，拥有了比AlexNet低7%以上的错误率
- 全部的卷积核大小为3×3，有更高的计算效率
- 多尺度的数据增强操作
加深模型容易出现的问题： 深层模型优化问题
- 难以优化，达到一定深度后性能反而下降，VGG19与VGG16对比
- 更深更加容易过拟合
- processing leve deprivation(PLD)现象，网络无法学习到简单而重要的函数
- processing level saturation(PLS)现象，网络浅层饱和，无法发挥网络的性能
3. 什么是网络宽度
- 每一个网络层的通道数，以卷积网络层计算
3.1 为什么需要足够的宽度
- 更多的通道可以学习到更加丰富的特征
4. 基于宽度模型的设计
4.1 经典模型的宽度变化
- 分类网络的通道数随着深度增加是一个逐渐增加的过程
4.2 网络宽度设计
- 提高单层通道的利用率
- 提高多层通道的利用率，密集连接网络(DenseNet)，增强各层的信息流动
- 模型表达能力，计算量，硬件友好程度
注：部分内容来自阿里云天池
