二、2012年的ImageNet竞赛

        ImageNet 是一个包含超过 1500 万张带标签的高分辨率图像的数据集，其中包含大约 22,000 个类别。ILSVRC 使用 ImageNet 的子集，其中每个类别包含约 1000 个图像。总共大约有 120 万张训练图像、5 万张验证图像和 15 万张测试图像。

        AlexNet，ILSVRC 2012 图像分类冠军，错误率显着降低

答：对于AlexNet，我们将介绍：

1. 建筑学
2. ReLU（修正线性单元）
3. 多个 GPU
4. 局部响应标准化
5. 重叠池化
6. 数据增强
7. 辍学
8. 学习参数的其他细节
9. 结果

        B. 对于CaffeNet来说，它只是AlexNet 的单 GPU 版本。由于通常情况下，人们只有一个 GPU，因此 CaffeNet 是一个用于模拟 AlexNet 的单 GPU 网络。我们也将在本故事的结尾介绍这一点。

        通过遍历每个组件，我们可以知道每个组件的重要性。其中一些现在不太有用。但它们确实激发了其他网络的发明。

三、AlexNet网络描述

1. 架构

亚历克斯网

AlexNet 包含八层：

输入：227×227×3输入图像（论文中和图中也提到了224×224×3尺寸，但是后来指出应该是227，或者在计算过程中填充了224×224×3第 1 次卷积。）

第一：卷积层：2组，每组48个核，大小11×11×3
（stride：4，pad：0）
输出55×55×48特征图×2组
然后3×3重叠最大池化（stride：2）
输出27×27×48特征图×2组
然后局部响应归一化
输出27×27×48特征图×2组

第二：卷积层：2组，每组128个核，大小为5×5×48
（步长：1，pad：2）
输出27×27×128特征图×2组
然后3×3重叠最大池化（步长：2）
输出13×13×128特征图×2组
然后局部响应归一化
输出13×13×128特征图×2组

第三：卷积层：2组，每组192个核，大小为3×3×256
（stride：1，pad：1）
输出13×13×192个特征图×2组

第四：卷积层：2组，每组192个核，大小为3×3×192
（stride：1，pad：1）
输出13×13×192个特征图×2组

第五：卷积层：256个大小为3×3×192的核
（步长：1，pad：1）
输出13×13×128特征图×2组
然后3×3重叠最大池化（步长：2）
输出6×6 ×128个特征图×2组

第 6 层： 4096 个神经元的全连接（密集）层

第 7 层： 4096 个神经元的全连接（密集）层

第 8 层：输出的全连接（密集）层
1000 个神经元（因为有 1000 个类）
Softmax用于计算损失。

总共有6000万个参数需要训练！！！

2.ReLU

激活函数

在 Alexnet 之前，使用的是 Tanh。AlexNet 中引入了 ReLU。
ReLU比Tanh 快六倍，达到 25% 的训练错误率。

3.多个GPU

当时使用的是NVIDIA GTX 580 GPU，只有3GB显存。因此，我们可以在架构中看到它们分成两条路径并使用 2 个 GPU 进行卷积。相互通信仅发生在一个特定的卷积层上。

因此，使用 2 个 GPU 是由于内存问题，而不是为了加快训练过程。

整个网络与只有一半内核（只有一条路径）的网络相比， Top-1和top-5错误率分别降低了1.7%和1.2%。

4. 局部响应标准化

正常化

在AlexNet中，使用了局部响应归一化。正如我们在方程中看到的，它与批量归一化不同。标准化有助于加速收敛。如今，使用批量归一化而不是使用本地响应归一化。

通过本地响应标准化，Top-1 和 top-5 错误率分别降低了 1.4% 和 1.2%。

5. 重叠池化

重叠池化是步幅小于内核大小的池化，非重叠池化是步幅等于或大于内核大小的池化。

通过重叠池化，Top-1 和 top-5 错误率分别降低了 0.4% 和 0.3%。

6. 数据增强

数据增强的两种形式。

第一：图像平移和水平反射（镜像）

从一张 256×256 图像加上水平反射中提取随机 224×224。训练集的大小增加了 2048 倍。计算公式如下：

通过图像平移：(256–224)²=32²=1024

通过水平反射：1024 × 2 = 2048

测试时，使用四个角斑块加上中心斑块及其对应的水平反射（总共10个斑块）进行预测，并取所有结果的平均值以获得最终的分类结果。

第二：改变强度

PCA 在训练集上执行。对于每个训练图像，添加数量：

强度改变量

其中 pi 和 λi 分别是 RGB 像素值的 3×3 协方差矩阵的第 i 个特征向量和特征值，αi 是平均值为 0、标准方差为 0.1 的随机变量。

通过数据增强来增加训练集的大小，Top-1 错误率降低了 1% 以上。

7. 辍学

辍学

对于使用 dropout 的层，在训练期间，每个神经元都有概率不参与前馈传递并参与反向传播。因此，每个神经元都可以有更大的机会接受训练，而不是过分依赖某些非常“强”的神经元。

考试期间，不会出现掉线的情况。

在 AlexNet 中，前两个全连接层使用 0.5 的概率。Dropout是一种减少过度拟合的正则化技术。

8.学习参数的其他细节

批量大小：128
动量 v：0.9
权重衰减：0.0005
学习率 ϵ：0.01，当验证错误率停止改善时手动减少 10，减少 3 倍。

动量v和权重w的更新

包含 120 万张图像的训练集。
网络训练了大约 90 个周期。
使用两个 NVIDIA GTX 580 3GB GPU 可以使用五到六天。

9. 结果

ILSVRC 2010 中的错误率

在 ILSVRC 2010 中，AlexNet 的 Top-1 和 top-5 错误率分别为 37.5% 和 17.0%，优于其他方法。

如果没有通过数据增强对 10 个补丁上的 10 个预测进行平均，AlexNet 仅获得 Top-1 和 top-5 错误率，分别为 39.0% 和 18.3%。

ILSVRC 2012 中的错误率

通过1个AlexNet（1个CNN），验证错误率为18.2%。

通过对5 个 AlexNet（5 个 CNN）的预测进行平均，错误率降低到16.4%。这是LeNet 中已经用于数字分类的一种 boosting 技术。

通过向 AlexNet (1 CNN*) 添加一层卷积层，验证错误率降低至16.6%。

通过对2 个修改后的 AlexNet 和 5 个原始 AlexNet（7 个 CNN*）的预测进行平均，验证错误率降低至15.4%。

AlexNet 的一些前 5 名结果

四、CaffeNet

        CaffeNet 是 AlexNet 的 1-GPU 版本。该架构是：

注意点：

        我们可以看到 AlexNet 中的 2 条路径合并为一条路径。

        值得注意的是，对于 CaffeNet 的早期版本，池化层和归一化层的顺序是相反的，这是偶然的。但在 Caffe 提供的当前版本的 CaffeNet 中，它已经为 Caffenet 提供了池化层和归一化层的正确顺序。

通过对每个组件的逐一研究，我们可以了解每个组件的有效性。:)

如果有兴趣，还有一个关于使用 Nvidia-Docker 和 Caffe 快速设置 CaffeNet 的教程[3]。