AlexNet是由Alex Krizhevsky、Ilya Sutskever（均为Hinton的学生）和Geoffrey Hinton（被誉为”人工智能教父“，首先将反向传播用于多层神经网络）在2012年ImageNet图像分类竞赛中提出的一种经典的卷积神经网络。AlexNet在 ImageNet 大规模视觉识别竞赛中取得了优异的成绩，把深度学习模型在比赛中的正确率提升到一个前所未有的高度，它的出现对深度学习发展具有里程碑式的意义。论文在写作过程中并没有提及将本网络架构称为AlexNet，而是后来人们将一作作者的名字融入，称为AlexNet。
论文原文：ImageNet Classification with Deep Convolutional Neural Networks
本文将首先介绍 AlexNet 的基本结构，然后讲述AlexNet的创新点，最后给出了基于pytorch的AlexNet代码实现。
一、AlexNet基本结构
AlexNet输入为RGB三通道的224 × 224 × 3大小的图像，共包含5 个卷积层和 3 个全连接层。其中，每个卷积层都包含卷积核、偏置项、ReLU激活函数。而第1、2、5个卷积层后面都跟着一个最大池化层（Max Pooling Layer），第1、2个卷积层后跟着局部响应归一化（LRN）模块，后面三个层为全连接层，最终输出层为softmax，将网络输出转化为概率值，用于预测图像的类别。
下图是AlexNet的网络结构图，从中可以看到网络结构在部署的时候采用的是双GPU方式，但是随着并行计算等算法的出现，这种方式也变得麻烦且不高效，一般不会采用。
各层网络参数设置
| 输入尺寸 | 卷积/池化核尺寸 | 步长stride | 填充padding | 输出尺寸 | |
| 卷积层C1（ReLU） | 224 × 224 × 3 | 11×11×3（96个） | 4 | 0 | 55×55×48（一对） |
| 最大池化层 | 55×55×48（一对） | 3×3 | 2 | 0 | 27×27×48（一对） |
| LRN | |||||
| 卷积层C2（ReLU） | 27×27×48（一对） | 5× 5×48（256个） | 1 | 2 | 27×27×128（一对） |
| 最大池化层 | 27×27×128（一对） | 3×3 | 2 | 0 | 13×13×128（一对） |
| LRN | |||||
| 卷积层C3（ReLU） | 13×13×128（一对） | 3×3×256（384个） | 1 | 1 | 13×13×192（一对） |
| 卷积层C4（ReLU） | 13×13×192（一对） | 3×3x192（384个） | 1 | 1 | 13×13×192（一对） |
| 卷积层C5（ReLU） | 13×13×192（一对） | 3×3 ×192（256个） | 1 | 1 | 13×13×128（一对） |
| 最大池化层 | 13×13×128（一对） | 3×3 | 2 | 0 | 6×6×128（一对） |
| 全连接层FC6（ReLU） | 6×6×128（一对） | 6×6×256（4096个） | 1 | 0 | 1×1×4096 |
| 全连接层FC7 （ReLU） | 1×1×4096 | / | / | / | 1×1×4096 |
| 全连接层FC8（softmax） | 1×1×4096 | / | / | / | 1×1×1000 |
二、 创新点
1、更深的神经网络结构
AlexNet 是首个真正意义上的深度卷积神经网络，它的深度达到了当时先前神经网络的数倍。通过增加网络深度，AlexNet 能够更好地学习数据集的特征，从而提高了图像分类的精度。
2. 使用ReLU作为激活函数
ReLU（Rectified Linear Unit）是一种非线性激活函数，尽管它的表达式看起来简单：f(x)=max(0,x) ，可能会认为正值部分是线性的，因此 ReLU 整体上也是线性的。然而，它实际上是非线性的，这是因为它改变了输入输出之间的关系。首先是，分段定义导致非线性。ReLU 的定义分为两部分：
虽然 y=x 是线性的，但当 y=0 和 y=x 拼接在一起时，整个函数变得非线性，因为它在 x=0 的位置发生了“转折”（即斜率不再连续）。其次是，破坏线性叠加性。如果一个神经网络中所有的操作（权重乘积、加法）都是线性的，那么无论堆叠多少层，最终的输出仍然是输入的线性变换。这会导致网络无法拟合复杂的非线性数据。ReLU 通过其分段特性（在某些输入上输出为 0）破坏了线性叠加性：
这使得网络能够通过组合多个 ReLU 激活函数来表示复杂的非线性函数。最后是，梯度的非线性行为。ReLU 的导数（梯度）如下：
这种分段的梯度行为在反向传播时也是非线性的，在某些区域梯度为 0，这意味着这些区域的权重不会被更新；在其他区域梯度为 1，权重会正常更新。这种选择性更新（由梯度的非线性决定）进一步增强了网络的非线性建模能力。
知道了为什么ReLU函数也是一种非线性激活函数之后，我们看一下ReLU函数的优点。相比于传统的sigmoid和 tanh 函数，ReLU 能够在保持计算速度的同时，有效地解决了梯度消失问题，从而使得训练更加高效。观察sigmoid和 tanh 函数，我们可以看到，当x变得很大或很小时，梯度几乎为0，也就出现了梯度消失的现象，当梯度消失发生时，最后一个隐层梯度更新基本正常，但是越往前的隐层内更新越慢，甚至有可能会出现停滞，此时，多层深度神经网络可能会退化为浅层的神经网络（只有后面几层在学习），因为浅层基本没有学习，对输入仅仅做了一个映射而已，从而导致了浅层网络的参数发生了变化微弱。
3. 局部响应归一化（LRN）的使用
LRN是在卷积层和池化层之间添加的一种归一化操作。在卷积层中，每个卷积核都对应一个特征图，LRN就是对这些特征图进行归一化。对于每个特征图上的每个位置，计算该位置周围的像素的平方和，然后将当前位置的像素值除以这个和。计算过程可以用以下公式表示：
LRN本质是抑制邻近神经元的响应（侧抑制），从而增强了神经元的较大响应。这种技术在一定程度上能够避免过拟合，并提高网络的泛化能力。现在通常不会被使用，有更多其他的归一化方式。
4、数据增强和Dropout（训练技巧）
为了防止过拟合，AlexNet 引入了数据增强和 Dropout 技术。数据增强可以通过对图像进行旋转、翻转、裁剪等变换，增加训练数据的多样性，提高模型的泛化能力。Dropout 则是在训练过程中随机删除一定比例的神经元，强制网络学习多个互不相同的子网络，从而提高网络的泛化能力。Dropout简单来说就是在前向传播的时候，让某个神经元的激活值以一定的概率p丢失，这样可以使模型泛化性更强，因为它不会太依赖某些局部的特征。
三、 代码
网络构建代码如下：（model.py）
import torch.nn as nn
import torch.utils.model_zoo as model_zoo
__all__ = ['AlexNet', 'alexnet']
model_urls = {
'alexnet': 'https://download.pytorch.org/models/alexnet-owt-4df8aa71.pth',
}
class AlexNet(nn.Module):
def __init__(self, num_classes=1000):
super(AlexNet, self).__init__()
self.features = nn.Sequential(
nn.Conv2d(3, 64, kernel_size=11, stride=4, padding=2),
nn.ReLU(inplace=True),
nn.MaxPool2d(kernel_size=3, stride=2),
nn.Conv2d(64, 192, kernel_size=5, padding=2),
nn.ReLU(inplace=True),
nn.MaxPool2d(kernel_size=3, stride=2),
nn.Conv2d(192, 384, kernel_size=3, padding=1),
nn.ReLU(inplace=True),
nn.Conv2d(384, 256, kernel_size=3, padding=1),
nn.ReLU(inplace=True),
nn.Conv2d(256, 256, kernel_size=3, padding=1),
nn.ReLU(inplace=True),
nn.MaxPool2d(kernel_size=3, stride=2),
)
self.classifier = nn.Sequential(
nn.Dropout(),
nn.Linear(256 * 6 * 6, 4096),
nn.ReLU(inplace=True),
nn.Dropout(),
nn.Linear(4096, 4096),
nn.ReLU(inplace=True),
nn.Linear(4096, num_classes),
)
def forward(self, x):
x = self.features(x)
x = x.view(x.size(0), 256 * 6 * 6) #进行展平
x = self.classifier(x)
return x
def alexnet(pretrained=False, model_root=None, **kwargs):
model = AlexNet(**kwargs)
if pretrained:
model.load_state_dict(model_zoo.load_url(model_urls['alexnet'], model_root))
return model参考资料：
卷积神经网络经典回顾之AlexNet - 知乎https://zhuanlan.zhihu.com/p/61854575724 深度卷积神经网络 AlexNet【动手学深度学习v2】_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1h54y1L7oe/?spm_id_from=333.337.search-card.all.click&vd_source=0dc0c2075537732f2b9a894b24578eedCV-baselinel-AlexNet-06-训练技巧_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV167411371Y/?spm_id_from=333.788.player.switch&vd_source=0dc0c2075537732f2b9a894b24578eed&p=6
