ResNet基本结构
ResNet的基本结构包括 五个主要部分 :
-
初始卷积层 :采用7x7卷积核,步长为2,负责提取图像的初步特征。
-
四个卷积组 :每个卷积组包含多个残差块,深度不同的ResNet版本在这些组的数量上有差异。
-
平均池化层 :用于降低特征维度,减少过拟合风险。
-
全连接层 :处理最终的特征向量,输出分类结果。
这种设计有效解决了深层网络的退化问题,提高了网络性能和训练稳定性。
残差连接原理
在探讨ResNet的核心创新之前,我们需要理解深度神经网络面临的一个关键挑战:随着网络深度增加,训练过程中可能出现梯度消失或梯度爆炸的问题。这严重影响了网络的性能和训练稳定性。
为了解决这一难题,ResNet引入了一种革命性的设计理念—— 残差连接 。这种方法通过在神经网络中添加跨层的直接连接,显著改善了深度网络的训练效率和性能表现。
残差连接的工作原理可以简化为以下数学表达式:</