深度学习论文: VanillaNet: the Power of Minimalism in Deep Learning
VanillaNet: the Power of Minimalism in Deep Learning
PDF:https://arxiv.org/pdf/2305.12972
PyTorch: https://github.com/shanglianlm0525/PyTorch-Networks

1 概述

提出的VanillaNet通过简化设计，避免了过度深度和复杂操作，同时采用“深度训练”策略和创新的激活函数，以提高性能，适合资源受限的环境。VanillaNet展示了在保持简洁的同时实现高效率和准确性的可能性，为神经网络设计提供了新的方向。

2 VanillaNet

2-1 A Vanilla Neural Architecture

VanillaNet的架构以6层为例，包括一个用于图像通道映射的干线卷积层，四个阶段，每个阶段后特征通道数增加，尺寸减小。我们使用了1×1卷积层以最小化计算成本，并在每层后应用激活函数和批量归一化。VanillaNet没有使用快捷连接，因为它的性能提升有限，并且简化了网络的实现。

尽管VanillaNet架构简单，但我们提出了一些技术来解决其非线性能力较弱的问题，以提升性能。

2-2 Deep Training Strategy

2-3 Series Informed Activation Function

3 Experiments