论文地址：https://arxiv.org/pdf/2404.10518
代码地址：https://github.com/tensorflow/models/blob/master/official/vision/modeling/backbones/mobilenet.py

文章速览

文章摘要

MobileNetV4引入了一个名为Universal Inverted Bottleneck (UIB) 的新搜索模块，这个模块融合了倒瓶颈 (Inverted Bottleneck, IB)、ConvNext、前馈网络 (Feed Forward Network, FFN) 以及一个新的Extra Depthwise (ExtraDW) 变体。此外，还提出了一个名为Mobile MQA的注意力模块，特别适用于移动加速器，能够提高39%的速度。通过优化的神经架构搜索 (NAS) 配方，这些模块整合在一起，形成了一套适用于各种硬件（如移动CPU、DSP、GPU以及专用加速器）的新一代MobileNetV4模型。这些模型在大多数设备上表现出帕累托最优 (Pareto optimal) 的特性。

引言

现代移动设备上的神经网络需要在效率和精度之间取得平