1. iRMB介绍

1.1  摘要：本文重点关注开发现代、高效、轻量级的模型来进行密集预测，同时权衡参数、FLOP 和性能。 反向残差块（IRB）作为轻量级 CNN 的基础设施，但基于注意力的研究尚未认识到对应的部分。 这项工作从统一的角度重新思考高效IRB和Transformer有效组件的轻量级基础设施，将基于CNN的IRB扩展到基于注意力的模型，并抽象出一个残差元移动块（MMB）以进行轻量级模型设计。 遵循简单但有效的设计标准，我们推导了现代的反向残差移动块（iRMB），并构建了一个仅使用 iRMB 进行下游任务的 ResNetlike 高效模型（EMO）。 在 ImageNet-1K、COCO2017 和 ADE20K 基准上进行的大量实验证明了我们的 EMO 相对于最先进方法的优越性，例如，EMO-1M/2M/5M 达到了 71.5、75.1 和 78.4 Top-1，超越了同等水平的 Top-1。 订购基于 CNN-/Attention 的模型，同时很好地权衡参数、效率和准确性：在 iPhone14 上运行速度比 EdgeNeXt 快 2.8-4.0× ↑。

官方论文地址：https://arxiv.org/pdf/2301.01146

官方代码地址：