深度学习论文: Separable Self-attention for Mobile Vision Transformers

深度学习论文: Separable Self-attention for Mobile Vision Transformers
Separable Self-attention for Mobile Vision Transformers
PDF:https://arxiv.org/pdf/2206.02680
PyTorch: https://github.com/shanglianlm0525/PyTorch-Networks

1 概述

MobileViT是一种融合了CNN和ViT优点的混合网络，专为移动设备设计，具有较少的参数和较轻的计算负担。但其效率受限于多头自注意力（MHA）的高时间复杂度O(k^2)，这在处理大量令牌时成为瓶颈。为了解决这一问题，本文提出了一种具有线性复杂度的可分离自注意力方法，通过计算与潜在令牌相关的上下文得分来简化操作，大幅降低计算成本。这种方法使用逐元素操作，适合资源受限的设备。将此方法应用于MobileViT，形成了改进版模型MobileViTv2，通过替代MHA进一步提升了推理速度。
在这里插入图片描述

2 MobileViTv2

2-1 Overview of multi-headed self-attention

在这里插入图片描述

2-2 Separable self-attention

在这里插入图片描述

2-3 MobileViTv2 architecture

提出的可分离自注意力方法
在这里插入图片描述
具体而言，MobileViTv1中的transformer模块内的MHA被替换为新提出的可分离自注意力方法，形成的新架构称为MobileViTv2。同时，MobileViT模块中的跳跃连接和融合块并未被采用，因为在性能上的提升微乎其微。为了构建不同复杂度的MobileViTv2模型，通过宽度乘数α对MobileViTv2网络的宽度进行统一缩放，α的取值范围为{0.5, 1.0, 1.5, 2.0}。
在这里插入图片描述