参考：https://www.zhihu.com/question/538049269/answer/2773898603
ViT模型变体：DeiT模型（Data-Efficient Image Transformer）；Swin Transformer模型 （Shifted Windows Transformer）；DINO模型（Self-distillation with no labels）；

DeiT模型（Data-Efficient Image Transformer）Touvron等人通过数据增强（data augmentation）等精细训练策略，在不依靠大型专有数据集的情况下实现了出色的模型性能（依然以ImageNet图像分类任务为衡量标准），这一点与原始ViT模型相反，ViT模型是在Google的JFT-300M闭源数据集上训练的。Touvron等人还使用一种专门针对Transformer模型的蒸馏（distillation）技术进一步改进ViT模型。将一个性能强大，但可能庞大而难以训练的teacher模型“蒸馏”为一个基于Transformer架构的student模型，做法和Hinton等人提出的”知识蒸馏“相似（Hinton et al. 2014）。这种模型称为DeiT模型（Data-Efficient Image Transformer）。ViT模型一般都需要在很大的数据集上预训练效果才会比较好，而DeiT在imagenet1k上就有比较好的效果。

为了解决ViT模型中图像块边缘空间信息部分丢失和计算复杂度二次方增长的问题，Liu等人引入了一种基于分层特征图和移位窗口（shifted window, Swin）的ViT模型（Liu et al. 2021）。Swin Transformer有两个核心贡献，如图7所示。

DINO模型（Self-distillation with no labels）目前谈及的ViT模型都经过有监督的分类任务（预）训练。Caron等人从另一个方向进行研究，在DeiT的基础上构建了一种自监督训练ViT模型，也取得了良好成果。这种模型无需使用DeiT所用的显式teacher模型，而是引入了一种无标签自蒸馏（self-distillation with no labels, DINO，https://openaccess.thecvf.com/content/ICCV2021/html/Caron_Emerging_Properties_in_Self-Supervised_Vision_Transformers_ICCV_2021_paper.html）方法。