这篇文章提出了一种新的蒸馏方式,由于遥感场景图像具有类间相似性和类内多样性的特点,这篇文章试图解决这个问题。通过三个共享权重的分支,同时输入三张图片,其中两张类别相同的图片,一张类别不同但地物特征相似的图片,用x1,x2,x3表示。这样就获得了三个输出,将相同类别的输出和相似类别的输出同时对x1的输出进行蒸馏。过程如下图所示:
蒸馏的目标为增大类内相似性,减小类间相似性,通过构建如下的蒸馏损失函数来实现:
构建损失函数的目的是为了训练网络,论文中提到,这个训练过程分为了三个阶段。第一个阶段是z1和z3的距离小于z1和z2的距离也即类间的两张图片更加的相似。第二个阶段是z1和z3的距离小于z1和z2的距离加上一个常数,这个常数用表示,这是个可以训练的常数,随着网络训练的不同阶段数值不同。第三个阶段是z1和z3的距离大于z1和z2的距离。这个过程可以用下图表示
通过这种方式来降低遥感场景图像类内差异大,类间相似度高特性对分类所带来的影响。增大类间距离,减少类内距离。
最后,通过交叉熵损失和自蒸馏损失来共同监督网络模型的学习。