1. Motivation

在特征空间中，特征之间的collapse会导致representation learning 中的关键问题，这是因为特征之间不可区分。基于线性插值的增强方法（例如 mixup）已经显示出它们在缓解类间塌陷（称为inter-class collapse）方面的有效性，可以提高了模型在长尾数据集和对比自监督学习上（contrastive self-supervised learning）的性能。但是从粗粒度到细粒度会导致的类内塌陷（ intra-class collapse） 还没有得到充分讨论。

类内特征塌陷：在一个类别内部，如果所有的样本特征都过于接近类的质心，那么就会发生类内特征塌陷。这种情况下，即使这些样本在原始数据空间中有非常不同的表现，但是在特征空间中，它们都被映射到了非常接近的位置，这就导致了这些样本的特征无法区分，从而影响了模型的学习效果。类内特征坍塌被证实出现在coarse-to-fine transfer learning。

类间特征坍塌：如果不同类别的样本特征在特征空间中过于接近或者相同，那么就会发生类间特征塌陷。这种情况下，不同类别的样本无法被区分开，从而影响了模型的分类效果。类间特征坍塌则会发生在长尾数据集上，因为头类的压倒性数值优势，会导致长尾数据集上的边缘不平衡，从而降低了图像分类性能。

long-tailed datasets：长尾数据集是指在数据集中，某些类别的样本数量远大于其他类别的样本数量。

2. Contribution

出于以上的动机（尚未解决的类内特征坍塌），作者研究了从粗到精的迁移学习和不平衡学习这两个任务中 基于插值的增强方法的类间和类内塌陷效应，特别是mixup and manifold mixup这两种增强方法。作者发现mixup 和 manifold mixup 都存在相似的 collapse problems。为了解决这些坍塌问题，作者提出了一种更好的基于插值的增强方法：asymptotic midpoint mixup（渐近中点混合/AM-mixup）。

这个方法会通过线性插值产生features，并且精细地控制 线性插值的比例。具体来说，随着模型训练，增强的特征逐渐会接近两个类之间的中点（ the midpoint of inter-class feature pairs），如图所示。最终，在能够减弱collapse effects的同时，类别的margin会变得平衡且适度地变宽。

在toy task的实验中，作者通过使用对齐（alignment）和均匀性（uniformity）的两种metric 对 mixup、manifold mixup和 AM-mixup 进行度量来验证坍塌的影响，通过经验验证了作者的方法在长尾数据集和 从粗到细的迁移数据集上 图像分类任务的影响和有效。

Contribution 分为三部分：

1. 解决了在特征增强（feature augmentation）方法中inter-class和 intra-class collapse的坍塌问题，并且通过对 alignment 和uniformity 的分析 展示了这两种坍塌的影响。
2. 提出了一个更好的基于插值的增强方式， asymptotic midpoint mixup，通过平衡和适度拓宽在特征空间中的margin 来解决 坍塌问题。
3. 实践地分析了提出的方法和其他 特征增强方法的 在 不平衡学习 和 粗到细粒度迁移学习上的影响和表现。

3. Background

Intra-class collapse

在对比学习中，encoder 会确保类似的sample 在特征空间中也在类似的locations，然而，由于positive pairs之间的吸引力过大，这些特征往往cluster到一个点上，这种现象会限制模型的表现力，尤其在 coarse-to-fine transfer learning的环境下。具体来说，如果一个模型在粗粒度的labels上预训练而在细粒度的labels上微调，由于特征坍塌，这个模型很有可能没办法把 input samples 分类到 细粒度的label。特别是，在监督对比学习中，同一超类中的特征很容易在超类的质心上坍塌，即使细粒度分类器试图将它们分类为自己的子类。作者把这个问题称为类内坍塌。 为了测量类内坍塌，类内对齐（ intra-class alignment）被提出，代表positive pairs的closeness。通过下面的公式测量：

Inter-class collapse

由于锚点和负样本之间的排斥，类的质心彼此远离，对比学习实现了高性能。然而，在处理长尾数据集时，监督对比学习可能会受到不同类别之间特征崩溃的影响。在这种情况下，模型会优先考虑最大化头部类别之间的距离以减少损失。因此，对比损失并未均匀分布在所有类别中。在这种情况下，尾部类中的特征将相互坍塌。我们将这种崩溃称为类间崩溃，它阻碍了模型学习常规简单的特征的能力，尤其在不平衡的学习中。类间崩溃可以使用类间和邻域均匀性来量化，这些指标优先考虑单位超球面上representation 的均匀分布。类间均匀性评估类的不同质心之间的距离，而邻域均匀性检查尾部类的收敛性。这两种类型的指标可以分别使用以下 U 和 Uk 来衡量：

4. Method

Interpolation-Based Feature Generation and One-sided Labeling

在AM-mixup中, 增强的特征和标签被创建为：

zi 和 zj 从小批量中随机选择，所得标签现在称为 c(i,j) 并称为单侧标签。这一过程发生在特征空间中，单侧标签是通过调整参数 λam 来确定的，以渐近地将它们移近决策边界。与其他基于插值的方法不同，标签是在一侧明确确定的，从而导致相应类别的余量增加。

Asymptotic Move of Augmented Features.

置信度是估计决策边界的重要因素。然而，在早期训练中依靠片面标签作为基本事实是一种不值得信赖的方法，因为神经网络可能会做出错误的预测。为了降低这种风险，作者使用一个调度程序，该调度程序使用训练精度来以更高的灵敏度调整 λam，如式子所示。

vacc ∈ [0, 1] 表示每个 epoch 训练精度的真实值。 β 是一个超参数，用于决定 λam 如何随着训练精度而减小。 β 应设置为 0.67，导致 lambda 从 1.0 呈指数下降到大约 0.5。当混合率接近 0.5 时，增强的特征会导致显着的损失，并导致模型以较大的margin进行训练。然而，在获得最大置信度后，原始特征不再远离边界。由于梯度接近于零，类内特征与其质心之间的距离得到适度保持，而不会产生过大的收敛压力。尽管有这个优势，但大约 0.5 的混合率似乎会使模型在训练后期的训练变得困难。为了缓解这种现象，作者通过实验测试了各种 β 值，并确定当 β = 0.34 时模型表现最佳。

Training Loss for Augmented Features.

交叉熵、mixup和AMmixup的损失函数用以下公式表示：

AM 混合损失和交叉熵损失很像，和使用两种标签的mixup的损失函数相反。 因为AM 混合损失仅利用单侧标签（ λam 大于另一侧的标签）。通过这种单侧标签，AM-mixup 可以通过尝试增加增强特征对这些单侧标签的置信度来比 mixup 更广泛地扩展margin。

5. Experiment Results

Common Settings

作者选择了两种基线方法来与 AM-mixup 进行比较。mixup有效地证明了作者的目标问题，而manifold mixup作为特征增强的代表性方法。使用不同的随机种子进行了不平衡学习和从粗到精的迁移学习的实验。他们的表现用平均数mean和标准差std来表示，即mean_std。在AM-mixup中，β的默认值设置为0.34。在 ImageNet-LT 和 Places-LT 中，Mixup alpha 设置为 0.2，在所有其他数据集中设置为 1.0。作者报告了三个类别分割的准确性：Head-Many（超过 100 个图像）、Medium（20 到 100 个图像）和 Tail-Few（少于 20 个图像）。

Inter-class Collapse in Imbalanced Learning

除了 CIFAR100-LT 上的不平衡因子 50 和 10 之外，AM-mixup 在 CIFAR10/100LT 中获得了最佳性能。 Mixup 显示出比 CE 更好的性能，但不如 AM-mixup。这意味着在长尾数据集中，mixup 比 AM-mixup 更容​​易遭受类间崩塌。Mixup 和manifold Mixup 性能的改进主要是通过提高 many 部分和 Median 部分的精度来实现的，这意味着它们没有为尾部类别获得足够的余量，而 AM-mixup 通过提高 few 部分的精度来实现更好的余量平衡。

因此，AM-mixup 通过减少尾部类之间的类间崩溃来实现最高性能。然而，这种趋势在更实践的数据集 ImageNet-LT 上略有不同。在 ImageNet-LT 数据集中，CE 比基于插值的方法（包括少数部分的 AM-mixup）表现出更好的精度，甚至在 ResNet50 的情况下，CE 也表现出比其他方法更好的性能。尽管存在这种劣势，AM-mixup 在 ResNet50 和 ResNet152 中的few 部分上优于 mixup 和manifold mixup，同时在 ResNet101 中表现出相当的性能，这意味着渐近运动有利于减轻尾类之间的坍塌。

Intra-class Collapse in Coarse-to-Fine Transfer Learning

AM-mixup 实现了第二好的测试精度，甚至在 MNIST 上优于所有其他测试。然而，mixup表现出类内崩台，正如其低准确度所表明的那样。类似地，AM-mixup 也存在类内崩溃，其精度低于没有任何增强的交叉熵（CE），但 AM-mixup 的效果比 mixup 更好。这意味着 AM-mixup 的混合率控制和单侧标记减轻了类内崩塌。

Ablation Study

为了定性比较AN-mixup中主要成分的影响，作者在CIFAR 100-LT上进行了消融研究，不平衡因子设置为100。

可以知道：

1. 根据模型的可靠性调整mixup rate（表格中的lam）非常重要。
2. 使用单面标签始终比不使用标签具有更好的性能。
3. Effect of Mixup仅在最后一层。在相同条件下（第1、2行和第3、6行）比较模型的性能时，并且在Many 的部分上，LL表现出较差的性能。但是在Median 和Few 上表现出色，这是不平衡学习上的关键。