Institution：

分类模型广泛部署于社会之中，需要具备高效用性、公平性和稳健性。

目前的研究努力主要集中在固定数据集上改进模型架构和学习算法以实现这一目标。

相比之下，本文作者讨论了一个正交但至关重要的问题：给定一个固定的凸学习模型（或针对非凸模型的凸替代模型）和一个感兴趣的函数，作者通过解析特征空间来评估哪些数据对模型有益，然后旨在根据该函数来提高性能。为此，作者提出使用影响力估计模型来从数据特征空间的角度解释分类器的性能。此外，作者提出了基于影响力的数据选择方法，以增强模型的效用、公平性和稳健性。通过在合成和现实世界数据集上进行广泛的实验，作者验证并展示了作者的方法的有效性，不仅适用于常规的分类场景，还包括在更具挑战性的场景下，如分布偏移、公平性攻击、效用规避攻击、在线学习和主动学习。

Aim:

Methods:

1. 作者提出使用影响力估计模型来从数据特征空间的角度解释分类器的性能。

2. 作者提出了基于影响力的数据选择方法，以增强模型的效用、公平性和稳健性。（针对监督模型的数据剪枝）

Pseudo code:

此算法通过使用决策树来解释数据样本及其特征如何正面或负面地影响分类器的性能。

整个算法的目的是建立一个能够评估训练数据对分类器性能影响的模型。通过解释特征空间，这个模型能够指出对模型性能有正面或负面影响的数据点。这种方法特别适用于当作者希望理解模型性能背后的数据动态时。例如，在提升模型的效用、公平性和稳健性方面，这种方法可以帮助作者识别和选择更有益的数据点。

这个算法通过移除对模型性能有负面影响的训练数据来优化分类器。

该算法的目的是去除那些对模型性能负影响最大的样本，这样可以帮助提高模型的效用性、公平性和稳健性。这种方法假设作者可以通过影响力分析识别那些对模型负面影响最大的样本，并且在有限的预算内进行有效的数据修剪。

模型：常见的分类模型，MLP

常规分类数据集：表格数据集Adult、Bank，图像数据集CelebA，文本数据集Jigsaw Toxicity

高级应用场景（如分布偏移、公平性攻击、效用规避攻击、在线学习和主动学习）：

分布偏移场景数据集：加利福尼亚州2014年、密歇根州2014、2018年的数据

以下省略。。

Keyresults:

Conclusion:

Code:

Institution：

部分标签学习（PLL）允许每个训练示例配备一组候选标签，其中只有一个是真正的标签。现有的深度PLL研究侧重于以学习为中心的角度，设计各种消除标签歧义的训练策略，即从候选标签集中识别隐藏的真实标签。然而，当候选标签集的规模变得过大时，这些以学习为中心的策略将无法找到用于模型训练的真正标签，从而导致性能下降。这促使作者从以数据为中心的角度来思考，并开创了一个新的PLL相关任务，称为候选标签集剪枝（CLSP），该任务旨在以无训练的方式过滤出某些潜在的错误候选标签。

为此，作者提出了第一个基于表示空间和候选标签空间之间的不一致性的CLSP方法。具体来说，对于一个训练实例的每个候选标签，如果它不是表示空间中实例最近邻居的候选标签，那么它有很高的概率成为一个假标签。基于这种直觉，作者采用了每个示例剪枝方案，过滤出特定比例的高概率错误候选标签。从理论上，证明了剪枝错误率的上界，并分析了表示的质量对所提方法的影响。根据经验，在基准模拟和真实世界的PLL数据集上进行的广泛实验验证了CLSP对显著改进许多最先进的深度PLL方法的巨大价值。

Aim:

Methods:

提出基于表示空间和候选标签空间之间不一致性的CLSP方法。

Pseudo code:

实验数据集：（1）常见分类数据集：C10、C100、tiny-ImageNet

                      （2）真实场景数据集PLL数据集： PASCAL VOC 

                      （3）长尾数据集：C10-LT,C100-LT

候选标签生成：

生成候选标签的过程涉及不同类型的标签翻转概率模型：
均匀生成。标签依赖（LD）生成。实例依赖（ID）生成。
不同数据集（如CIFAR-10-LT, CIFAR-100-LT和Tiny-ImageNet）采用不同的概率q来生成这些标签，指示每个标签成为正确标签的可能性。
对于标签依赖生成，将根据同一超类中的标签生成具有特定概率分布的层次化候选标签集。
实例依赖生成则采用基于原始清洁标签的神经网络预测，并考虑标签级翻转概率，跟随先前的研究。
评估指标：

提出的CLSP（候选标签集剪枝）方法使用两个从定义1衍生的指标进行评估：
α误差： 值越小表现越好，指示较低的误差率。
β覆盖率： 值越大表现越好，指示对真实标签的更高覆盖率。
F1分数也用于评估剪枝，精确度和召回率以α和β来定义。F1分数是精确度和召回率的调和平均，因此更高的F1分数表示更好的性能。
特征提取器：

研究考虑了基于ResNet-18架构的不同视觉特征提取器，包括：
ResNet-S： 使用传统的监督学习。
ResNet-SSL： 利用自监督学习（在此背景下提到的SimCLR）。

Keyresults:

Conclusion:

Code:

Institution：

Aim:

Methods:

InfoBatch通过基于损失分布随机剪枝掉部分信息量较低的样本，并重新缩放剩余样本的梯度以逼近原始梯度 。

一、预备知识：

二、无偏剪枝和梯度缩放

三、退火

Pseudo code:

数据集：

研究在多个数据集上验证了所提方法的有效性，包括CIFAR-10/100、ImageNet-1K、ADE20K以及FFHQ。
实施细节：

在未特别指定的情况下，InfoBatch默认使用的参数是r = 0.5和δ = 0.875。
在分类任务中，使用ResNet18、ResNet-50、ViT-Base(MAE)和Swin-Tiny进行评估。
在CIFAR-10/100和ImageNet-1K数据集上，所有模型均采用OneCycle调度器（余弦退火策略）和SGD/LARS优化器进行训练，动量为0.9，权重衰减为5e-4。
所有图像都采用了常见的增强转换，比如归一化、随机裁剪和水平翻转。
实现基于PyTorch和Timm库。
语义分割任务：

在ADE20K数据集上进行了语义分割任务的实验，所选网络是具有ResNet-50骨干网络的UperNet。遵循mmsegmentation的默认配置。

Keyresults:

InfoBatch在分类、语义分割、视觉相关和指令微调任务上一致性地获得了无损训练结果。在CIFAR10/100、ImageNet-1K和ADE20K上，InfoBatch无损地节省了40%的总体成本。

对MAE和DDPM的相关训练，InfoBatch分别节省了24.8%和27%的成本。

对于LLaMA指令微调，结合InfoBatch和最近的核心集选择方法（DQ）实现10倍的加速。

Conclusion:

结论：作者提出了InfoBatch，一个新的框架，以无损训练加速的无偏动态数据修剪。InfoBatch在各种任务和数据集上具有较强的鲁棒性，在分类、分割、视觉相关和指令微调方面实现了无损训练加速。与以前最先进的方法相比，InfoBatch至少减少了10倍的额外开销，因此在实际应用程序中非常实用。本文提供了广泛的实验和理论分析，希望能帮助这一领域的后续研究。

限制和未来的工作。 1.去除样本可能会导致模型预测中的偏差。在将信息批处理应用于伦理敏感的数据集时，建议考虑这一限制。目前，作者还没有发现明显的偏见证据。如果作者有发现，作者将公开报告。 2.当前版本的InfoBatch依赖于多时代的训练方案。然而，GPT-3（Brown等人，2020年）和ViT-22B（Dehghani等人，2023年）通常在有限的时期进行训练。信息批处理可能需要对这些任务进行进一步的调整。作者将在未来探索这些任务的新策略。

Code:

Institution：

Aim:

Methods:

为了关注局部区域的不足，文章构建了一个新颖的子模块函数，以发现更准确的小解释区域。

一、区域划分

二、子模块化功能设计

为了增强所有样本的归因效果，文章还对子区域的选择施加了四种不同的约束：置信度、有效性、一致性和协作分数，以评估各个子集的重要性。

三、贪婪搜索

Pseudo code:

数据集：人脸（Celeb-A和VGG-Face2）和细粒度数据集（CUB-200-2011）

评价指标：

Keyresults:

Conclusion:

Code:

Institution：

Aim:

Methods:

可用于小样本微调的超网结构，两段进化微调搜索机制。

Pseudo code:

Keyresults:

Conclusion:

Code:

Institution：

Aim:

Methods:

Pseudo code:

Keyresults:

Conclusion:

Code:

Institution：

Aim:

Methods:

Pseudo code:

Keyresults:

Conclusion:

Code: