Object Detection

2019

Learning Loss for Active Learning

code: https://paperswithcode.com/paper/190503677
摘要： 深度神经网络的性能随着注释数据的增加而提高。问题是，注释的预算是有限的。一个解决方案是主动学习，即一个模型要求人类对它认为不确定的数据进行注释。最近已经提出了各种将主动学习应用于深度网络的方法，但大多数方法要么是针对其目标任务设计的，要么是针对大型网络的计算效率低。在本文中，我们提出了一种新的主动学习方法，它虽然简单，但与任务无关，并能有效地处理深度网络。我们将一个名为“损失预测模块”的小参数模块附加到一个目标网络上，并学习它来预测未标记输入的目标损失。然后，该模块可以提出目标模型可能产生错误预测的数据。这种方法是与任务无关的，因为网络是从单一的损失中学习出来的，而不管目标任务如何。我们通过图像分类、目标检测和人体姿态估计，严格验证了最近的网络架构。结果表明，我们的方法在任务上始终优于以前的方法。

An Adaptive Supervision Framework for Active Learning in Object Detection

摘要： 计算机视觉中的主动学习方法通常涉及到查询数据的强标签。然而，以往的研究表明，弱监督可以有效地实现视觉任务的训练模型，同时大大降低了标注成本。利用这些知识，我们提出了一个主动学习的自适应监督框架，并证明了其在目标检测任务上的有效性。我们不是直接查询信息最丰富的样本的边界框注释（强标签），而是首先查询弱标签并优化模型。使用切换条件，可以提高所需的监督水平。我们的框架对模型架构几乎没有任何改变。我们进行的大量实验表明，所提出的框架可以用于训练良好的可推广模型，其注释成本比现有的目标检测主动学习方法要低得多。

2021

Active Learning for Deep Object Detection via Probabilistic Modeling

code: https://paperswithcode.com/paper/active-learning-for-deep-object-detection-via

摘要： 主动学习的目的是通过在数据集上只选择信息最丰富的样本来降低标记成本。现有的工作很少涉及目标检测的主动学习。这些方法大多基于多个模型或是分类方法的直接扩展，因此仅使用分类头来估计图像的信息量。在本文中，我们提出了一种新的深度主动学习的目标检测方法。我们的方法依赖于混合密度网络，它估计每个定位和分类头的输出的概率分布。我们明确地估计了单一模型的单一正向传递的任意性和认知的不确定性。我们的方法使用一个评分函数，将这两种类型的不确定性聚合为两个头部，以获得每幅图像的信息性得分。我们在帕斯卡尔VOC和MSCOCO数据集中证明了我们的方法的有效性。我们的方法优于基于单模型的方法，并且与基于多模型的方法相当，计算成本的一小部分。

Multiple Instance Active Learning for Object Detection

code: https://paperswithcode.com/paper/multiple-instance-active-learning-for-object
中文版链接
中国专利链接

摘要： 尽管主动学习在图像识别方面取得了实质性的进展，但仍缺乏一种用于目标检测的实例级主动学习方法。在本文中，我们提出了多实例主动对象检测（MI-AOD），通过观察实例级的不确定性来选择信息最丰富的图像进行检测器训练。MI-AOD定义了一个实例不确定性学习模块，它利用在标记集上训练的两个对抗性实例分类器的差异来预测未标记集的实例不确定性。MI-AOD将未标记的图像作为实例袋，将图像中的特征锚作为实例，并通过以多实例学习（MIL）的方式对实例进行重新加权来估计图像的不确定性。迭代实例不确定性学习和重新加权有助于抑制噪声实例，以弥合实例不确定性和图像海拔不确定性之间的差距。实验验证了MI-AOD为实例级主动学习设置了坚实的基线。在常用的目标检测数据集上，MI-AOD的性能优于最先进的方法，特别是当标记的数据集很小时。

2022

ALBench: A Framework for Evaluating Active Learning in Object Detection

code : https://paperswithcode.com/paper/albench-a-framework-for-evaluating-active
摘要： 主动学习是自动化机器学习系统中的一项重要技术。与旨在自动化神经网络结构设计的神经结构搜索（NAS）相比，主动学习的目标是自动化训练数据选择。这对于训练正样本稀疏分布的长尾任务尤为重要。主动学习通过基于电子数据选择的增量训练模型，减轻了昂贵的数据注释问题。它不是注释所有未标记的样本，而是迭代地选择和注释最有价值的样本。主动学习在图像类检测中已经很流行，但在目标检测中尚未得到充分的探索。目前大多数的对象检测方法都是用不同的设置来评估的，这使得很难公平地比较它们的性能。为了便于本领域的研究，本文提供了一个名为ALBench的主动学习基准框架，用于评估目标检测中的主动学习。该ALBench框架在一个自动深度模型训练系统上开发，易于使用，兼容不同的主动学习算法，并确保相同的训练和测试协议。我们希望这个自动化的基准测试系统能帮助研究人员轻松地再现文献的表现，并与现有的艺术进行客观的比较。

Consistency-based Active Learning for Object Detection

code: https://paperswithcode.com/paper/consistency-based-active-learning-for-object

摘要： 主动学习的目的是通过在有限的预算下选择信息最丰富的样本来提高任务模型的性能。与最近大多数关注于将主动学习应用于图像分类的工作不同，我们提出了一种有效的基于一致性的目标检测主动学习方法（CALD），该方法充分探索了原始数据和增强数据之间的一致性。CALD有三个很吸引人的好处。(i) CALD是通过调查现有的主动学习方法的弱点来系统设计的，这些方法没有考虑到目标检测的独特挑战。（ii）CALD将盒子回归和分类统一为单一度量，这与主动学习方法无关。CALD还关注信息最丰富的局部区域，而不是整个图像，这有利于目标检测。（iii）CALD不仅衡量样本选择的个人信息，而且还利用互信息来鼓励平衡的数据分布。大量的实验表明，CALD在一般目标检测数据集上显著优于现有的最先进的任务无关和与检测特定的主动学习方法。基于更快的R-CNN检测器，CALD平均超过帕卡VOC 2007、帕卡VOC 2012和MS COCO的基线方法（随机选择）。

论文的贡献：

• 我们发现图像分类的主动学习与目标检测之间的差距，当现有的基于分类的主动学习方法转移到检测中时，导致性能下降。我们的分析启发了三个原则的检测特异性主动学习方法。
• 我们提出了一种新的检测特定的主动学习方法，CALD，考虑了边界盒和预测类分布的一致性，以克服分类和检测之间的不一致性所带来的挑战。
• 在帕斯卡VOC [11]、MS COCO [28]与更快的R-CNN [34]和视网膜网络[27]上进行的广泛实验表明，CALD优于最先进的任务识别和检测特异性主动学习方法。

Not All Labels Are Equal: Rationalizing The Labeling Costs for Training Object Detection

code: https://github.com/NVlabs/AL-SSL
摘要：深度神经网络在目标检测方面已经达到了很高的精度，但其成功取决于大量的标记数据。为了减少对标签的依赖性，基于检测器的置信度，提出了各种主动学习策略。然而，这些方法偏向于高性能的类，并导致获得的数据集不能很好地代表测试集数据。在这项工作中，我们提出了一个统一的主动学习框架，它考虑了检测器的不确定性和鲁棒性，确保网络在所有类中表现良好。此外，我们的方法利用自动标记来抑制潜在的分布漂移，同时提高了模型的性能。在Pascal VOC07+12和MS-COCO上的实验表明，我们的方法始终优于广泛的主动学习方法，mAP提高了7.7%，或标记成本降低了82%。

Active Learning Strategies for Weakly-Supervised Object Detection

code: https://github.com/huyvvo/BiB

摘要： 使用弱注释训练的对象检测器是对完全监督的对应对象的负担得起的替代品。然而，它们之间仍然存在着显著的性能差距。我们建议通过微调基础预训练的弱监督检测器（BiB）来缩小这一差距，并从训练集中自动选择一些完全注释的样本（BiB）是一种新的主动学习策略，专门用于解决弱监督检测器的充分记录的故障模式。在VOC07和COCO基准上的实验表明，BiB的性能优于其他主动学习技术，并且每类只有少量完全注释的图像，显著提高了基础弱监督检测器的性能。BiB达到了全监督Fast RCNN的97%，在VOC07上只有10%的完全注释图像。在COCO上，平均每类使用10张完全注释的图像，或相当于训练集的1%，BiB还将弱监督检测器和完全监督的Fast RCNN之间的性能差距（AP）降低了70%以上，显示了性能和数据效率之间的良好权衡。

Semantic segmentation

2020

ViewAL: Active Learning With Viewpoint Entropy for Semantic Segmentation

code: https://github.com/nihalsid/ViewAL

摘要：我们提出了一种视点学习策略，一种新的语义分割主动学习策略，利用了多视图数据集中的视点一致性。我们的核心思想是，不同观点的模型预测的不一致性提供了一个非常可靠的不确定性度量，并鼓励模型表现良好，无论在哪个观点下观察对象。为了纳入这种不确定性度量，我们引入了一个新的观点熵公式，这是我们的主动学习策略的基础。此外，我们提出了在超像素水平上的不确定性计算，它利用了分割任务中固有的局部信号，直接降低了标注成本。这种视点熵和超像素的使用的结合允许有效地选择为改进网络提供高度信息的样本。我们证明了我们提出的主动学习策略不仅对相同数量的所需标记数据产生了性能最好的模型，而且还显著减少了标记的努力。我们的方法仅在SceneNet-RGBD、ScanNet和矩阵端口3D上使用7%、17%和24%的标记数据，就实现了95%的最大可实现的网络性能。在这些数据集上，最好的最新方法在14%、27%和33%的标记数据上实现了相同的性能。最后，我们证明了使用超像素的标记与对整个图像的标记相比，产生了相同的地面真实质量，但需要减少25%的时间。