代码 https://github.com/forget2save/TPatch

论文 https://www.usenix.org/system/files/sec23summer_123-zhu-prepub.pdf

自动驾驶汽车越来越多地利用基于视觉的感知模块来获取有关驾驶环境的信息并检测障碍物。正确的检测和分类对于确保安全驾驶决策非常重要。现有的工作已经证明了用打印的对抗性补丁欺骗物体检测器和图像分类器等感知模型的可行性。然而，它们中的大多数都对每一辆过往的自动驾驶车辆进行无差别的攻击。

在本文中，我们提出了TPatch，一种由声学信号触发的物理对抗补丁。与其他对抗性补丁不同，TPatch在正常情况下保持良性，但可以通过针对摄像机的信号注入攻击引入的设计失真来触发发起隐藏、创建或改变攻击。为了避免人类驾驶员的怀疑并使攻击在现实世界中实用且鲁棒，我们提出了一种基于内容的伪装方法和一种攻击鲁棒性增强方法来加强它。使用三个目标检测器、YOLO V3/V5 和 Faster R-CNN 以及八个图像分类器进行的评估证明了TPatch在模拟和现实世界中的有效性。我们还讨论了传感器、算法和系统级别的可能防御措施。

1 触发设计模块首先定义激活TPatch的正触发和抑制TPatch的负触发。然后，为了找到可行的正触发，该模块估计由物理信号引起的图像失真，并使用提出的理论模型对失真进行正则化。
2 然后，面向触发的补丁优化模块根据选定的正触发和负触发设计损失函数，通过梯度优化生成能够实现相应攻击目标的TPatch 。
3 基于内容的伪装模块通过使用预训练的特征提取器应用从参考图像中提取的有意义的内容，进一步提高了TPatch的视觉隐形性。
4 现实世界鲁棒性改进模块通过解决贴片的变形和触发信号的误差来提高TPatch在现实世界中的鲁棒性。