论文《Planning-oriented Autonomous Driving》详细解析

在这里插入图片描述

摘要

现代自动驾驶系统被描述为顺序执行的模块化任务，即感知、预测和规划。为了执行各种任务并实现高级别智能，当前的方法要么为每个任务部署独立的模型，要么设计带有独立头的多任务范式。然而，这些方法可能会受到累积错误或任务协调不足的影响。本文提出了一种理想的框架，即应当设计和优化以实现自动驾驶汽车的最终目标，即规划。为此，我们重新审视了感知和预测中的关键组件，并优先考虑这些任务，使它们有助于规划。我们介绍了一种名为Unified Autonomous Driving (UniAD)的最新综合框架，该框架将全栈驾驶任务整合到一个网络中。它巧妙地利用每个模块的优势，并从全局视角为代理交互提供互补的特征抽象。任务通过统一的查询接口进行通信，互相促进，以实现规划。我们在具有挑战性的nuScenes基准上实例化了UniAD。通过广泛的消融实验，证明了这种方法在所有方面大大优于以前的最新技术。代码和模型公开。

1. 引言

随着深度学习的成功发展，自动驾驶算法由一系列任务组成，包括检测、跟踪、映射在感知中；在预测中进行运动和占用预测。大多数工业解决方案为不同任务部署独立模型，只要车载芯片的资源带宽允许。虽然这种设计简化了跨团队的研发难度，但由于模块间的优化目标隔离，可能导致信息丢失、错误累积和特征对齐问题。

一种更优雅的设计是将广泛的任务整合到多任务学习（MTL）范式中，通过在共享特征提取器中插入几个特定任务头。这样的方法在许多领域，包括通用视觉和自动驾驶中广泛应用。尽管如此，这种方案可能导致不理想的“负迁移”。

相比之下，端到端自动驾驶的出现将感知、预测和规划中的所有节点作为一个整体统一起来。前序任务的选择和优先级应有利于规划。系统应以规划为导向，精心设计某些组件，以避免独立选项中的累积错误或MTL方案中的负迁移。

2. 方法论

UniAD包含四个基于Transformer解码器的感知和预测模块，以及一个位于末端的规划模块。查询Q在连接管道中发挥作用，建模驾驶场景中实体的不同交互。具体来说，一系列多摄像头图像被输入特征提取器，得到的视角特征通过BEV编码器转换为统一的鸟瞰图（BEV）特征B。TrackFormer用于检测和跟踪代理；MapFormer表示道路元素并执行全景分割；MotionFormer捕捉代理和地图之间的交互并预测未来轨迹；OccFormer预测多步未来占用情况。最终，Planner利用来自MotionFormer的表达式强大的ego-vehicle查询进行规划预测，并避免碰撞。