谈一谈BEV和Transformer在自动驾驶中的应用

谈一谈BEV和Transformer在自动驾驶中的应用

BEV和Transformer都这么火,这次就聊一聊。

image
结尾有资料连接

一 BEV有什么用

首先,鸟瞰图并不能带来新的功能,对规控也没有什么额外的好处。

从鸟瞰图这个名词就可以看出来,本来摄像头等感知到的物体都是3D空间里的的,投影到2D空间,只是信息的损失,也很简单(乘一个矩阵)。甚至是变换到ST图上所需的,中间过程的必备一步。

怎么能说哪个用了鸟瞰图,哪个没用呢。

所以,BEV可以理解为,指一个端到端的感知架构

所谓端到端,就是没有后处理,不需要作摄像头拼接和obj融合;单个摄像头内如对于道线的识别也不需要(像之前分割的方法那样)做后处理。

举一个反例,记忆泊车的感知算法,有一种做法是在AVM的图上进行SLAM,即使这是货真价实的在鸟瞰图上的算法,也没人天天宣传把这个叫BEV。

问题回到了感知本身。怎么做感知性能好。

不用作后处理当然是好事,如果没有其他缺点。只是,如果一个小球落下来,用牛顿力学一秒钟就能算准,是否需要做1万次实验,然后拟合一个网络来预测运动呢。

先说BEV优点:

  • 在摄像头fov的重叠区域的物体,自动match和加权,省去了后处理的人工时;

  • 跨越多个摄像头的物体,也就是fov边缘物体,可以先拼接后接入网络detection;如果不这么做,也可以再拼接一次再detection,但这样不太优雅;

  • 数采同步由Lidar,且标注用Lidar做时,BEV的GT是现成的。而很多Mono3D网络的GT需要的2D框却没有现成的。

再说缺点:

  • 重叠区域,双目多视角几何的距离等指标算的更准;

  • 感知范围小(距离小一半),位置分表率低(投影之后分辨率为m级);

  • 不透明的处理 相机内外参 和 IMU 等输入,类似上面牛顿力学的例子,交给网络去预测确定的公式;

  • 暂无成熟的网络可用。

第一个优点,是使用BEV的核心诉求。

所以,一般BEV的模型还带上了如下feature:

  • 时间滤波;

  • 道线与地图的定位融合;

这些都是很好的探索,挖掘AI的应用潜力。

二 BEV怎么做

BEV要做的核心事情就是一件:把2D相机视角下的feature投影到2D鸟瞰图上。

但是,这个投影需要知道深度信息。当相机视角下,还没做到detection回归距离时,是只有平面的特征图的。‘

用AI,当然是假装知道了深度,投影变换用一个矩阵表示,然后靠数据去学习这个矩阵。可以理解为,把回归距离这一步在这做一遍。单帧图像当然可以做,靠近大远小,车和人的尺寸都是固定的,这个规律不难学到。

但是,细节上,想浪费时间的人且看以下:(我非常不喜欢看这些论文,但是最近看了不少):

image

(CVPR), 2019, https://doi.org/10.1109/cvpr.2019.00864

第一篇,先做深度估计,再做detection,能准就怪了。当你抬头看云彩,觉得一多云像草尼马后,你才会体会到距离,再之前,你是迷茫的。

image

FCOS3D:ICCVW, 2021

第二篇,深度估计和detection分离并行,同上,求大家灌水敬业一点。

image

Lift, Splat, Shoot: ECCV 2020

第三篇,非常粗爆,直接把cnn得到的features定义为深度分布和context(语义信息)。其中深度分度是一个41维的向量,且每个相机的每个像素点对应一个深度向量和语义向量。所以这是一个惊人大的需要去拟合的tensor。文章写的比较敷衍,连网络定义和图都没有,看样子也嫌浪费时间。

image

Simple-BEV. 2022.

第四篇,终于正常点,一个BEV点最多对应两个相机点,也就是200*200的矩阵中,每个点对应两个待拟合的小矩阵。比上一篇需要拟合的数少了1000倍。

image

DETR3D 2021

第五篇,用上了transformer,有网红潜力了。右下角那个decoder的query是按obj的数量来的,obj的数量在0-100之间波动,当数量少时,变成网络瓶颈,对训练效果以及推理的连续性肯定有影响。

image

BEVFormer ECCV 2022

第六篇,充分吸取过往经验,名字碰瓷tesla,BEVFormer,所以真红了。不过中间那个明明是decoder,为什么作者要叫encoder。

这篇和第四篇区别:1个BEV点要学习4个矩阵(4个偏置和权重),且网络深度上循环六次,比第四篇多10倍,可能第四篇太少了。

这篇和第五篇区别:那个蓝色的BEV queries大小固定,和BEV输出大小一致。比第五篇多1000-10000倍。

为什么要用Transfomer

先简单说下:

CNN 优点:
1适合并行计算

2适合视觉

3参数少(比MLP)

CNN 缺点:

1 没有全局联系 只能靠最后的全连接层(MLP) 但MLP不能太深

2 不适合做(时间)序列,不像RNN,所以滤波什么的不擅长。

RNN:我能做滤波啊,但RNN不适合并行(主要是训练),考虑到卡那么贵,还是算的快的能生存,所以被transformer淘汰了

Transformer优点:

1 适合并行计算(和CNN差不多)

2 适合做(时间)序列,所以BEV有了这个能力

3 对于大模型容易训练 (因为参数冗余多,不容易陷入局部最优),CNN也比较容易训练(自动驾驶适用大小的模型)。

4 可以建立长距离的联系 (CNN不行,MLP可以但是太臃肿)

Transformer缺点:

1 不适合视觉。所以backbone还是CNN

2 没了。

But,上面文章中的Transformer是假的。至于为啥,下次再说。

我一直认为,模型是啥,本身就不重要:

  • 这几年GoogLeNet为代表的复杂模型已经被淘汰了,

  • CNN在工业界已全是最简单的残差模型,

  • GPT的胜出也证明模型越简单越好,

  • AutoML以及NAS(网络架构搜索)毫无进展

所以,只要有进化条件,任何构型的生物都能在智能上超越人类。

三 注意力机制 Transformer的核心

大家都知道Transformer诞生的那篇google的论文叫什么什么is all your need。

注意力就是不同位置之间关联有多紧密的权重。

两个向量点积,模的最大值产生于向量夹角为0。也就是说,如果两个word意义相近,embedding向量也就相近,那自然注意力就大。这是最简单的一种情况,不用考虑位置向量。

image

红框里的计算,就是在去求这个关联的权重,得到一个方阵。毫无疑问,这就是trasformer的核心之处。

image

多说一句,为什么不直接学右边这个矩阵,而是要学左边这两个矩阵呢?

在NLP里,句子的最大长度在100-1000这个量级,而词向量的维度一般在10000-50000这个量级。
分别按100和10000举例,学左边,要学2000000(=2*100*10000)个参数;右边只要学10000(=100*100)个参数。相差200倍。

这里涉及到了AI原理性的问题,参数越少,训练越容易陷入局部最优,而参数多了,到处都是鞍点(维度高了,所有维度的二阶导都同号的概率低),很容易滑出去。

我们来看这些BEV论文怎么做的:

image

这里的注意力A是直接学出来的,并没有经过左边的乘法,而且它不是一个方阵,竟是一个标量。和Transformer愿意扩充200倍参数,是完全相反的。

看这个公式,确实只是一个b为0的单层MLP,Nkey的node,输出q维,输入x维。

我们可以看到,右边是BEV坐标(q),左边是相机坐标§,这个公式就是把相机坐标映射到了BEV坐标。我一直没搞明白为什么要分自顶向下和反过来,不就是把等式左右两边换一下。

四 多头 决定Transformer能力的重要维度

关联有多种含义,比如一个人的头和手是关联的,代表了同一个人;一个人的头和另一个人的头是关联的,代表了都是头。

所以,这就是Multi-Head,多头注意力,一个位置在不同意义上和多个其他位置关联。

此外,Multi-Head还能再多出很多倍参数。NLP里,transformer的头数一般是100。

image

上面是一个8头的示意,先把每个头的输出拼接起来,再降维(找到最突出的方向)。

我们来看这些BEV论文怎么做的:

image

文中的Nhead是8。

但是,这是求和,其实还是加权,只不过把A的加权维度从8提升到了64.

所以,是单头。

五 位置编码 Transformer的必备要素

Transformer本身不能分辨输入的位置,对它来说,两个词调换位置是无感地(只要后面地向量位置都跟着换),所以处理序列问题(位置很重要)必须要加位置编码。包括Vit。

我们来看这些BEV论文怎么做的:

位置编码是一个学到的矩阵。

看来,这不是位置编码,只是叫这个名字。它们根本不关心输入的顺序。编码都是要精心设计的,要能有区分度,而且至少不能有重复的吧。

那为什么会这样呢?

image

会不会是因为,CNN压根就不需要位置编码呢。

六 其他

还有很多不像的地方,比如每个encoder都有的那个不参与反向算梯度的上一时刻的输出。

我猜可能不这样,梯度就传不下去,毕竟如前所说太瘦了。

我们回顾一下上次说的transformer的优点:

1 适合并行计算。因为既没有多头,也没有矩阵乘法,标量计算的维度也不大,所以变成了并行计算瓶颈。Transformer的特点没有了。

2 适合做(时间)序列,没有位置编码。

3 对于大模型容易训练 参数少。

4 可以建立长距离的联系 连“距离”这个概念都没有。而且都是在周围局部位置的加权。

附赠自动驾驶学习资料和量产经验:链接

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/486841.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

msvcp110.dll丢失修复办法

在计算机使用过程中,我们经常会遇到一些扩展名为.dll的文件,这些文件是动态链接库文件,用于提供程序运行时所需的函数和资源。其中,msvcp110.dll文件是一个非常重要的动态链接库文件,它属于Microsoft Visual C 2012 Re…

学习数据结构:算法的时间复杂度和空间复杂度

一、算法的复杂度 衡量一个算法的好坏,一般是从时间和空间两个维度来衡量的,即时间复杂度和空间复杂度。 时间复杂度主要衡量一个算法的运行快慢,而空间复杂度主要衡量一个算法运行所需要的额外空间。 算法的时间复杂度 算法中的基本操作的…

Earth Hour地球一小时

在刚刚过去的周六(2024-03-23)是个特殊的日子,你知道是什么日子吗? 对,是地球一小时 活动日。 地球一小时”是让全球关心自然、热心环保的人可以共同发声的平台。 当地时间2024年3月23日晚8点30分,“地球…

【保姆级讲解Redis基础命令】

🌈🌈🌈个人主页:程序员不想敲代码啊🌈🌈🌈 💫CSDN优质创作者,CSDN实力新星 👍点赞⭐评论⭐收藏 🤝希望本文对您有所裨益,如有不足之处&#xff0c…

YZ系列工具之YZ09: VBA_Excel之读心术

我给VBA下的定义:VBA是个人小型自动化处理的有效工具。利用好了,可以大大提高自己的工作效率,而且可以提高数据的准确度。我的教程一共九套一部VBA手册,教程分为初级、中级、高级三大部分。是对VBA的系统讲解,从简单的…

全自动挂机引流,客户主动上门的秘密武器!

流量一直是各个行业的难题,无论在实体店还是在线行业。只有不断获取大量的流量,才能更好的进行商业变现和扩展。那么,有没有一款能实现全自动挂机引流的软件呢?答案是肯定的。下面就由我以自身的经验来介绍一下这款全自动挂机引流…

(bug2总结)-mysql 字段为varchar,用int去查的时候可能会多返回数据

场景:表结构和数据如下图 查询语句如下 总结: mysql 字段为varchar,用int去查的时候可能会多返回数据。mysql版本为5.7.4

混合像元分解:Matlab如何帮助揭示地表组成?

光谱和图像是人们观察世界的两种方式,高光谱遥感通过“图谱合一”的技术创新将两者结合起来,大大提高了人们对客观世界的认知能力,本来在宽波段遥感中不可探测的物质,在高光谱遥感中能被探测。以高光谱遥感为核心,构建…

YOLOv9改进策略:IoU优化 | Powerful-IoU更好、更快的收敛IoU,效果秒杀CIoU、GIoU等 | 2024年最新IoU

💡💡💡本文独家改进:Powerful-IoU更好、更快的收敛IoU,是一种结合了目标尺寸自适应惩罚因子和基于锚框质量的梯度调节函数的损失函数 💡💡💡MS COCO和PASCAL VOC数据集实现涨点 YO…

BASE64加密解密(两种方式)

天行健,君子以自强不息;地势坤,君子以厚德载物。 每个人都有惰性,但不断学习是好好生活的根本,共勉! 文章均为学习整理笔记,分享记录为主,如有错误请指正,共同学习进步。…

Visio导出高质量图片

直接导出图片比较糊, 在导出高质量图片,应该 直接保存,然后弹出此选项,进行如下设置 即可导出高质量图片

羊大师分析春季喝羊奶,滋养正当时!

羊大师分析春季喝羊奶,滋养正当时! 随着春天的到来,大地万物复苏,生机勃勃。在这个充满希望的季节里,我们的身体也需要得到充分的滋养与呵护。而羊奶,作为一种营养丰富、口感醇厚的奶制品,无疑…

[NOIP2013 普及组] 车站分级

抽象出差分约束 然后还有一点就是建立超级源点 优化建图 然后就是比较有趣的拓扑图求差分约束了其实spfa也可 #include<bits/stdc.h> using namespace std; using ll long long;const int N 2e610; const int inf 0x3f3f3f3f; const int mod 1e97;int n,q,m;int e[N…

3月份的倒数第二个周末有感

坐在图书馆的那一刻&#xff0c;忽然感觉时间的节奏开始放缓。今天周末因为我们两都有任务需要完成&#xff0c;所以就选了嘉定图书馆&#xff0c;不得不说嘉定新城远香湖附近的图书馆真的很有感觉。然我不经意回想起学校的时光&#xff0c;那是多么美好且短暂的时光。凝视着窗…

红黑树进阶:正向与反向迭代器的实现及map、set的封装实践

文章目录 一、引言二、红黑树迭代器设计1、迭代器的基本概念和分类2、正向迭代器设计a.迭代器结构定义b.迭代器的 与 -- 3、反向迭代器设计a.反向迭代器的必要性b.反向迭代器的实现要点 4、红黑树封装迭代器 三、使用红黑树实现Map四、红黑树实现Set五、细节理解1、 typname的使…

【超图 SuperMap3D】【基础API使用示例】51、超图SuperMap3D - 绘制圆|椭圆形面标注并将视角定位过去

前言 引擎下载地址&#xff1a;[添加链接描述](http://support.supermap.com.cn/DownloadCenter/DownloadPage.aspx?id2524) 绘制圆形或者椭圆形效果 核心代码 entity viewer.entities.add({// 圆中心点position: { x: -1405746.5243351874, y: 4988274.8462937465, z: 370…

Web漏洞-SQL注入之二次、加密、DNS加密注入

实例1&#xff1a;sqli-labs21 输入admin&#xff0c;admin 测试&#xff1a; 可以看到注入点在cookie处&#xff0c;发送到decoder&#xff08;解密&#xff09; 所以如果要注入&#xff0c;需要将注入语句加密 Eg&#xff1a;admin’ and 11加密后&#xff1a;YWRtaW4ZIGFu…

重学SpringBoot3-Profiles介绍

更多SpringBoot3内容请关注我的专栏&#xff1a;《SpringBoot3》 期待您的点赞&#x1f44d;收藏⭐评论✍ 重学SpringBoot3-Profiles介绍 Profiles简介如何在Spring Boot中使用Profiles定义Profiles激活ProfilesIDEA设置active profile使用Profile-specific配置文件 条件化Bean…

[深度学习]yolov8+pyqt5搭建精美界面GUI设计源码实现二

【简单介绍】 基于目标检测算法YOLOv8和灵活的PyQt5界面开发框架&#xff0c;我们精心打造了一款集直观性、易用性和功能性于一体的目标检测GUI界面。通过深度整合YOLOv8在目标识别上的卓越能力与PyQt5的精致界面设计&#xff0c;我们成功研发出一款既高效又稳定的软件GUI。 …

中等职业学校大数据课程建设方案

大数据产业是以数据及数据所蕴含的信息价值为核心生产要素&#xff0c;通过数据技术、数据产品、数据服务等形式&#xff0c;使数据与信息价值在各行业经济活动中得到充分释放的赋能型产业。 大数据产业定义一般分为核心业态、关联业态、衍生业态三大业态。 一、专…