【论文整理】自动驾驶场景中Collaborative Methods多智能体协同感知文章创新点整理

Collaborative Methods

  • F-Cooper
  • V2VNet
  • When2comm
  • DiscoNet
  • AttFusion
  • V2X-ViT
  • CRCNet
  • CoBERT
  • Where2comm
  • Double-M
  • CoCa3D

这篇文章主要想整理一下,根据时间顺序这些文章是怎么说明自己的创新点的,又是怎么说明自己的文章比别的文章优越的。显然似乎很多文章只是简单阐述了其他文章的思路,关于优点与不足之处,仍然很难讲得清楚。(那些用数字代表的文章,都是当前文章下的引文,大伙可以自行查找)

在这里插入图片描述

F-Cooper

在关于自动驾驶汽车协同感知的相关工作中[6,26],我们发现他们的主要关注点是提高单个车辆的精度,而忽略了协同感知的好处。合作感知中涉及的潜在问题,如本地感知结果的准确性、对网络的影响、要交换的数据格式以及边缘服务器上的数据融合,都没有得到解决。在3D物体检测方面,激光雷达是自动驾驶汽车最重要的组成部分之一,因为它可以生成3D点云来捕捉场景的3D结构。
这些数据提供了激光雷达以及汽车在3D空间中的精确位置。基于我们的最佳认知,基于单目激光雷达(光检测和测距)数据的最先进的3D物体检测精度来自VoxelNet[37]、SECOND[36]和PointRCNN[31]等。例如,PointRCNN在KITTI中等基准[8]上实现了75.76%的mAP(平均精度),在简单基准和硬基准上分别实现了85.94%和68.32%。这意味着来自不同汽车的物体检测结果的简单融合(late fusion)将产生误差。尽管融合两辆车的原始激光雷达数据可以提高汽车检测精度[3],但实时发送自动驾驶汽车生成的大量激光雷达数据(early fusion)具有挑战性。提高车辆感知精度以及保持或减少计算复杂性和周转时间的解决方案在文献中很少见。
本文利用卷积神经网络提取特征,通过特征融合来实现自动驾驶车辆之间的数据共享,从而提高物体检测精度和实现实时边缘计算(intermediate fusion)

V2VNet

[34,38]将接收到的V2V消息与本地传感器的输出相关联。
[8] 聚集来自其他车辆的激光雷达点云,然后是用于检测的深度网络。
[35,44]通过深度网络处理传感器测量,然后生成感知输出,用于跨车辆数据共享。
相比之下,我们通过传输压缩的中间表示来利用深度网络的力量。
此外,虽然之前的工作在有限的简单和不现实的场景中展示了结果,但我们在不同的大规模自动驾驶V2V数据集上展示了我们模型的有效性。
我们导出了一种新的P&P模型,称为V2VNet,它利用空间感知图神经网络(GNN)聚合从附近所有SDV接收的信息,使我们能够智能地组合来自场景中不同时间点和视点的信息。

When2comm

先前关于学习沟通的工作[34,8]主要涉及简单感知环境下的决策任务(而不是改善感知)。此外,这些方法也不考虑带宽限制:它们学习在完全连接的图上进行通信(即,所有代理通过广播相互通信)。这种方法不能随着代理数量的增加而扩展。类似地,由于所有信息都是广播的,所以没有根据需要来决定何时进行通信。当局部观测足以用于预测时,代理不需要消耗带宽。当其他代理发送的消息降级或不相关时,通信可能会对感知任务不利。
文章首先介绍了一个三阶段的通信机制,包括请求、匹配和选择,然后通过实验证明了该方法在协作语义分割和多视角3D形状识别等感知任务上的优越性。

DiscoNet

为了处理性能-带宽权衡,已经提出了中间协作[19,34,20]来聚合跨代理的中间特征,由于我们可以将代表性信息压缩为紧凑的特征,这种方法既有可能实现通信带宽效率,又有可能提升感知能力;然而,糟糕的协作策略设计可能会导致特征提取和融合过程中的信息丢失,从而限制感知能力的提高。
作为多智能体系统的核心组件,智能体之间的通信策略在以前的工作中得到了积极的研究[30,7,31]。例如,
CommNet[32]采用平均运算来实现多智能体系统中的连续通信;
VAIN[11]考虑了一种注意力机制来确定哪些代理将共享信息;
ATOC[12]利用注意力单元来确定与其他代理共享什么信息;
TarMAC[5]隐式地学习了一种基于签名的软注意机制,以让代理主动选择哪些代理应该接收消息。
Learning to Communicate and Correct Pose Errors[33]提出了一种姿态误差回归模块,用于在来自其他代理的姿态信息有噪声时学习校正姿态误差。
本文介绍了一种新的多智能体知觉方法,称为蒸馏协作图(DiscoGraph),DiscoGraph可以通过知识蒸馏来训练,并具有矩阵值边缘权重,使每个智能体可以自适应地突出显示信息

  • 首先,以前的协同感知只依赖于最终的检测监督;而DiscoNet同时利用检测监督和中间特征监督,获得更明确的指导。
  • 其次,以往方法中的协作注意力是一个标量,不能反映每个区域的重要性;而DiscoNet使用矩阵,从而在各个空间区域实现更灵活的协作。
  • 第三,以前的方法使用多轮协作:When2com在第一次握手后至少需要再进行一轮通信,V2VNet声称需要三轮通信以确保可靠的性能;而DiscoNet只需要一轮,延迟更少。

诚然,DiscoNet假设每个代理的姿势都是准确的,这是有局限性的,可以通过[33]这样的方法来改进。

AttFusion

由于来自不同连接车辆的传感器观测可能携带不同的噪声水平(例如,由于车辆之间的距离),因此一种能够关注重要观测而忽略干扰观测的方法对于稳健检测至关重要。因此,我们提出了一个关注中间融合管道来捕捉相邻连接车辆特征之间的相互作用,帮助网络关注关键观测结果。所提出的注意力中间融合管道由6个模块组成:元数据共享、特征提取、压缩、特征共享、注意力融合和预测。

V2X-ViT

尽管V2V技术有可能彻底改变移动行业,但它忽略了一个关键的合作者——路边基础设施。AV的存在通常是不可预测的,而一旦安装在十字路口和人行横道等关键场景中,基础设施总是可以提供支持。此外,在高架位置配备传感器的基础设施视野更开阔,遮挡可能更小。与所有代理都是同质的V2V协作不同,V2X系统通常涉及由基础设施和AV形成的异构图。基础设施和车辆传感器之间的配置差异,如类型、噪音水平、安装高度,甚至传感器属性和模态,使V2X感知系统的设计具有挑战性。此外,GPS定位噪声以及AV和基础设施的异步传感器测量可能会引入不准确的坐标变换和滞后的传感信息。
未能妥善处理这些挑战将使系统变得脆弱。
在本文中,我们将V2X感知视为一个异构的多智能体感知系统,不同类型的智能体(即智能基础设施和AV)感知周围环境并相互通信。为了模拟真实世界的场景,我们假设所有代理都具有不完美的定位,并且在特征传输过程中存在时间延迟。该模型通过交替使用异构多智能体自注意力和多尺度窗口自注意力模块,有效地融合了道路上的智能体(即车辆和基础设施)之间的信息。

CRCNet

据我们所知,如何在增强协作感知的互补性的同时最大限度地减少信息冗余是没有涉及的。为了实现冗余最小化和互补最大化之间的平衡,我们引入了一种互补增强和冗余最小化的协作网络(CRCNet)。CRCNet结合了渠道和空间关注,贪婪地融合来自其他代理的特征,旨在选择最互补和最不冗余的特征。具体来说,融合特征由两个标准来指导和监督。第一个标准声称每个融合特征都有边际性能增益,即有额外融合特征的检测性能可能比没有融合的检测性能更好。另一个标准要求两个融合特征之间的独立性,即应用互信息来捕捉非线性统计独立性,并最小化互信息上界以消除融合特征对之间的信息冗余。

CoBERT

先前的几项工作已经证明了利用激光雷达传感器进行协作感知的有效性[10,11,12,13]。然而,这种V2V合作是否、何时以及如何有利于基于相机的感知系统,目前尚未探索。与以前的多智能体算法相比,我们的CoBEVT是第一个使用稀疏变换器来高效、详尽地探索车辆之间的相关性的算法。此外,以前的方法主要关注与激光雷达的协同感知,而我们的目标是提出一种低成本的基于相机的无激光雷达设备的协同感知解决方案。
本文主要介绍了一种名为CoBEVT的多智能体多摄像头感知框架,可以协作性地生成鸟瞰图(BEV)地图预测,采用了一种名为FAX的稀疏注意力机制,可以在视野和智能体之间捕捉局部和全局的空间交互作用,实现高效融合多视角和多代理数据。

Where2comm

所有以前的工作都做出了一个合理的假设:一旦两个代理协作,它们就有义务平等地共享所有空间区域的感知信息。这种不必要的假设可以极大地浪费带宽,因为很大一部分空间区域可能包含与感知任务无关的信息。
为了填补这一空白,我们考虑了一种新颖的空间置信度感知通信策略。其核心思想是为每个代理启用空间置信度图,其中每个元素反映相应空间区域的感知临界水平。基于这个地图,代理决定要传达哪个空间区域(在哪里)。

Double-M

最近的研究表明,协同检测的早期、晚期和中期融合是有效的,分别传输原始数据、输出边界框和中间特征[2]、[3]、[4]、[5]、[6],改进的协同目标检测结果将有利于联网和自动驾驶汽车的自驾决策[7]。然而,由于物体分布不均匀、传感器测量噪声或恶劣天气[8]、[9]、[10],CAV在物体检测方面仍可能存在不确定性。即使是轻微的错误检测也会导致自动驾驶汽车的驾驶策略发生完全不同的行为[11],[12]。例如,未检测到路面上的油漆可能会混淆车道跟随政策,并导致潜在事故[13]。因此,量化CAV等安全关键系统的目标检测的不确定性至关重要。
Double-M该方法可以在一个推理过程中同时捕捉到认知不确定性和随机不确定性,利用离线的Double-M训练过程并可以与不同的协作目标检测器一起使用。

CoCa3D

在大多数情况下,仅摄像头的3D检测明显且始终不如基于激光雷达的检测
但是在本文中,我们提出了通过引入多智能体协作来提高仅相机的3D检测性能。假设,在先进的通信系统的支持下,只配备摄像头的多个代理可以彼此共享视觉信息。这将带来三个显著的好处。

  • 首先,来自多个agent的不同视角可以在很大程度上解决仅摄像头3D检测中的深度模糊问题,弥补了与昂贵的激光雷达在深度估计方面的差距
  • 其次,多智能体协作避免了单智能体3D检测中不可避免的局限性,如遮挡和远程问题,并有可能实现更全面的3D检测;即检测3D场景中存在的所有物体,包括超出视觉范围的物体。由于激光雷达的视野有限,因此协作相机的性能可能会超过激光雷达。
  • 第三,由于相机数量多,大大降低了大型车队的总费用,比激光雷达便宜。
    根据这一设计原理,我们提出了一种新型的协同相机3D检测框架CoCa3D。它包括三个部分:i)单智能体相机三维检测,实现每个智能体的基本深度估计和三维检测;Ii)协同深度估计,通过提高多个智能体视点的空间一致性来消除估计深度的歧义;iii)协同检测特征学习,通过相互共享关键检测消息来补充检测特征。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/445657.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

数据结构与算法:链式二叉树

上一篇文章我们结束了二叉树的顺序存储,本届内容我们来到二叉树的链式存储! 链式二叉树 1.链式二叉树的遍历1.1二叉树的前序,中序,后序遍历1.2 三种遍历方法代码实现 2. 获取相关个数2.1获取节点个数2.2获取叶节点个数2.3 获取树的…

前端请求到 SpringMVC 的处理流程

1. 发起请求 客户端通过 HTTP 协议向服务器发起请求。 2. 前端控制器(DispatcherServlet) 这个请求会先到前端控制器 DispatcherServlet,它是整个流程的入口点,负责接收请求并将其分发给相应的处理器。 3. 处理器映射&#xf…

数据库-多表查询

外连接与内连接 -- 查询部门及所属部门名称,隐式内连接 select tb_emp.name,tb_dept.name from tb_emp,tb_dept where tb_emp.dept_idtb_dept.id;-- 起别名 select e.name,q.name from tb_emp e,tb_dept q where e.dept_idq.id;-- 外连接 select tb_emp.name,tb_dep…

GEE图像可视化常用函数

目录 图层操作Map.addLayer()Map.centerObject() 直方图ui.Chart.image.histogram() 趋势线ui.Chart.image.series() 图层操作 Map.addLayer() Map.addLaye…

python并发编程:异步IO(Asynchronous I/O)

异步IO(Asynchronous I/O) Linux下的asynchronous IO其实用得不多,从内核2.6版本才开始引入。先看一下它的流程: 用户进程发起read操作之后,立刻就可以开始去做其它的事。而另一方面,从kernel的角度,当它受到一个asyn…

RocketMQ、Kafka、RabbitMQ 消费原理,顺序消费问题【图文理解】

B站视频地址 文章目录 一、开始二、结果1、RocketMQ 消费关系图1-1、queue和consumer的关系1-2、consumer 和线程的关系 2、Kafka 消费关系图1-1、partitions和consumer的关系1-2、consumer 和线程的关系 3、RabbitMQ 消费关系图1-1、queue和consumer的关系1-2、consumer 和线程…

爬虫练习:获取某招聘网站Python岗位信息

一、相关网站 二、相关代码 import requests from lxml import etree import csv with open(拉钩Python岗位数据.csv, w, newline, encodingutf-8) as csvfile:fieldnames [公司, 规模,岗位,地区,薪资,经验要求]writer csv.DictWriter(csvfile, fieldnamesfieldnames)writer…

每日OJ题_牛客WY28 跳石板(动态规划)

目录 牛客WY28 跳石板 解析代码 牛客WY28 跳石板 跳石板_牛客题霸_牛客网 解析代码 #include <iostream> #include <vector> #include <climits> #include <cmath> using namespace std;void get_div_num(int n, vector<int>& arr) {for…

selenium元素定位问题

具体网页信息如下&#xff1a; 定位的时候driver.find_element(By.CLASS_NAME, 方法搞不定。 定位方法&#xff1a; 方法一&#xff1a;通过文本定位 driver.find_element(By.XPATH, "//*[text()高分一号]").click() time.sleep(3) 如果是部分文字 #部分文字py…

怎么写品牌方流量打造抖音运营规划方案

【干货资料持续更新&#xff0c;以防走丢】 怎么写品牌方流量打造抖音运营规划方案 部分资料预览 资料部分是网络整理&#xff0c;仅供学习参考。 抖音运营资料合集&#xff08;完整资料包含以下内容&#xff09; 目录 Step 1: 人货沟通策略 人群定位与细分 1. 从品牌及产品…

【备战蓝桥杯系列】蓝桥杯国二选手笔记二:算法模版笔记(Java)

感谢大家的点赞&#xff0c;关注&#xff0c;评论。准备蓝桥杯的同学可以关注一下本专栏哦&#xff0c;不定期更新蓝桥杯笔记以及经验分享。本人多次参加过蓝桥杯&#xff0c;并获得过蓝桥杯国二的成绩。 算法模版笔记&#xff08;Java&#xff09; 这篇文章给大家分享我的蓝桥…

寒假作业Day 10

寒假作业Day 10 一、选择题 1、下列数据结构中&#xff0c;不属于线性表的是( ) A.队列 B.顺序表 C.二叉树 D.链表 A. 队列&#xff1a;队列是一种特殊的线性表&#xff0c;它只允许在表的前端&#xff08;front&#xff09;进行删除操作&#xff0c;而在表的后端&#xff08…

【经管数据-更新】华证ESG评级得分数据(2009-2023年)

一、数据说明 参考《经济研究》中方先明&#xff08;2023&#xff09;的做法&#xff0c;将华证ESG评级进行赋值&#xff0c;指标包含C、CC、CCC、B、BB、BBB、A、AA、AAA共9个等级&#xff0c;将上市公司ESG 等级从低到高分别赋值为1至9 二、数据来源&#xff1a;世界银行&am…

Springboot进行web开发

创建springboot工程&#xff0c;基于2022版idea pom.xml文件中的插件爆红&#xff1a; 解决方法&#xff1a;给插件加<version>版本号</version> 版本号和<parent></parent>中的版本号一样。 另外有人说重启也可以解决爆红&#xff0c;可以试一下&a…

Stable diffusion(一)

Stable diffusion 原理解读 名词解释 正向扩散&#xff08;Fixed Forward Diffusion Process&#xff09;&#xff1a;反向扩散&#xff08;Generative Reverse Denoising Process&#xff09; VAE&#xff08;Variational AutoEncoder&#xff09;&#xff1a;一个用于压缩图…

【动态规划】【前缀和】【和式变换】100216. K 个不相交子数组的最大能量值

本文涉及知识点 动态规划汇总 C算法&#xff1a;前缀和、前缀乘积、前缀异或的原理、源码及测试用例 包括课程视频 LeetCode 100216. K 个不相交子数组的最大能量值 给你一个长度为 n 下标从 0 开始的整数数组 nums 和一个 正奇数 整数 k 。 x 个子数组的能量值定义为 stren…

Swagger修改Api文档中的数据类型

swagger不陌生,API接口利器,本次要解决的问题是:我们知道前端在接收Long类型的属性时会出现精度问题,一般我们会在序列化的时候将Long类型的数字转换成String但是swagger的API文档中的类型还是Long,我们要解决的就是这个问题 不知道swagger怎么配置得可以看之前的文章:springb…

空间复杂度的OJ练习——轮转数组

旋转数组OJ链接&#xff1a;https://leetcode-cn.com/problems/rotate-array/ 题目&#xff1a; 思路&#xff1a; 通过题目我们可以知道这是一个无序数组&#xff0c;只需要将数组中的数按给定条件重新排列&#xff0c;因此我们可以想到以下几种方法&#xff1a; 1.暴力求解法…

【Tauri】(5):本地运行candle和 qwen 大模型,并测试速度

1&#xff0c;本地运行candle 关于candle项目 https://github.com/huggingface/candle Hugging Face 使用rust开发的高性能推理框架。 语法简单&#xff0c; 风格与 PyTorch 相似。 CPU 和 Cuda Backend&#xff1a;m1、f16、bf16。 支持 Serverless&#xff08;CPU&#xff…

React 从0到1构建企业级框架基于Antd Designer

一、 create-react-app 创建 cms-front 二、 删除不必须要的文件形成如下结构 1. React版本为17版本 public 文件夹下保留 favicon.ico 偏爱图标index.html资源文件 2.src 保留 index.js 入口文件和app.js(基于spa原则)单文件即可 三、配置eslint 1. 安装 eslint. npm inst…