大模型自然语言生成自动驾驶可编辑仿真场景(其一 共十篇)

第一篇:LLM greater scene summarize

第二篇:LLM simulation Test effect

第三篇:LLM simulation driving scenario flow work

第四篇:LLM Algorithm flow description

第五篇:Configure the environment and background rendering engine

第六篇:perception raw data train

第七篇:Process and analyze calibration data

第八篇:Use Blender 3D Assets

第九篇:Training and simulation model

第十篇:code and sum up

背景前言

自动驾驶中的场景仿真因其生成定制数据的巨大潜力而受到广泛关注。然而,现有的可编辑场景模拟方法在用户交互效率、多机位逼真渲染和外部数字资产集成方面存在局限性。 为了应对这些挑战,本文介绍了ChatSim,这是第一个通过自然语言命令和外部数字资产实现可编辑的逼真的3D驾驶场景模拟的系统。为了实现具有高度命令灵活性的编辑,ChatSim 利用了大型语言模型 (LLM) 代理协作框架。为了生成逼真的结果,ChatSim采用了一种新颖的多相机神经辐射场方法。此外,为了释放大量高质量数字资产的潜力,ChatSim 采用了一种新颖的多机位照明估计方法来实现场景一致的资产渲染。在Waymo Open Dataset上的实验表明,ChatSim可以处理复杂的语言命令,并生成相应的逼真的场景视频。

感知是自动驾驶汽车进入外部环境的窗口。为了确保车辆在训练和测试阶段的感知能力的鲁棒性,需要大量收集高质量的感知数据.然而,为获取真实世界数据而运营的车队往往会产生高昂的费用,特别是对于专业或定制的要求。例如,在涉及自动驾驶汽车的事故或干预之后,必须在一系列类似场景中测试车辆的感知系统。由于实际场景的不可控性,从真实世界的实例复制此类场景数据几乎是不可能的,定制场景模拟成为一种重要且可行的替代方案。它能够对特定条件进行精确建模,而无需支付高成本和真实世界数据收集的后勤复杂性.

为了有效地模拟自定义驾驶场景,我们确定了三个关键属性作为基本属性。首先,仿真应该能够遵循复杂或抽象的要求,从而 促进生产。其次,仿真应生成逼真的照片、视图一致的结果,从而实现最接近真实场景中车辆观察的结果。第三,它应该允许外部数字资产的整合[48,6]具有逼真的纹理和材质,同时适合照明条件。这种能力将通过整合各种外部数字资产来释放数据扩展的潜力,从而满足定制需求。

已经提出了大量用于场景模拟的重要工作,但它们未能满足所有这三个要求。传统图形引擎,如 CARLA和 UE,提供具有外部数字资产的可编辑虚拟环境,但数据真实性受到资产建模和渲染质量的限制。基于图像生成的方法,例如 BEVContro, DriveDreameMagicDrive,可以基于各种控制信号生成逼真的场景图像,包括BEV地图、边界框和相机姿势。然而,由于缺乏 3D 空间建模,他们难以保持视图一致性,并在导入外部数字资产时面临挑战。提出了基于渲染的方法,以获得逼真和视图一致的场景模拟。著名的例子,如UniSim和 MARS配备一套场景编辑工具。然而,这些系统需要用户通过代码实现广泛参与每个琐碎的编辑步骤,这在执行编辑时是无效的。此外,虽然它们在观察到的场景中有效地处理车辆,但它们无法支持外部数字资产,这限制了数据扩展和定制的机会。

为了满足已确定的要求,我们推出了 ChatSim,这是第一个通过自然语言命令和外部数字资产实现可编辑的逼真的 3D 驾驶场景模拟的系统。要使用 ChatSim,用户只需与系统进行对话,通过自然语言发出命令,而无需参与任何中间模拟步骤;有关说明,

为了有效地处理复杂或抽象的用户命令,ChatSim 采用了基于大型语言模型 (LLM) 的多智能体协作框架。其关键思想是利用多个 LLM 代理(每个代理都具有专门的角色)将整体模拟需求解耦到特定的编辑任务中,从而反映通常在人工运营公司的工作流程中建立的任务划分和执行。此工作流为场景模拟提供了两个关键优势。首先,LLM 代理处理人类语言命令的能力允许对复杂的驾驶场景进行直观和动态的编辑,从而实现精确的调整和反馈。其次,协作框架通过在专业代理之间分配特定的编辑任务来提高模拟效率和准确性,确保模拟的详细和逼真,并提高任务完成率。

为了生成逼真的结果,我们提出了 ChatSim 中的 McNeRF,这是一种新颖的神经辐射场方法,它结合了多相机输入,提供了更广泛的场景渲染。这种集成充分利用了车辆上的摄像头设置,但带来了两个重大挑战:由于触发时间不同步导致的摄像头姿势错位,以及由于摄像头曝光时间不同而导致的亮度不一致。为了解决摄像机姿势错位问题,McNeRF 使用多摄像机对齐来减少外部参数噪声,从而确保渲染质量。为了解决亮度不一致的问题,McNeRF集成了临界曝光时间,以恢复HDR中的场景亮度,从而显著缓解了具有不同曝光时间的两张相机图像交叉处的色彩差异问题。

为了导入具有逼真纹理和材质的外部数字资产,我们提出了 McLight,这是一种新颖的多摄像机照明估计,它融合了天空穹顶和周围照明。我们的天幕估计通过峰值强度残差连接恢复准确的太阳行为,从而能够渲染突出的阴影。对于周围的照明,McLight 查询 McNeRF 以实现复杂的特定位置照明效果,例如在树荫下遮挡阳光的照明效果。这显著提高了集成 3D 资产的渲染真实感。

我们对Waymo自动驾驶数据集进行了广泛的实验,并表明ChatSim可以根据各种人类语言命令生成逼真的定制感知数据,包括危险的极端情况。我们的方法与混合、高度抽象和多轮命令兼容。我们的方法在广角渲染下实现了 4.5% 的 SoTA 性能。此外,我们证明了我们的照明估计在定性和定量上都优于 SoTA 方法,将强度误差和角度误差分别降低了 57.0% 和 9.9%。

2相关工作

自动驾驶场景仿真。目前的场景仿真方法一般可以分为三类:图形引擎、图像生成和场景渲染。图形引擎,例如 CARLA、AirSim、OpenScenario 编辑器, 51Sim-One和 RoadRunner,创建一个虚拟世界来模拟各种驾驶场景。然而,虚拟世界和现实之间存在着巨大的领域差距。图像生成方法可以基于不同的控制信号生成逼真的场景图像,例如高清地图、草图布局、边界框、文本编辑和驾驶行.然而,这些方法很难保持场景的一致性。 为了获得连贯的驾驶场景,需要基于场景渲染的方法对3D场景进行重构。使用点云并使用 U-Net 渲染图像。随着神经辐射场(NeRF)的快速发展,还利用 NeRF 在户外环境中对汽车和静态街道背景进行建模。此外,UniSim 等著名和MARS配备一套场景编辑工具。 然而,这些方法需要大量用户参与中间编辑步骤,并且它们不支持外部数字资产进行数据扩展。 在这项工作中,我们提出了ChatSim,它通过语言命令实现自动模拟编辑,并集成外部数字资产以增强真实感和灵活性。在 ChatSim 中,我们集成了 McNeRF,这是一种新型神经辐射场,旨在利用多摄像机输入实现高保真渲染。

照明估算。照明估算侧重于评估真实环境的照明条件,以无缝集成数字对象。早期方法对于户外环境,使用明确的提示,例如在地面上检测到的阴影。最近的工作通常采用基于学习的方法通过预测不同的光照表示,如球形波瓣光探头环境 地图, HDR天空模型照明量.但是,他们中很少有人考虑多摄像头输入,这在驾驶场景中很常见。在本文中,我们提出了一种新颖的多摄像机照明估计方法McLight,结合McNeRF,以估计更广泛的照明范围,并获得资产的空间变化照明效果。

MethodPhoto-realisticDim.Multi-cameraEditableExternalassetsLanguageOpen-source
CARLA \usym

2613

3D\usym

2613

AirSim \usym

2613

3D\usym

2613

OpenScenario \usym

2613

3D\usym

2613

51Sim-One \usym

2613

3D\usym

2613

\usym

2613

RoadRunner \usym

2613

3D\usym

2613

BEVGen 2D\usym

2613

\usym

2613

BEVControl 2D\usym

2613

\usym

2613

\usym

2613

DriveDreamer 2D\usym

2613

\usym

2613

DrivingDiffusion 2D\usym

2613

\usym

2613

GAIA-1 2D\usym

2613

\usym

2613

\usym

2613

MagicDrive 2D\usym

2613

\usym

2613

\usym

2613

READ 3D\usym

2613

\usym

2613

\usym

2613

\usym

2613

Neural SG 3D\usym

2613

\usym

2613

\usym

2613

Neural PLF 3D\usym

2613

\usym

2613

\usym

2613

\usym

2613

S-NeRF 3D\usym

2613

\usym

2613

\usym

2613

UniSim 3D\usym

2613

\usym

2613

\usym

2613

\usym

2613

MARS 3D\usym

2613

\usym

2613

\usym

2613

ChatSim (Ours)3D

3用于编辑的协作 LLM-Agents

ChatSim系统分析特定的用户命令,返回满足定制需求的视频;请参阅图 。由于用户命令可以是抽象的和复杂的,因此它要求系统具有灵活的任务处理能力。直接应用单个 LLM 代理在多步骤推理和交叉引用方面存在困难。为了解决这个问题,我们设计了一系列协作式 LLM 代理,其中每个代理负责编辑任务的一个独特方面。



大型语言模型和协作框架。大型语言模型 (LLM) 是在大量数据上训练的 AI 系统,用于理解、生成和响应人类语言。GPT是生成类似人类内容的开创性工作。以下更新版本 GPT-3.5和 GPT-4,提供聊天、浏览、编码等更智能的功能。其他值得注意的大型语言模型包括 InstructGPT、骆马和 PaLM基于LLM,许多作品通过整合多个智能体之间的沟通来提高解决问题的能力。和定义一组组织良好的代理,以形成具有对话和代码编程的操作过程。 在本文中,我们利用协作式 LLM 代理在仿真中的强大功能来 自动驾驶,通过语言命令对3D场景进行各种编辑。

hatSim 系统概述。该系统利用多个具有专门角色的协作 LLM 代理将总体需求解耦到特定的编辑任务中。每个代理都配备了一个 LLM 和相应的角色功能来解释和执行其特定任务。

3.1特定代理的功能

ChatSim 中的代理包括两个关键组件:大型语言模型 (LLM) 和相应的角色功能。LLM 负责理解接收到的命令,而角色函数处理接收到的数据。每个代理都配备了独特的 LLM 提示和角色功能,这些提示和角色功能是根据他们在系统中的特定职责量身定制的。为了完成任务,代理首先在提示的帮助下使用 LLM 将收到的命令转换为结构化配置。 然后,角色函数利用结构化配置作为参数来处理接收到的数据并产生所需的结果;请参阅图 2 右侧的代理示例。此工作流赋予座席语言解释能力和精确执行能力。

项目经理代理。项目经理代理将直接命令分解为清晰的自然语言指令,并分派给其他编辑代理。 为了让项目经理代理具备命令分解的能力,我们为其 LLM 设计了一系列提示。提示的核心思想是描述动作集,给出总体目标,并用示例定义输出形式; 角色函数将分解后的指令发送给其他代理进行编辑。项目经理代理的存在增强了系统在解释各种输入方面的稳健性,并简化了操作,以实现清晰和精细的粒度。

用于视图调整的技术代理。视图调整代理生成合适的外部相机参数。代理中的 LLM 将用于视点调整的自然语言指令转换为目标视点位置和角度的运动参数。在角色函数中, 这些运动参数被转换为外在所需的变换矩阵,然后将其乘以原始参数以产生新的视点。

用于后台渲染的技术代理。后台渲染代理根据多机位图像渲染场景背景。LLM 接收 rendering 命令,然后操作角色函数进行 rendering。值得注意的是,在角色函数中,我们专门集成了一种新颖的神经辐射场法 (McNeRF),该方法采用多摄像机输入并考虑曝光时间,解决了多摄像机渲染中的模糊和亮度不一致问题。

车辆拆卸技术代理。车辆删除代理从背景中删除指定的车辆。它首先从给定的场景信息或场景感知模型(如)中识别当前车辆属性,如 3D 边界框和颜色,例如LLM 收集车辆的属性并执行与用户请求的匹配。在确认目标载体后,它采用每帧修复模型作为角色函数,例如潜在扩散方,以有效地将它们从场景中删除。

用于 3D 资产管理的技术代理。3D资产管理代理根据用户规格选择和修改3D数字资产。它构建并维护一个 3D 数字资产库;请参阅附录中的银行详细信息。为了方便添加各种对象,代理首先使用 LLM 通过匹配需求的关键属性(例如颜色和类型)来选择最合适的资产。如果匹配不完美,代理可以通过其角色函数(如更改颜色)修改资产。

车辆运动的技术代理。车辆运动代理根据请求创建车辆的初始位置和后续运动。现有的车辆运动生成方法不能纯粹从文本和场景地图直接生成运动。为了解决这个问题,我们提出了一种新颖的文本到动态方法。其关键思想是将作为角色函数的放置和规划模块与 LLM 链接起来,以提取运动属性并将其转换为坐标。 运动属性包括位置属性(例如距离、方向)和运动属性(例如速度、动作)。 对于放置模块,我们赋予车道地图中的每个车道节点以匹配其属性以匹配位置属性。规划模块规划车辆的近似目的地车道节点,然后通过拟合贝塞尔曲线来规划中间轨迹。 我们还添加了轨迹跟踪适应车辆动力学;更多详细信息请参阅附录。

前景渲染的技术代理。前景渲染代理集成了摄像机外部信息、3D 资源和运动信息,以渲染场景中的前景对象。值得注意的是,为了将外部资产与当前场景无缝集成,我们设计了一种多摄像机照明估计方法(McLight)到角色函数中,并与McNeRF耦合。然后,Blender API 利用估计的照明来生成前景图像。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/732885.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

k8s离线部署nginx

1. 拉取nginx离线包到本地 sudo docker save nginx:latest -o nginx.tar 2. 导入nginx image到k8s命名空间中 sudo ctr -n k8s.io images import nginx.tar 3. 编辑nginx.yaml apiVersion: apps/v1 kind: Deployment metadata:name: nginx-deployment spec:selector:match…

yocto系列讲解[实战篇]94 - 添加libhybris库和测试示例

By: fulinux E-mail: fulinux@sina.com Blog: https://blog.csdn.net/fulinus 喜欢的盆友欢迎点赞和订阅! 你的喜欢就是我写作的动力! 目录 1. 概述2. 添加libhybris的recipe3.libhybris编译4.libhybris测试5.自制Android C++动态库6.自制Android C++动态库编译7.创建testhyb…

java基于ssm+jsp 高校二手交易平台

1前台首页功能模块 高校二手交易平台,在系统首页可以查看首页、商品信息、论坛信息、新闻资讯、我的、跳转到后台、客服等内容,如图1所示。 图1系统功能界面图 用户登录、用户注册,在注册页面可以填写账号、密码、姓名、手机、身份证等信息进…

故障诊断 | SABO-VMD-SVM轴承故障诊断(Matlab)

效果一览 文章概述 故障诊断 | SABO-VMD-SVM轴承故障诊断(Matlab) 模型描述 减法平均的优化算法(Subtraction-Average-Based Optimizer (SABO)),是于2023年提出的一种基于数学行为的智能优化算法,该算法具有寻优能力强,收敛速度快等特点。以最小包络熵、最小样本熵、最…

2024GLEE生活暨教育(上海)博览会,8月20-22日,国家会展中心(上海)

2024GLEE生活暨教育(上海)博览会将于8月20-22日在中国国家会展中心(上海)举行,博览会总面积近万平方米,设有美好生活和教育产品两大主力展区,全面覆盖婴幼儿、学龄前、小学、初中、高中、大学、中年、老年各个年龄段的…

机械师硬盘数据清空怎么办?机械师硬盘数据清空怎么恢复

机械师硬盘数据清空怎么恢复?随着数字化时代的到来,数据已成为我们生活和工作中不可或缺的一部分。然而,硬盘数据的意外清空往往会给我们带来极大的困扰。本文将探讨在机械师硬盘数据清空后,我们应该如何快速有效地恢复数据。 图片…

软件开发教学:在线教育系统源码解析及教育培训小程序搭建实战

本篇文章,笔者将以“从零开始的软件开发教学”为主题,详细解析在线教育系统的源码,并通过实际操作来搭建一个教育培训小程序。 一、在线教育系统概述 在线教育系统是一个综合性的网络平台,旨在通过互联网提供教育资源和服务。该系…

Docker开机自动重启及自动启动容器

Docker开机自动重启及自动启动容器 Windows开机自动重启设置容器自动启动 Windows开机自动重启 勾选 Start Docker Desktop when you sign in to your computer 设置容器自动启动 1.docker update 命令 Usage: docker update [OPTIONS] CONTAINER [CONTAINER...]Update co…

“迷你剧场新体验:探索短剧小程序系统的魅力!“

在移动互联网的时代背景下,短视频和短剧已经成为人们娱乐消费的新宠。短剧小程序系统,以其独特的互动形式、便捷的观看体验和丰富的内容生态,为迷你剧场带来了全新的体验。接下来将探讨这个系统的魅力所在,以及它如何改变着人们的…

plt绘制网格图

代码 obj "accu" for (epoch,lr) in config:with open(data/epoch_{}_lr_{}_Adam.pkl.format(epoch,lr),rb) as f:data pickle.load(f) plt.plot(range(1,epoch1),data[obj],labelflr{lr})plt.title(obj"-epoch") plt.xlabel("epoch"…

AMSR/ADEOS-II L1A Raw Observation Counts V003地球表面和大气微波辐射的详细观测数据

AMSR/ADEOS-II L1A Raw Observation Counts V003 简介 AMSR/ADEOS-II L1A Raw Observation Counts V003数据是由日本航空航天研究开发机构(JAXA)的AMSR (Advanced Microwave Scanning Radiometer)仪器收集的一组原始观测计数数据。这些数据是从ADEOS-I…

ARM阻击高通:AI PC大战与芯片之争

引言 在AI PC领域,高通的X Elite芯片因为其高性能和低功耗,一度被认为是未来的主导者。然而,ARM公司却通过法律手段试图阻止高通的独大,这不仅可能拖慢AI PC的发展进程,还引发了业界的广泛关注。本文将深入探讨ARM和高…

仙讯畅通无阻:探索MQ阵法的强大功能

MQ起源 IBM MQ:IBM MQ是IBM推出的一系列消息导向中间件产品,最初在1993年12月发布。它最初被称为MQSeries,2002年更名为WebSphere MQ,以加入WebSphere产品系列。2014年4月,它被重新命名为IBM MQ。Apache ActiveMQ&…

corepack管理包管理器;nvm管理node版本;nrm管理npm源地址

corepack corepack 管理"包管理器",包括 yarn 和 pnpm。corepack 并不能管理 npm。 corepack 是 nodejs 提供的功能,安装 nodejs 时 corepack 就一起安装了。它还是实验性功能,默认是关闭的,具体介绍看官方文档。 注…

【TKGQA】关于时间知识图谱问答的一篇综述阅读

前言 时间知识图谱问答(TKGQA)是KBQA中一个关注时间问题的重要子任务。时间问题包含时间约束、需要时间标记的答案,反映了现实世界事件的动态和演变性质。 一、TKGQA 1.1 概述 时间知识图谱(TKG): 通常表…

Windows环境利用 OpenCV 中 CascadeClassifier 分类器识别人脸 c++

Windows环境中配置OpenCV 关于在Windows环境中配置opencv的说明,具体可以参考:VS2022 配置OpenCV开发环境详细教程。 CascadeClassifier 分类器 CascadeClassifier 是 OpenCV 库中的一个类,它用于实现一种快速的物体检测算法,称…

链动3+1商业模式:革新之路,引领企业持续增长

随着信息技术的飞速发展和互联网的不断渗透,企业的商业模式变革已经成为市场竞争中不可或缺的一环。在这个变革的浪潮中,链动31商业模式以其独特的逻辑和高效的激励机制,成为了业界瞩目的焦点。本文将深入探讨链动31模式的运作机制&#xff0…

基于STM32的智能停车场管理系统

目录 引言环境准备智能停车场管理系统基础代码实现:实现智能停车场管理系统 4.1 车位检测模块4.2 数据处理与分析4.3 控制系统实现4.4 用户界面与数据可视化应用场景:智能停车场管理与优化问题解决方案与优化收尾与总结 1. 引言 智能停车场管理系统通…

数据结构经典面试之列表——C#和C++篇

文章目录 1. 数据结构概述2. 列表(List)的基本概念与操作3. 列表的具体实现方式3.1 数组实现3.2 链表实现 4. 列表在C#和C中的使用示例4.1 C#中的列表使用示例4.2 C中的列表使用示例 5. 总结 数据结构是计算机科学中非常重要的一个领域,它主要…

IDEA中Maven--下载安装自己适配的版本---理解

Maven解释: Maven是一个强大的项目管理工具和构建工具,主要用于Java项目。它能够帮助开发团队管理项目的依赖、构建项目、发布文档和报告,并能够自动化许多重复的任务。 Maven的主要作用包括: 依赖管理:Maven能够管理…