AutoNeRF:Training Implicit Scene Representations with Autonomous Agents

论文概述

        《AutoNeRF》是由Pierre Marza等人撰写的一篇研究论文,旨在通过自主智能体收集数据来训练隐式场景表示(如神经辐射场,NeRF)。传统的NeRF训练通常需要人为的数据收集,而AutoNeRF则提出了一种使用自主智能体高效探索未知环境并利用这些经验自动构建隐式地图表示的方法。本文比较了不同的探索策略,包括手工设计的基于前沿的探索、端到端方法以及由高层规划器和低层路径跟随器组成的模块化方法

        这些模型在四种下游任务(经典视点渲染、地图重建、规划和姿态精炼)上的表现进行了评估,结果显示使用自主收集的数据训练NeRF在未见过的环境中仅通过一次探索即可完成建模,并且模块化的探索模型优于其他经典和端到端的基线方法。最后,论文展示了AutoNeRF在重建大规模场景方面的能力,使其成为执行场景特定适应的有用工具。

1. 引言 

  • 背景与动机

    • 随着计算机视觉和机器人技术的发展,隐式场景表示(如神经辐射场,NeRF)在生成新视角图像方面表现卓越。然而,训练这些模型需要大量的精心收集的数据。
    • 本文提出的AutoNeRF方法,通过自主智能体高效探索未知环境,自主收集数据,训练高质量的隐式场景表示模型。
  • 研究目标

    • 开发一种能自主收集数据的智能体,使其在探索未知环境时,能够自动构建NeRF模型。
    • 评估这些模型在不同下游任务(如视角渲染、地图重建、规划和姿态精炼)中的表现。

2. 相关工作

  • 神经场景表示

    • NeRF通过神经网络表示3D场景的结构,使用差分体积渲染损失从2D图像监督中重建3D场景。
    • 隐式表示技术在新视角合成、实时SLAM和语义增强方面表现出色。
  • 机器人领域的应用

    • 现有的隐式表示技术主要集中在离线场景的训练和推理,而在机器人领域的在线应用还需进一步探索。
  • 主动学习和自主场景探索

    • 传统方法大多依赖于静态数据集上的帧选择,本文提出的方法在大规模动态室内场景中进行主动探索,提升数据收集效率。

3. 方法 

整体框架 

图3:模块化探索策略

图3展示了AutoNeRF中使用的模块化探索策略框架。该框架主要由三个部分组成:全局策略、局部策略和NeRF训练过程。以下是对每个组成部分的详细描述。

1. 全局策略

全局策略负责探索过程中的高级决策,预测智能体应该导航到的中间航点。全局策略的输入是一组语义地图,包括占据信息、已探索区域和语义分割信息。该策略通过卷积神经网络实现,并使用强化学习技术,特别是近端策略优化(PPO)进行训练。

  • 输入:堆叠的语义地图(占据、探索、语义)。
  • 输出:中间航点。
  • 训练:强化学习(PPO)。
2. 局部策略

局部策略负责向全局策略提供的航点导航。它通过采取离散动作使智能体朝着航点移动(在本例中为25步)。这些动作包括向前移动和向左或向右转向。局部策略使用快速行进法(Fast Marching Method),一种经典的路径规划算法,高效地导航到目标航点。

  • 输入:中间航点。
  • 输出:离散导航动作(前进、左转、右转)。
  • 算法:快速行进法。
3. NeRF训练

当智能体通过探索收集到数据后,使用这些数据训练NeRF模型。收集的数据包括图像及其相应的相机位姿。NeRF模型训练旨在预测3D空间中任何点的颜色、密度和语义类别。训练过程包括沿着从相机发出的射线采样点,并优化预测输出使其与真实图像匹配,使用体积渲染技术进行优化。

  • 输入:探索过程中收集的图像和相机位姿。
  • 输出:3D场景表示(密度、颜色、语义)。
  • 训练:体积渲染优化。
其他组成部分
  • 奖励函数:使用不同的奖励函数来训练全局策略,关注诸如已探索区域覆盖或障碍物重要性等方面。
  • 评估:训练好的NeRF模型在几个下游任务上进行评估,包括新视角渲染、地图重建、规划和姿态精炼。

总结

图3概括了AutoNeRF框架的整体架构和流程。它展示了探索策略(全局和局部)如何协同工作进行导航和数据收集,以及如何利用这些数据训练NeRF模型进行3D场景重建。这种模块化的方法确保了高效的探索和高质量的3D建模,实现了通过自主收集的数据进行隐式场景表示的构建。

  • 3.1 任务描述

    • 智能体在未知场景中初始化,通过执行离散动作收集观测数据,这些数据用于训练NeRF模型。
    • 训练过程包括从智能体的视角收集图像和深度信息,并通过这些信息优化NeRF模型的参数。
  • 3.2 探索策略训练

    • 使用模块化探索策略,主要由全局策略负责探索方向的决策。
    • 奖励信号包括覆盖面积、障碍物覆盖、语义对象覆盖和视点覆盖等。
  • 3.3 具体实现

    • 模块化探索策略由高层规划器(负责整体探索策略)和低层路径跟随器(负责具体行动)组成。
    • 高层规划器使用强化学习训练,目标是最大化覆盖新区域的奖励信号。
    • 低层路径跟随器通过快速行进方法导航,确保智能体能高效到达目标位置。

 

4. 实验

  • 实验设置

    • 在不同测试场景中使用训练好的探索策略收集数据,并训练NeRF模型。
    • 评估这些模型在下游任务(如视角渲染、地图重建、规划和姿态精炼)中的表现。
  • 结果分析

    • 实验结果表明,AutoNeRF能够在仅一次探索中有效收集数据并训练NeRF模型。
    • 模块化探索策略在多项任务上表现优越,证明其在未知环境中自主探索和数据收集的有效性。

 

 

5. 结论

  • 总结

    • AutoNeRF展示了自主智能体在探索未知环境中的高效数据收集能力,能够利用这些数据训练高质量的隐式场景表示模型。
    • 这种方法在多种下游任务中表现出色,为机器人领域的场景特定适应提供了有力工具。
  • 未来工作

    • 进一步优化探索策略,提高智能体在复杂环境中的适应性。
    • 探索更多的下游任务应用,验证AutoNeRF在不同场景中的泛化能力。
论文细节补充
  • 训练数据集

    • 论文中使用了多种室内环境数据集进行训练和测试,以验证方法的有效性。
    • 包括模拟的房间布局和真实世界的室内场景。
  • 技术细节

    • NeRF模型的训练过程涉及优化损失函数,使得预测的颜色和密度与观测数据一致。
    • 强化学习策略的训练过程涉及多个探索步骤和奖励信号的设计,以引导智能体高效探索新区域。
  • 评估方法

    • 通过比较不同探索策略的覆盖面积和重建质量,评估智能体的探索效率。
    • 使用标准的视角渲染、地图重建、规划和姿态精炼任务,验证模型在下游任务中的性能。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/628965.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

知识图谱必须要图数据库嘛?

在 ZH上又看到一个问题,觉得挺有意思,小聊一二。 “知识图谱必须要图数据库吗?” ——使用非关系型数据库,关系型数据库,在计算图的一些特征上,通过优化算法是否能达到使用图数据库接近的计算速度呢&#x…

【数据结构】栈的实现(链式栈)

文章目录 栈的实现(链式栈)栈的定义初始化栈进栈判断是否为空栈出栈销毁栈获取栈顶元素获取栈的长度栈的打印 完整代码(包括测试代码)Stack.hStack.ctest.c 栈的实现(链式栈) 首先新建一个工程&#xff1a…

SHAP - 解释机器学习

文章目录 一、关于 SHAP二、安装三、树集成示例(XGBoost/LightGBM/CatBoost/scikit-learn/pyspark 模型)四、自然语言示例(transformers)五、使用 DeepExplainer 的深度学习示例(TensorFlow/Keras 模型)六、…

如何利用R包进行主成分分析和可视化

一. 使用R包“FactoMineR”进行主成分分析(PCA) 基本步骤如下: 安装和加载包:如果尚未安装,首先安装“FactoMineR”包,然后加载它: install.packages("FactoMineR")library(FactoM…

2024年5月面试知识点梳理

2024年5月面试知识点梳理 资料来源Java基础泛型基本概念常见问题 字符串注解异常反射SPI机制Java集合CollectionMap 并发基础基础理论线程Java 中的锁乐观锁与悲观锁自旋锁与非自旋锁公平锁与非公平锁 并发关键字 - synchronized并发集合Lock核心类并发集合核心类原子类核心类线…

ARM机密计算组件

安全之安全(security)博客目录导读 目录 ​一、硬件架构 1、RME 二、软件和固件架构 1、RMM 2、其他固件标准(例如PSCI) 三、开源实现 1、TF-A 2、Veraison 3、工具链 四、动态TrustZone技术 Arm机密计算架构(Arm CCA)引入了一系列硬件和软件…

vue网页端控制台展示独有标记

效果展示 实现步骤 1. 新建js文件 定义一个类 用于提供控制台打印日志显示样式的方法 src\libs\util.log.js class Logger {// 定义静态方法static typeColor(type "default") {let color "";switch (type) {case "default":color "#3…

AIGC行业现在适合进入吗

一、引言 随着人工智能技术的飞速发展,AIGC(人工智能生成内容)行业正逐渐成为科技领域的新热点。AIGC通过利用人工智能技术,自动生成文本、图像、音频、视频等多种形式的内容,极大地提高了内容生产的效率和质量。然而…

案例实践 | 基于长安链的华电集团碳资产精细化管理体系

案例名称-碳资产精细化管理体系 ■ 建设单位 北京华电电子商务科技有限公司 ■ 用户群体 华电集团内各级公司及相关产业链单位 ■ 应用成效 解决数据精准可信问题与隐私保护问题,提升碳资产管理效能,入选国资委的国有重点企业管理标杆项目 案例…

高通QCS6490开发(六):连接使用摄像头

本文将会介绍如何在FV01开发板上连接摄像头和显示预览。 所用硬件有: 1. FV01开发板 2.Raspberry 摄像头 操作步骤如下: 通过FPC线和杜邦线将FV01板和摄像头连接起来,接线如下: 1、Camera设备连接,通过22pin转15pi…

echarts树图 改文本显示的地方的样式

树图改文本显示的时候的样式 虽然有点越改越丑 其中有一些失败的尝试 forammter 无法识别html元素 所以对于tooptips有用的html元素定义获取返回在这里写的话是不生效的 rich配置项里面的backgroundColor官方说支持 html元素和canvas元素 已经图片url 没有详细试验 官网地址 h…

实验室无法培养的菌,原来可以这么研究!

厌氧氨氧化(anammox)细菌在全球氮循环和废水氮去除中发挥着至关重要的作用,由于anammox细菌生长缓慢、难以培养等特点,对其生态学和生物学特性知之甚少。近日,凌恩生物合作客户重庆大学陈猷鹏教授团队在《Science of t…

腾讯面向大众!普通人玩微信视频号,就能月入过万!

哈喽~我是电商月月 说起创业,电商这个赛道真的很适合普通人去闯,我为什么这样说,其实有两个原因 项目省钱:做电商不需要货物,没接触过电商的朋友应该不了解,每个电商平台都存在大批量的“无货源”商家 就…

【QT学习】15.数据库

一。安装数据库 1.判断数据库是否安装成功 方法一:命令行检测 1.进入命令行(不需要管理员模式) 2.结果说是欢迎进入mysql,表示mysql成功安装 方法二:navicat连接mysql 二。qt上配置MySQL 1.配置qt之前 1.点击mysql.p…

人工智能领域向量化技术加速多模态大模型训练与应用

目录 前言1、TextIn文档解析技术1.1、文档解析技术1.2、目前存在的问题1.2.1、不规则的文档信息示例 1.3、合合信息的文档解析1.3.1、合合信息的TextIn文档解析技术架构1.3.2、版面分析关键技术 Layout-engine1.3.3、文档树提取关键技术 Catalog-engine1.3.4、双栏1.3.5、非对称…

MHD、MQA、GQA注意力机制详解

MHD、MQA、GQA注意力机制详解 注意力机制详解及代码前言:MHAMQAGQA 注意力机制详解及代码 前言: 自回归解码器推理是 Transformer 模型的 一个严重瓶颈,因为在每个解码步骤中加 载解码器权重以及所有注意键和值会产生 内存带宽开销 下图为三…

安防视频汇聚/智能分析云平台EasyCVR调用localfile接口会返回日志的问题该如何解决?

视频汇聚/安防视频融合云平台EasyCVR视频监控系统支持多协议接入、兼容多类型设备,平台能在复杂的网络环境中(专网、局域网、广域网、VPN、公网等)将前端海量的设备进行统一集中接入与视频汇聚管理。视频监控/集中存储系统EasyCVR平台可支持国…

中青杯全国大学生数学建模竞赛纳入多所高校学科竞赛认定目录

2024年第六届中青杯全国大学生数学建模竞赛将于2024年5月23日17:00至5月26日17:00举行,中青杯全国大学生数学建模竞赛是中国高校学科竞赛中规模较大、影响较广的学科竞赛之一,并且纳入多所高校学科竞赛认定目录。 报名截止时间:2024年5月23日12:00 报名网站:http://www.c…

Hadoop 3.4.0 项目实战

1环境基于 上一篇搭建 高可用分布式集群 2 官方提供MapReduce程序 #评估圆周率 cd /data/hadoop/share/hadoop/mapreduce/ hadoop jar hadoop-mapreduce-examples-3.4.0.jar pi 2 6 3 实例项目分析1 #预分析的文件如,如单词统计 # #上传文件到hdfs hdfs …

淘系淘宝订单详情api接口(订单详情,订单列表,出售中,库存等属性)

淘系淘宝订单详情api接口(订单详情,订单列表,出售中,库存等属性)