每日学术速递4.26

CV - 计算机视觉 |  ML - 机器学习 |  RL - 强化学习 | NLP 自然语言处理  

Subjects: cs.CV

1.AutoNeRF: Training Implicit Scene Representations with Autonomous Agents

标题:AutoNeRF:使用自主代理训练隐式场景表示

作者:Pierre Marza, Laetitia Matignon, Olivier Simonin, Dhruv Batra, Christian Wolf, Devendra Singh Chaplot

文章链接:https://arxiv.org/abs/2304.11241

项目代码:https://pierremarza.github.io/projects/autonerf/

摘要:

        神经辐射场 (NeRF) 等隐式表示已被证明在新视图合成方面非常有效。然而,这些模型通常需要手动和仔细的人类数据收集来进行训练。在本文中,我们介绍了 AutoNeRF,这是一种使用自主体现代理收集训练 NeRF 所需数据的方法。我们的方法允许代理有效地探索看不见的环境,并利用经验自主构建隐式地图表示。我们比较了不同探索策略的影响,包括手工制作的基于前沿的探索和由训练有素的高级规划者和经典的低级路径追随者组成的模块化方法。我们使用针对此问题量身定制的不同奖励函数来训练这些模型,并评估学习表示在四种不同下游任务上的质量:经典视点渲染、地图重建、规划和姿态优化。实证结果表明,NeRF 可以在未见过的环境中仅使用一次经验就可以根据主动收集的数据进行训练,并且可以用于多个下游机器人任务,并且经过模块化训练的探索模型明显优于经典基线。

2.Segment Anything in 3D with NeRFs

标题:使用 NeRFs 在 3D 中分割任何东西

作者:Jiazhong Cen, Zanwei Zhou, Jiemin Fang, Wei Shen, Lingxi Xie, Xiaopeng Zhang, Qi Tian

文章链接:https://arxiv.org/abs/2304.12308

项目代码:https://jumpat.github.io/SA3D/

摘要:

        Segment Anything Model (SAM) 已证明其在各种 2D 图像中分割任何对象/部分的有效性,但其 3D 能力尚未得到充分探索。现实世界由无数的 3D 场景和物体组成。由于可访问的 3D 数据稀缺及其获取和注释的高成本,将 SAM 提升到 3D 是一个具有挑战性但有价值的研究途径。考虑到这一点,我们提出了一个新的框架来在 3D 中分割任何东西,称为 SA3D。给定神经辐射场 (NeRF) 模型,SA3D 允许用户在单个渲染视图中仅通过一次性手动提示获得任何目标对象的 3D 分割结果。根据输入提示,SAM 从相应的视图中剪切出目标对象。获得的 2D 分割蒙版通过密度引导逆渲染投影到 3D 蒙版网格上。然后渲染来自其他视图的 2D 蒙版,这些蒙版大部分未完成,但用作跨视图自我提示以再次输入 SAM。可以获得完整的蒙版并将其投影到蒙版网格上。此过程通过迭代方式执行,最终可以学习到准确的 3D 蒙版。SA3D无需任何额外的重新设计即可有效适应各种辐射场。整个分割过程可以在大约两分钟内完成,无需任何工程优化。我们的实验证明了 SA3D 在不同场景中的有效性,突出了 SAM 在 3D 场景感知中的潜力。

Subjects: cs.AI

3.CLaMP: Contrastive Language-Music Pre-training for Cross-Modal Symbolic Music Information Retrieval

标题:CLaMP:用于跨模态符号音乐信息检索的对比语言-音乐预训练

作者:Shangda Wu, Dingyao Yu, Xu Tan, Maosong Sun

文章链接:https://arxiv.org/abs/2304.11029

项目代码:https://github.com/microsoft/muzic/tree/main/clamp

摘要:

        我们介绍了 CLaMP:对比语言-音乐预训练,它使用音乐编码器和文本编码器通过对比损失联合训练来学习自然语言和符号音乐之间的跨模态表示。为了预训练 CLaMP,我们收集了 140 万个音乐文本对的大型数据集。它采用文本丢失作为数据增强技术和条形修补来有效地表示音乐数据,从而将序列长度减少到不到 10%。此外,我们开发了一个掩码音乐模型预训练目标,以增强音乐编码器对音乐背景和结构的理解。CLaMP 集成了文本信息,可以对符号音乐进行语义搜索和零样本分类,超越了之前模型的能力。为了支持语义搜索和音乐分类的评估,我们公开发布了 WikiMusicText (WikiMT),这是一个包含 1010 个 ABC 符号表的数据集,每个表都附有标题、艺术家、流派和描述。与需要微调的最先进模型相比,零样本 CLaMP 在面向分数的数据集上表现出相当或更优的性能。我们的模型和代码可从这个 https URL 获得。

更多Ai资讯:公主号AiCharm
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/15282.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

SaaS云HIS系统源码功能介绍

SaaS云HIS首页功能:包括工作计划、预警、主功能菜单、医院机构公告。 一、工作计划 1.值班概况:值班日期、值班时间、值班科室(内科、外科等) 2.待处理患者:内科人数、外科人数等 病历统计:入院病历、出…

华为面试题:1+4=5,2+5=12,3+6=21,问8+11=?网友:幼儿园级别

面试,一直都是职场人士绕不过去的坎,对于有的人来说,或许更擅长日常的工作,在面试环节可谓是自己的薄弱环节,但对于有的人来说,相比于工作,更擅长应付面试! 最近,有一位…

《面向基于人工智能的学习健康系统,使用心电图进行人群水平的死亡率预测》阅读笔记

目录 一、摘要 二、十个问题 Q1论文试图解决什么问题? Q2这是否是一个新的问题? Q3这篇文章要验证一个什么科学假设? Q4有哪些相关研究?如何归类?谁是这一课题在领域内值得关注的研究员? Q5论文中提到…

过来人转本考试后的感悟和经验,真的很受用

过来人转本考试后的感悟和经验,真的很受用!转本不仅是分数的较量,也是信息收集、时间管理、学习能力、毅力等等的较量。同学们在转本中难免会遇见一些困难,为了避免走弯路,一起来看看过来人的感悟和经验吧!…

项目范围控制:如何控制项目范围的变化?

一个成功的项目需要在进度、成本和质量之间取得平衡。控制项目交付范围是实现这个平衡的关键。然而,项目范围是会变化的,因此控制项目范围变化是必要的。 如何控制项目范围的变化? 1、了解项目的交付范围 项目经理、团队成员、利益相关者和…

verilog手撕代码3——序列检测和序列发生器

文章目录 前言一、序列检测器1.1 重复序列检测1.1.1 序列缓存对比/移位寄存器法1.1.2 状态机法 1.2 非重复序列检测 二、序列发生器2.1 移位寄存器法2.2 反馈法2.3 计数器法 前言 2023.4.25 2023.4.26 学习打卡,天气转晴 一、序列检测器 1.1 重复序列检测 1.1.1 …

等级保护、风险评估和安全测评分别是什么?

2022-06-17 15:17 迈入“等保2.0时代”以后,我国对于等级保护的要求更为严格和具体。等级保护、风险评估和安全测评这三个词,也因此总是出现在人们的视野之中,还总是被混淆。那这三者究竟分别是什么呢?如何区分它们?它…

【Bus】编写一个Demo虚拟的总线-设备-驱动模型

文章目录 1. 前言2. 总线驱动模型三要素2.1 总线2.2 设备2.3 驱动 3. Demo Code3.1 virt_bus_core.c3.2 virt_device.c3.3 virt_driver.c 4. 工程代码下载地址5. 参考资料 1. 前言 Linux平台为了驱动的可重用性,虚拟了很多的虚拟总线。很经典的就是platform总线&am…

如何编写高质量代码、提高编程效率?

一、 前言 高质量代码是指在满足功能需求的基础上,具备高性能、安全、可扩展、易维护、可测试等特点的代码。它不仅可以提高开发效率和代码质量,更能有效减少代码维护成本,促进团队协作和项目成功。因此,编写高质量代码对程序员来…

【Java】什么是SOA架构?与微服务有什么关系?

文章目录 服务化架构微服务架构 我的一个微服务项目,有兴趣可以一起做 服务化架构 我们知道,早期的项目,我们都是把前后端的代码放在同一个项目中,然后直接打包运行这个项目,这种项目我们称之为单体项目,比…

【Vue】Vue-cli,创建项目设置自定义默认配置

Vue2.0,Vue-cli项目配置 步骤一,打开文件夹,导航栏输入cmd,打开命令行窗口步骤二,输入命令步骤三,选择第三个自定义新建项目步骤四,选择需要的项目模块,空格选择完,回车步…

密码学|AES加密算法|学习记录

AES简介 AES加密是分组加密的一种 明文长度为固定的128位 密钥可长度为128,192,256位 128bit16字节,在AES中我们将数据用4x4字节的矩阵表示。(注排列顺序为先从上到下再从左到右) AES的一般步骤 对于上图最终轮区…

CASAIM高精度自动化三维扫描系统检测塑料件,自动检测形位公差

随着塑料工业的迅速发展,以及塑料制品在航空、航天、电子、机械、船舶和汽车等工业部门的推广应用,对塑料件的质量要求也越来越高。 为了检测塑料件的尺寸偏差以及测量关键部位的3D尺寸和形位公差,对影响总成零件精度的产品、工装、工艺进行精…

第十章_Redis集群(cluster)

是什么 定义 由于数据量过大,单个Master复制集难以承担,因此需要对多个复制集进行集群,形成水平扩展每个复制集只负责存储整个数据集的一部分,这就是Redis的集群,其作用是提供在多个Redis节点间共享数据的程序集。 官…

yield用法理解,配有代码块和解析

包含 yield 关键字的函数,是一个生成器 yield和return的区别 1、return是返回return关键字的值,被调用一次就返回一次,return只能放在一个函数代码块的最后面,运行到return的时候,就结束循环,结束这个函数…

用户画像系列——HBase 在画像标签过期策略中的应用

一、背景 前面系列文章介绍了用户画像的概念、用户画像的标签加工、用户画像的应用。本篇文章主要介绍一些画像的技术细节,让大家更加详细的了解画像数据存储和处理的逻辑 举个现实中的例子: 例子1:因为疫情原因,上线一个平台(…

没有U盘电脑如何使用本地硬盘安装Ubuntu20.04(双系统)

环境: DELL7080台式机 Ubuntu20.04 两块硬盘 问题描述: 没有U盘电脑如何使用本地硬盘安装Ubuntu20.04(双系统) 解决方案: 一、下载镜像文件 1.上线自行下载安装镜像文件 二、分区 1.win10下磁盘管理压缩2个分区一个10G左右制作安装盘,一个几百G安装系统使用 10…

辞了外包,上岸字节我落泪了,400多个日夜没人知道我付出了多少....

前言: 没有绝对的天才,只有持续不断的付出。对于我们每一个平凡人来说,改变命运只能依靠努力幸运,但如果你不够幸运,那就只能拉高努力的占比。 2023年3月,我有幸成为了字节跳动的一名自动化测试工程师&am…

Node.js的简介

一、什么是node.js Node.js是JavaScript语言的服务器运行环境。 Node.js 就是运行在服务端的 JavaScript。 Node.js 是一个基于Chrome JavaScript 运行时建立的一个平台。 Node.js是一个事件驱动I/O服务端JavaScript环境,基于Google的V8引擎,V8引擎执行…