【CVPR2023】Re:InterHand:一个用于3D交互手部姿态估计的重光照数据集

这篇论文的标题是《A Dataset of Relighted 3D Interacting Hands》,作者是Gyeongsik Moon, Shunsuke Saito, Weipeng Xu, Rohan Joshi, Julia Buffalini, Harley Bellan, Nicholas Rosen, Jesse Richardson, Mallorie Mize, Philippe de Bree, Tomas Simon, Bo Peng, Shubham Garg, 和 Kevyn McPhail,他们来自Meta Reality Labs Research。

摘要

双手交互是分析中最具挑战性的信号之一,因为手的自相似性、复杂的关节和遮挡。尽管已经提出了几个双手交互分析的数据集,但它们都没有同时实现1) 多样化和逼真的图像外观,以及2) 多样化和大规模的地面真实(GT) 3D姿态。在这项工作中,我们提出了Re:InterHand,一个重光照的3D交互手数据集,实现了这两个目标。为此,我们使用了最先进的手部重光照网络和我们准确追踪的双手3D姿态。我们比较了我们的Re:InterHand与现有的3D交互手数据集,并展示了它的好处。我们的Re:InterHand可以在此处获取。
在这里插入图片描述
在这里插入图片描述

1. 引言

人类在日常对话或与物体互动时经常进行双手交互。手的自相似性、复杂的关节和尺寸小使得分析这种双手交互极具挑战性。特别是当分析系统的输入是单一图像时,问题变得更加困难,因为在大多数情况下,一只手的大部分被另一只手遮挡。

2. 相关工作

  • 3D手部数据集:表格1显示了各种3D手部数据集的比较。
  • 3D交互手部恢复:由于缺乏大规模数据集,早期工作基于拟合框架,该框架将3D手部模型拟合到几何观测上,如RGBD序列、手部分割图和密集匹配图。
  • 重光照人类:有几项工作提出了重光照面部和身体的模型,但这些模型不是可动画的。为了实现可动画的重光照,Bi等人提出了一个深度可重光照外观模型,用于面部化身。

3. 数据集构建

图4展示了构建我们数据集的总体流程。它由两个阶段组成:捕获和重光照。

3.1 捕获阶段

捕获阶段从我们的多相机工作室捕获手部数据。我们捕获了10个主题的数据,如图5所示。我们捕获了两种类型的序列,峰值姿态和运动范围,遵循InterHand2.6M。峰值姿态是一个序列,包括从中性姿态过渡到预定义姿态,然后过渡回中性姿态。峰值姿态的目的是捕获尽可能多样化的姿态,包括极端姿态和最大手指弯曲。运动范围是一个序列,包括用最少的指令驱动的自然手部运动,例如挥手好像朋友过来一样。通过这种方式,我们可以捕获1) 从峰值姿态序列中捕获多样化的姿态,以及2) 从运动范围序列中捕获自然手部运动。

3.2 重光照阶段

在上述捕获阶段捕获数据后,我们为每个主题训练了一个重光照网络。我们使用NeuralAnnot的3D姿态从捕获阶段渲染两只手,并使用指定的相机参数。对于照明,我们使用了Gardner等人的2144张高分辨率环境贴图。

4. 数据集发布

我们的Re:InterHand数据集包括1) 重光照图像,2) 非二进制掩模,以及3) 3D手部模型拟合,如图7所示。重光照图像和非二进制前景掩模来自第3.2节,3D手部模型拟合来自第3.1节。我们从10次捕获中分割出7次捕获用于训练集,剩余的3次捕获用于测试集。

5. 实验

对于所有实验,我们报告右手相对于顶点误差(RRVE),这是估计的和GT 3D网格的两只手之间的欧几里得距离(毫米),在对齐右手根部(即手腕)的平移后。请注意,先前工作的最广泛使用的指标[58, 22, 26](MPVPE)是在分别对左右手的平移进行对齐后计算的;因此,他们的MPVPE没有考虑两只手之间的相对位置,而我们的RRVE确实考虑了。

6. 结论

我们提出了Re:InterHand数据集,它提供了高度逼真和多样化的交互手部图像及其相应的GT 3D手部。为此,我们使用了准确追踪的3D姿态、最先进的重光照网络和多个高分辨率环境贴图。我们希望我们的数据集可以使社区更接近野外的3D交互手部恢复。

局限性:我们的渲染图像在前臂区域有切口。这是因为我们的重光照网络只采用3D手部几何体,而不是全身的。我们认为这不是一个严重的问题,因为大多数3D手部分析系统都采用裁剪的手部图像,然后通过手部检测器进行处理,其中手部检测器可以在只有2D注释的大规模真实数据集上进行训练。我们还观察到,重光照图像中有时会出现伪影。这是因为重光照网络在单手数据上训练并在双手数据上测试,有时会导致姿态泛化失败。我们期待一个更好的重光照网络可以缓解这个问题。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/572405.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

玩转PyCharm

玩转PyCharm PyCharm是由JetBrains公司开发的提供给Python专业的开发者的一个集成开发环境,它最大的优点是能够大大提升Python开发者的工作效率,为开发者集成了很多用起来非常顺手的功能,包括代码调试、高亮语法、代码跳转、智能提示、自动补…

MyBatis 核心配置讲解(上)

大家好,我是王有志,一个分享硬核 Java 技术的互金摸鱼侠。 前两篇的文章中我们分别介绍了 MyBatis 和 MyBaits 的应用组成,到这里基础篇的内容就结束了。 从今天开始,我们正式进入 MyBatis 学习的第二阶段:MyBatis 的…

【QT学习】9.绘图,三种贴图,贴图的转换,不规则贴图(透明泡泡),简单绘图工具制作

一。绘图的解释 Qt 中提供了强大的 2D 绘图系统,可以使用相同的 API 在屏幕和绘图设备上进行绘制,它主要基于QPainter、QPaintDevice 和 QPaintEngine 这三个类。 QPainter 用于执行绘图操作,其提供的 API 在 GUI 或 QImage、QOpenGLPaintDev…

maya blendshape

目录 shape编辑器 maya创建blendshape python 脚本 添加形变动画 查看顶点个数 shape编辑器 打开方式: 窗口-动画编辑器-形变编辑器 maya创建blendshape python 脚本 import maya.cmds as cmds# 创建基础网格 - 球体 baseMesh cmds.polySphere(name"bas…

Postman 工具发送请求的技巧与实践

在开发和测试 API 时,发送 JSON 格式的请求是一个常见需求。 在 Postman 中构建和发送 JSON 请求 创建一个新的请求 首先,在 Postman 启动界面上找到并点击 “New” 按钮,选择 “HTTP Request” 来开始新建一个请求。这一步骤允许你定义请…

Unity射击游戏开发教程:(7)Powerup的使用

确定 PowerUp 效果应持续多长时间 我在游戏中放置的第一个道具是三重射击。当玩家收集三重射击能量时,他们可以一次发射 3 束激光,而正常情况下只能发射 1 束激光。在实施道具时,您需要考虑它们的功能以及它将如何影响游戏玩法。至于三连射&

Linux-缓冲区(简单理解)

1. 缓冲区是什么 缓冲区就是一段内存空间。 2. 为什么要有缓冲区 IO写入有两种: 写透模式(WT) 成本高,效率低写回模式(WB) 成本低,效率高 写透模式:每次的文件写入都要立即刷新…

海外仓WMS管理系统:标准化海外仓管理模式,效率和管理模式双提升

就目前的跨境电商发展速度和体量来看,标准化海外仓管理的模式不再是一个选项,而是必走之路。 今天会重点和大家聊一下,海外仓企业应该如何利用好WMS管理系统,快速的标准化仓库管理的模式,以及大家比较关心的&#xff0…

JAVA读取文件完成词频统计

词频统计原数据和结果数据地址:https://download.csdn.net/download/LiHaoHang6/88845654?spm1001.2014.3001.5501 运行效果展示: 原数据展示: 词频统计思路: 1:先通过BufferedReader来读取本地文本文件,之后将文本…

excel 按照姓名日期年月分组求和

excel 需要按照 姓名 日期的年份进行金额求和统计,采用sumifs 进行统计 注意:sumifs 不支持 合并列拆分计算,合并列只会计算一个值 表格数据大概如下:(sheet) ABC姓名日期金额A2023/01/01500A2023/01/151500B2023/01/01200B202…

基于SpringBoot开发的同城租房系统租房软件APP小程序源码

项目背景 一、市场前景 随着城市化进程的加快和人口流动性的增强,租房市场正逐渐成为一个不可忽视的巨大市场。传统的租房方式往往存在着信息不对称、效率低下等问题,而同城租房软件的出现,则有效地解决了这些问题,为租房市场注…

云计算时代,企业面临的云安全风险

如今,随着云计算等新兴科技的发展,不同类型企业间的关联越来越多,它们之间的业务边界已被打破,企业上云成为了大势所趋。云计算应用帮助企业改变了IT资源不集中的状况,同时,数据中心内存储的大量数据信息&a…

Mediator 中介者

意图 使用一个中介者对象来封装一系列的对象交互。中介者使各个对象不需要显式地互相引用,从而使其耦合松散,而且可以独立的改变他们之间的交互。 结构 Mediator(中介者)定义一个接口用于各同事(Colleague&#xff0…

数值积分——复化梯形求积公式 | 北太天元

复化求积法的思想: 将区间 [ a , b ] [a,b] [a,b]进行 n n n等分,步长 h b − a n h\frac{b-a}{n} hnb−a​,等分点 x k a k h , k 0 , 1 , 2 , ⋯ , n x_{k}akh,k0,1,2,\cdots,n xk​akh,k0,1,2,⋯,n, 先在每个子区间 [ x k , x k 1 ] …

普惠金融淘金热:抢占‘高成长‘企业,抓住下一个十年的财富机遇!

官.网地址:合合TextIn - 合合信息旗下OCR云服务产品 2013年,十八届三中全会正式提出“发展普惠金融”,普惠金融自此上升为国家战略;十年来,我国普惠金融取得了长足发展,逐步构建了多层次、广覆盖的中国特…

文件上传漏洞-白名单检测

如何确认是否是白名单检测 上传一张图片与上传一个自己构造的后缀,如果只能上传图片不能上传其它后缀文件,说明是白名单检测。 绕过技巧 可以利用 00 截断的方式进行绕过,包括 %00 截断与 0x00 截断。除此之外如果网站存在文件包含漏洞&…

《环阳宗海逍遥游》

第一天:《六十八道拐》五月二日游兴浓,大观公园门囗逢。海埂西门再集合,蓝光城里意无穷。呈贡过后松茂过,阳宗镇上心欢融。宜良城中暂歇脚,六十八拐路难通。宜良住宿赏夜色,期待明朝再接龙。 第二天:《情人岛苗王峡行》…

【正点原子Linux连载】 第三十四章 Linux USB驱动实验 摘自【正点原子】ATK-DLRK3568嵌入式Linux驱动开发指南

1)实验平台:正点原子ATK-DLRK3568开发板 2)平台购买地址:https://detail.tmall.com/item.htm?id731866264428 3)全套实验源码手册视频下载地址: http://www.openedv.com/docs/boards/xiaoxitongban 第三十…

模块化 手写实现webpack

模块化 common.js 的导入导出方法: require \ export 和 module.exports export 和 module.export nodejs 内存1.4G -> 2.8G cjs ESModule 主要区别: require属于动态类型:加载执行 同步 esmodul是静态类型:引入时并不会真的去…

mysql事故复盘: 单行字节最大阈值65535字节(原创)

背景 记得还在银行做开发,投产上线时,项目发版前,要提DDL的sql工单,mysql加1个字段,因为这张表为下游数据入湖入仓用的,长度较大。在测试库加字段没问题,但生产库字段加不上。 先说结论 投产…