RoboMIND:多体现基准 机器人操纵的智能规范数据

我们介绍了 RoboMIND,这是机器人操纵的多体现智能规范数据的基准,包括 4 个实施例、279 个不同任务和 61 个不同对象类别的 55k 真实世界演示轨迹。

工业机器人企业

埃斯顿自动化 | 埃夫特机器人 | 节卡机器人 | 珞石机器人 | 法奥机器人 | 非夕科技 | CGXi长广溪智造 | 大族机器人 |  越疆机器人 | 优艾智合机器人 | 阿童木机器人 | 盈连科技 | 松灵机器人

服务与特种机器人企业

亿嘉和 | 晶品特装 | 九号机器人 | 普渡机器人 | 机器姬 | 猎户星空 | 七腾机器人

医疗机器人企业

元化智能 | 天智航 | 思哲睿智能医疗 | 精锋医疗 | 佗道医疗 | 真易达 | 术锐®机器人 | 罗森博特 | 磅客策 | 柏惠维康 | 迪视医疗

人形机器人企业

优必选科技 | 宇树 | 达闼机器人 | 云深处 | 理工华汇 | 傅利叶智能 | 逐际动力 | 乐聚机器人 | 星动纪元 | 天链机器人| 中科深谷  | 大象机器人| 伟景机器人 | 众擎机器人 | 开普勒人形机器人 | 数字华夏 | 帕西尼感知

具身智能企业

 跨维智能 | 银河通用 | 千寻智能 | 方舟无限 | 微亿智造 | 睿尔曼智能 | 灵心巧手

核心零部件企业

绿的谐波 | 因时机器人 | 脉塔智能 | 锐驰智光 | 地平线 | 本末科技 | NOKOV度量科技 | 青瞳视觉 | 因克斯 | 蓝点触控 | 福德机器人 | 巨蟹智能驱动 | 鑫精诚传感器 | 思岚科技 | 宇立仪器 | 极亚精机 | 神源生

教育机器人企业

硅步机器人 | 史河科教机器人 | 大然机器人

伴随着全球人工智能技术飞速进步,具身智能产业迅猛发展,赋予机器人类人化的泛化能力是具身智能机器人技术的核心目标之一,实现这一目标的关键在于如何使各类机器人本体在面对多样化的环境和任务时,能够展现出卓越的性能。

正如ChatGPT需要海量文本数据来训练一样,想要培养出一个能力全面的机器人,也需要大量优质的训练数据,数据集是具身智能技术发展的重要基石。与视觉或语言数据的获取相比,收集机器人训练数据远比收集文本或图像数据困难得多,需要在专门的环境中记录机器人的每个关节动作和末端执行器的信息,这个过程不仅需要昂贵的硬件设备,还需投入大量人力来确保数据质量,因而业内目前最具通用性的机器人操作策略主要依赖于在有限多样性条件下收集的数据,大规模多构型具身智能数据集和Benchmark是极为稀缺的资源。

为了解决这个难题,国家地方共建具身智能机器人创新中心与北京大学计算机学院联合推出了一个大规模多构型智能机器人数据集和Benchmark——RoboMIND,捕捉机器人面对复杂环境、长程任务时的各种交互和经验,从而促进能够掌握不同操作策略的通用模型的训练。RoboMIND包含5万5千条机器人轨迹数据,涉及279项不同的任务,涵盖了高达61种不同的物体,覆盖了家居、厨房、工厂、办公、零售等大部分生活服务场景。此外,该数据集包含根据真实场景搭建的数字孪生场景,进一步丰富和扩充了此数据集的多样性,同时提升数据采集效率。机器人构型包含单臂机器人、双臂机器人、人形机器人,手臂末端使用夹爪或者灵巧手。为了评估RoboMind数据集的质量,研究团队在主流单任务模仿学习模型上(如ACT)和具身多模态大模型上(如OpenVLA、RDT-1B)进行了广泛的评测,发现RoboMIND数据集可以有效提升模仿学习模型在现实场景下任务的成功率。该评测得到了北京智源人工智能研究院的大力支持。

RoboMIND为机器人操作模型的训练提供了一个高质量、广泛多样的数据基础,旨在提升机器人在复杂环境中的操作能力和适应性。通过大规模、多样化的数据集,机器人模型能够更好地适应各种任务和环境变化,从而推动通用机器人技术的发展。

RoboMIND 数据分析

数据集概述。(a) 按实施例分类的总轨迹,(b) 按实施例分类的轨迹长度,(c) 按任务类别分组的总轨迹,以及 (d) 基于对象使用场景的总轨迹。

 

RoboMIND 中的对象分布,覆盖大多数日常生活环境:家庭、工业、厨房、办公和零售。

 

图:四个实施例中跨任务的技能计数的直方图。AgileX 任务通常涉及两个或三个组合技能,从而扩展了任务范围。同时,天功任务的长度各不相同,有些任务每个任务最多包含五个技能。右图:我们使用 AgileX 机器人可视化 AX-PutCarrot 任务,该任务涉及三种不同的技能。

 

语言描述注释。我们为 10,000 个成功的机器人运动轨迹提供精细的语言注释。

 

失败数据收集案例的可视化。我们展示了 Franka 和 AgileX 的两个失败示例。在 FR-PlacePlateInPlateRack 任务(第二行)中,Franka 机械臂无法与插槽对齐,导致印版因操作员干预而滑动。在 AX-PutCarrot 任务(第四行)中,AgileX 夹持器意外打开,胡萝卜掉落。在质量检查期间筛选掉了这些失败情况,以保持数据集质量。

 

RoboMIND 实验

我们采用四种流行的模仿学习方法进行综合实验,包括 ACT、 BAKU、RDT-1B 和 OpenVLA 在选定的 RoboMIND 任务上评估其性能和局限性。实验视频如下:1.ACT on Single Tasks 的成功示 例     2.RTD-1B 在多任务设置上的成功案例    3.OpenVLA 多任务设置成功案例

我不试睡神的个人空间-我不试睡神个人主页-哔哩哔哩视频哔哩哔哩我不试睡神的个人空间,提供我不试睡神分享的视频、音频、文章、动态、收藏等内容,关注我不试睡神账号,第一时间了解UP主动态。一个喜欢收集视频的大学生。icon-default.png?t=O83Ahttps://space.bilibili.com/397174233/channel/collectiondetail?sid=4427523&spm_id_from=333.788.0.0

咨询来源:官方网站RoboMIND: Benchmark on Multi-embodiment Intelligence Normative Data for Robot Manipulation 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/946158.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【Spring MVC 核心机制】核心组件和工作流程解析

在 Web 应用开发中,处理用户请求的逻辑常常会涉及到路径匹配、请求分发、视图渲染等多个环节。Spring MVC 作为一款强大的 Web 框架,将这些复杂的操作高度抽象化,通过组件协作简化了开发者的工作。 无论是处理表单请求、生成动态页面&#x…

郑州时空-TMS运输管理系统 GetDataBase 信息泄露漏洞复现

0x01 产品简介 郑州时空-TMS运输管理系统是一款专为物流运输企业设计的综合性管理软件,旨在提高运输效率、降低运输成本,并实现供应链的协同运作。系统基于现代计算机技术和物流管理方法,结合了郑州时空公司的专业经验和技术优势,为物流运输企业提供了一套高效、智能的运输…

电子应用设计方案81:智能AI冲奶瓶系统设计

智能 AI 冲奶瓶系统设计 一、引言 智能 AI 冲奶瓶系统旨在为父母或照顾者提供便捷、准确和卫生的冲奶服务,特别是在夜间或忙碌时,减轻负担并确保婴儿获得适宜的营养。 二、系统概述 1. 系统目标 - 精确调配奶粉和水的比例,满足不同年龄段婴…

Three.js教程004:坐标辅助器与轨道控制器

文章目录 坐标辅助器与轨道控制器实现效果添加坐标辅助器添加轨道控制器完整代码完整代码下载坐标辅助器与轨道控制器 实现效果 添加坐标辅助器 创建坐标辅助器: const axesHelper = new Three.AxesHelper(5);添加到场景中: scene.

Mesh网格数据结构2-半边结构

文章目录 1.Edge-based data Structure2.HalfEdge-Based Data Structure3. Directed-edge data structure 本文将详细介绍半边结构(Halfedge-based data),以及Face-based data,Edge-based data, Directed-edge data structure. 上…

CSS---实现盒元素div内input/textarea的focus状态时给父元素加属性!

注意兼容性,低版本浏览器无效 要实现当 textarea 文本框获得焦点时,自动给其父元素添加类名或样式,您可以使用 CSS 的 :focus-within 伪类选择器。这个选择器会在元素本身或其任何子元素获得焦点时应用样式。 示例代码 假设您有以下 HTML 结…

天天跳绳(???)

广东省人民政府门户网站 https://www.gd.gov.cn/zwgk/zdlyxxgkzl/whjg/content/post... 二沙岛变身智能“运动岛” - 广东省人民政府门户网站 2020年10月20日  广州二沙岛,犹如一颗璀璨明珠点缀在珠江之心,自然风光旖旎,功能分区清 … 公共…

七、Vue 监听属性

文章目录 一、简介二、基本语法简单监听深度监听 三、与计算属性的区别计算属性(computed)的特点监听属性和计算属性的不同应用场景 四、在组件中的应用组件内监听属性父子组件通信中的监听属性 五、注意事项异步操作不要过度使用 一、简介 在 Vue.js 中…

视频流媒体解决方案:Liveweb国标GB28181视频监控汇聚平台

视频监控国标平台指的是基于GB/T 28181协议的视频联网平台,可以对接各种符合国标GB/T 28181协议的视频平台、NVR录像机、网络监控摄像头、执法记录仪、应急布控球、移动单兵、无人机等设备。通过国标平台的联网,方便管理分布在不同地点的视频监控和其他视…

Canoe 新建工程和通道连接

文章目录 新建工程硬件通道Vector 硬件驱动Hardware 配置1、通道数量配置2、通道映射3、配置通道波特率 新建工程 新建一个具有一个CAN通道的工程 Ctrl S 保存 硬件通道 以 Vector 1640 为例: Vector 1640通过 USB 和电脑连接后,观察指示灯&#xff…

安卓开发使用Gemini高效AI开发-Android Studio 中使用Gemini

Gemini 是Android Studio最新版本中内嵌的AI工具,它可以通过代码补全、解释代码、提供改进建议、错误分析等方式帮助开发者提高编码效率。当然,与目前大多数AI工具一样,Gemini有时可能会"非常自信"地提供不准确、错误的信息&#x…

从0开始的docker镜像制作-ubuntu22.04

从0开始的docker镜像制作-ubuntu22.04 一、拉取基础ubuntu22.04镜像二、进入拉取的docker镜像中,下载自己需要的安装包三、安装需要的系统软件四、打包现有镜像为一个新的镜像五、推送打包的镜像到私有docker服务器1.编辑docker文件,使其允许http传输和对…

软件测试——面试八股文(入门篇)

今天给大家分享软件测试面试题入门篇,看看大家能答对几题 一、 请你说一说测试用例的边界 参考回答: 边界值分析法就是对输入或输出的边界值进行测试的一种黑盒测试方法。通常边界值分析法是作为对等价类划分法的补充,这种情况下&#xff…

面试场景题系列:设计指标监控和告警系统

在本文中,我们将探讨可扩展的指标监控和告警系统的设计。理解基础设施的状况对维持其可用性和可靠性至关重要。 图-1展示了一些市面上最流行的商用和开源的指标监控和告警服务。 图-1 1.场景边界界定 为了便于展开设计以及考虑通用性,监控和告警需求如…

Spring实现输出带动态标签的日志

版权说明: 本文由博主keep丶原创,转载请保留此块内容在文首。 原文地址: https://blog.csdn.net/qq_38688267/article/details/144851857 文章目录 背景底层原理实现方案Tag缓存实现封装注解通过AOP实现日志缓存封装行为参数通用方法实现手动…

1月第一讲:WxPython跨平台开发框架之前后端结合实现附件信息的上传及管理

1、功能描述和界面 前端(wxPython GUI): 提供文件选择、显示文件列表的界面。支持上传、删除和下载附件。展示上传状态和附件信息(如文件名、大小、上传时间)。后端(REST API 服务)&#xff1a…

微服务SpringCloud分布式事务之Seata

视频教程:https://www.bilibili.com/video/BV16P63Y3ESq 效果演示 准备的微服务项目调用的链路如下: 文字描述: gateway模块接收到请求,并发送到order订单模块order订单模块接收到请求,新增一个订单数据后发送一个…

Solon 加入 GitCode:助力国产 Java 应用开发新飞跃

在当今数字化快速发展的时代,Java 应用开发框架不断演进,开发者们始终在寻找更快、更小、更简单的解决方案。近期,Solon 正式加入 GitCode,为广大 Java 开发者带来全新的开发体验,尤其是在国产应用开发进程中&#xff…

[实用指南]如何将视频从iPhone传输到iPad

概括 将视频从 iPhone 传输到 iPad 时遇到问题?您可能知道一种方法,但不知道如何操作。此外,您要传输的视频越大,完成任务就越困难。那么如何将视频从 iPhone 传输到 iPad,特别是当您需要发送大视频文件时&#xff1f…

【一起python】银行管理系统

文章目录 📝计算机基础概念🌠 导入模块🌠定义input_card_info函数🌠 定义check_password函数🌠初始化用户字典和欢迎信息🌉 主循环🌉开户操作🌉查询操作🌉取款操作&#…