UCSD和MIT的华人学者最新成果展示：沉浸式远程遥操作机器人

你是否曾想过，自己身处某地，可以控制几千公里以外的「机器人」本体？这个想法，最近被来自UCSD和MIT的华人学者们实现了。UCSD位于加利福尼亚州，MIT位于马萨诸塞州，这两地之差，约3000英里（4800公里）。不过，MIT的研究人员竟通过头戴Apple Vision，实现了远程操控UCSD实验室中的机器人，效果让人为之惊叹。
在这里插入图片描述

只见人类空手做出了手持易拉罐的动作，机器人在另一边也做出了同步的动作，然后依次将6罐芬达放置在了盒子里。完成之后，人类做了OK、以及🤟手势，机器人也跟着有模有样，做了出来。这一想法之所以能够实现，背后源于研究者提出了一个沉浸式的远程操作系统——Open-TeleVision。

论文地址：https://robot-tv.github.io/resources/television.pdf

Open-TeleVision创新之处在于，可以提供立体式感知环境，实现操作者动作到机器人的精确镜像，创造出一种沉浸式体验。正如论文作者所言，仿佛操作者的思维被传输到了机器人的身体中。值得一提的是，你不仅可以用头显，还可以用笔记本、iPad、甚至是手机，完成对机器人的远程操控。
在这里插入图片描述

那么，这项研究意义何在？现实生活中，机器人能够学习的数据非常少。远程操控的方法，可以用于收集机器人行示范中学些所需的真实机器人数据。研究人员正式希望通过Open-TeleVision这一方式，进一步帮助这一领域探索出更多的场景数据。

远程操控，让机器人替人类打工

可以畅想下，有了这样的技术，我们未来生活会有怎样的巨变？在实验室闷头苦干的人不一定非得是自己，你可以在家即可操控机器人，取样本、分析都能完成。
在这里插入图片描述

而且流水线上的工人们，可能要被这些机器人逐渐取代。看着将耳塞精准熟练地装进透明的盒子，足见其强大。
在这里插入图片描述

它们还可以胜任收银员的工作，一手拿着扫码器，一手拿着商品，逐一完成扫码任务。
在这里插入图片描述

建筑工地中，一些危险的活儿，也能交由它们做。拿着电锯在指定位置打孔，不得不说真的强。
在这里插入图片描述

你还可以让机器人作为你的化身，陪你做游戏。
在这里插入图片描述

友好互动，机器人做的也是毫无违和感。
在这里插入图片描述

下面这是一个超有爱的画面，只见机器人将Hellokitty挂件递给女生后，还做出了比心的动作。
在这里插入图片描述

再来看看更多，跨越更远区域的演示。

研究人员做装网球的动作，机器人将现实中物体装进桶中。
在这里插入图片描述

下面这个比较有意思，MIT研究人员控制一台机器人，向与另一台机器人传递镜子。
在这里插入图片描述

以上皆是远程操控完成任务的案例，不过研究者开发的系统，也能够让机器人本体，自主去完成一些精准的任务。

比如，分类不同易拉罐饮料。

在这里插入图片描述

叠毛巾等等。
在这里插入图片描述

看过这么多精彩演示，你一定想了解其背后的技术原理，不如一起来看看。

技术介绍

正如开头所述，研究人员开发了一种通用框架Open-TeleVision，可以应用到不同机器人、机械手臂上，用VR设备完成高精度远程操控。

通过捕捉人类操作者的手部姿势，作者执行重定向操作，来控制多指机器人手或平行夹持器。

另外，研究者依靠逆运动学将操作者的手根位置，转换为机器人手臂末端执行器的位置。
在这里插入图片描述

整体的系统概述如下图2所示。

研究人员基于Vuer开发了一个网络服务器。VR设备将操作者的手、头和手腕的姿态以SE(3)的形式流式传输到服务器，服务器负责处理人类到机器人的动作重定向。
在这里插入图片描述

图3展示了机器人的头部、手臂和手如何跟随人类操作者的动作。

反过来，机器人以每只眼睛480x640的分辨率流式传输立体视频，整个循环以60Hz的频率进行。
在这里插入图片描述

硬件配置

具体来说，研究人员对两种机器人进行了实验，如下图4所示。

它们分别是人形机器人Unitree H1，以及配备夹持器的Fourier GR-1，来执行双手操作的任务。
在这里插入图片描述

对于主动感知，研究人员专为H1设计了一个具有两个旋转自由度（偏航和俯仰）的云台，安装在躯干顶部。这个云台由3D打印部件组装而成，由DYNAMIXEL XL330-M288-T电机驱动。

对于GR-1，他们使用了厂商提供的3自由度颈部（偏航、滚动和俯仰）。两种机器人都使用ZED Mini立体相机提供立体RGB视频流。具体材料费用细节，下表列出了一些要点。
在这里插入图片描述

有了所具备的硬件，就要开启实验了。

实验结果

论文中，研究人员主要研究了两个问题：

Open-TeleVision系统的关键设计选择如何影响模仿学习结果的表现？
Open-TeleVision远程操作系统在收集数据方面的效率如何？

这里，研究人员选择ACT作为模仿学习的算法，并进行了两项关键修改。

一是，用更强大的视觉骨干网络DinoV2替换了ResNet。DinoV2是一个通过自监督学习预训练的视觉Transformer（ViT）。

二是，使用两个立体图像作为Transformer编码器的输入，而不是使4个独立排列的RGB相机的图像。

DinoV2骨干网络为每张图像生成16 × 22个token。状态token是从机器人当前的关节位置投影而来的。对于H1机器人，动作维度是28（每个手臂7个，每只手6个，主动颈部2个）。对于GR-1机器人，动作维度是19（每个手臂7个，每个夹持器1个，主动颈部3个）。具体实验中，作者选择了四个强调精确性、泛化能力，以及长期规划的任务，以展示Open-TeleVision的有效性，如下图5所示。
在这里插入图片描述