图1：人居环境下的人形双臂机器人系统

通用人形机器人作为近年来机器人与AI交叉领域的研究热点和技术竞争高地，因其具备在非结构化人居环境中承担各种琐碎家务的潜力而得到广泛关注。人形双臂系统直接承载着人形机器人操作任务的执行能力，通用且灵巧的操作不仅依赖先进的感知与推理决策，而且对复杂的协同规划控制设计提出了极高要求。现有研究工作大多专注在解决某一特定层级的问题，例如环境-物体的感知、推理与策略生成、机器人系统的规划或操作控制，并且方案通常与特定的被操作物体或任务强相关，难以迁移和泛化。

任意抓取和操作具有各种几何和物理特性的任意物体是人形双臂机器人系统通用化的技术体现，构建一个通用的感知-规划-控制架构有望能利用双臂系统硬件本体能力并充分发挥其灵巧性和多功能性的特点，弥合AI技术与机器人技术间的鸿沟。近日, 机器人领域顶级期刊IEEE Transactions on Robotics上在线出版了长文Enabling Versatility and Dexterity of the Dual-Arm Manipulators: A General Framework toward Universal Cooperative Manipulation。这项研究工作设计并提出了业界首个双臂通用协同灵巧操作架构，该架构在感知层、双手抓取、协同操作规划和底层控制等方面提供了丰富的接口，具有很高的通用性、可扩展性和兼容性。基于该框架研究人员实现了包括协同旋拧、人机物理协同操作、协同倒水、基于物体可供性和意图识别的动态交互、干扰抑制和大体积物体的自主交接等各种显著差异化的任务。

干扰抑制

人机物理协同操作

基于物体可供性和意图识别的动态交互

协同倒水

大体积物体的自主交接

协同旋拧

该项研究一作兼通讯作者为任义博士，共同作者包括张正友教授和Martin Buss教授两位IEEE Fellow，人形机器人总师倪风雷教授，郑宇博士以及杨扬教授两位IEEE Senior Member等多位机器人领域权威专家。

▍框架概览

图2. 协同抓取与操作的双臂系统

双臂系统的通用化过程中需要解决现有研究工作中三个关键的共性问题：1）如何基于视觉感知实现未知物体的双臂协同最优抓取；2） 如何确保工作空间高度重叠的双臂机器人在动态协同过程中的系统安全性；3） 如何将丰富的人类技能转移到仅拥有有限跟踪接口类型的机器人系统中。本项研究工作则很好地解决了以上问题，所设计的双臂通用协同灵巧操作架构能够充分发挥人形双臂系统的灵巧性和多功能性，该架构包含两个相互耦合关联的子架构：1、基于学习的灵巧可达感知子架构采用端到端评估网络和机器人可达性概率化建模，实现对未建模物体的最优协同抓取；2、基于优化的多功能控制子架构采用层级化的多优先级优化框架，并通过嵌入基于学习生成的轻量级距离代理函数和黎曼流形上的速度级跟踪控制技术，同时实现了高精度双臂避自碰和高拟真双臂操作度椭球跟踪，保证了双臂系统的本质安全并开放了操作度椭球跟踪接口。

▍灵巧可达感知子架构

图3. 灵巧-可达感知双臂抓取子架构图

为实现对未知物体的双臂协同抓取，需要为双臂系统自主生成可执行的灵巧最优抓取对。研究人员从数据集生成，抓取质量评估网络和双臂机器人可达性概率化建模三个层面着手，系统性设计了灵巧-可达感知双臂抓取子架构，实现视觉系统感知到的物体3D点云到灵巧-可达最优的双臂6D抓取位姿对之间的端到端映射。

1、双臂灵巧感知抓取数据集

为建立准确的输入点云与输出双臂抓取质量之间的映射关系并有效训练抓取评估网络，研究人员提出了业界首个大规模灵巧性感知的双臂抓取合成数据集（DA2 Dataset），该数据集包含6327个物体的Mesh和超过900万组抓取对，每一组抓取都采用抓取奇异性-抓取稳定性-抓取力兼容性三个指标做了标注；

图4. 双臂灵巧感知抓取数据集图例

表1. 公开抓取数据集对比

2、双臂协同抓取质量评估网络

实际场景中一般可采用例如启发式采样等技术在感知到的物体3D点云上生成候选抓取对，为实时在线评估这些候选抓取对的质量并输出最优解，研究人员设计了面向双臂协同抓取的质量评估网络Dual-PointNetGPD，并利用DA2数据集进行训练。相较于基于简化接触力模型和依赖精确物体几何特征的传统分析方法而言，基于学习的Dual-PointNetGPD可以直接处理有噪声的3D点云并对候选双臂抓取构型的灵巧性和可靠性进行评估，因而对广泛存在的视觉感知噪声具有更高的鲁棒性；

3、双臂可达性建模与最优抓取分配

Dual-PointNetGPD从视觉感知的角度输出抓取对质量评估结构，针对特定的双臂机器人系统，还需要从机器人本体角度考虑候选抓取对在机器人操作空间中的可达性问题和抓取对在双臂之间的分配问题。研究人员采用单位四元数高斯混合模型建模技术对双臂6自由度工作空间进行建模并设计了概率最大化分配策略，实现了双臂抓取可达性与抓取灵巧性评估的融合统一。

▍多功能协同操作控制子架构

具备协同抓取未知物体的能力是实现双臂通用化的第一步，而具备本体安全感知的协同操作运动规划是衔接通用抓取并实现通用操作的第二步。由于人形双臂机器人系统的两条机械臂的工作空间往往高度重叠，对于执行双臂动态任务的机器人本体而言，避自碰撞需要放在运动规划中的最高优先级，在提升避碰精度的同时还需要减小在线计算代价以保证避碰实时性。此外，作为重要的操作性能指标和机器人技能表征之一，双臂协同操作度椭球需要被连续控制以实现对机械臂构型的实时优化，从而提高双臂系统的操作灵巧度，避免因操作奇异性导致的任务失败。研究人员为此设计了一个新型的多功能协同操作控制子架构，该架构基于层级化的多目标多优先级优化框架，将学习得到的轻量级双臂最小距离代理函数和黎曼流形速度跟踪任务以不等式约束的形式嵌入到不同的优先级中，从而实现了双臂操作运动规划的本质安全性与人机技能迁移学习中双臂构型优化的高拟真性。

图5. 多功能协同操作控制子架构

1、双臂高精度避自碰

图6. 工作空间高度交叠的人形双臂机器人

获取精确可靠的描述双臂碰撞边界的最小距离函数是将避碰约束嵌入到多优先级优化框架中并实现双臂避自碰的关键一步，由于双臂构型空间维度高且工作空间相互交叠，使得其中的安全子空间与碰撞子空间分布严重失衡而难以分割开， 研究人员提出了一种新颖的基于主动学习的采样方法，用以生成大规模的、平衡的、信息丰富的双臂碰撞数据集，然后通过机器学习的方式对双臂最小距离关于双臂构型的映射关系予以拟合，从而高效获取高精度的最小距离代理函数。

图7. 基于主动学习的采样算法示意

2、基于黎曼几何的双臂协同操作度椭球跟踪

除避自碰以外，操作度椭球跟踪因其与操作技能和操作构型强相关，也是双臂系统控制中需要重点处理的问题。双臂操作度椭球由对称正定矩阵（SPD）来描述，研究人员通过设计流形空间中的速度前馈项并结合误差控制原理，实现了双臂操作度椭球的实时跟踪以及跟踪误差的全局指数收敛，并给出了完整的理论分析与证明。双臂操作度椭球跟踪任务以等式约束的形式嵌入到了多优先级优化框架中并以双臂操作度椭球跟踪接口的形式呈现。

3、多优先级优化与控制器设计

研究人员采用协同任务空间变量（双臂绝对运动与双臂相对运动）来描述所有的双臂协同-非协同/同步-异步任务，并基于多目标多优先级框架设计了双臂通用协同操作控制的系统架构，该架构将上述双臂避自碰，双臂操作度椭球跟踪等多任务进行有机融合在一起，从而在运动规划与控制层面为双臂通用化扫清了障碍。

图8. 双臂协同操作多优先级优化框架

▍实验验证

为验证双臂最优协同抓取，双臂避自碰以及双臂协同操作度椭球跟踪方面的有效性，研究人员就所设计的Dual-PointNetGPD网络、学习生成的双臂最小距离代理函数以及SPD流形跟踪误差进行了定量分析。

双臂最优协同抓取方面，研究人员在物理仿真引擎中开展了大规模消融实验，结果表明所设计和训练的Dual-PointNetGPD网络有效提升了大尺寸未建模物体抓取任务中的双臂协同抓取成功率。

图9. 不同抓取质量下的协同抓取成功率

双臂避自碰方面主要从双臂碰撞数据集生成与双臂最小距离代理函数两个维度做分析，考虑到双臂构型空间是14维，以20-30°为采样步长进行低精度采样，每一维分成10等分，需要的数据集规模也达到了1014。研究人员使用基于主动学习的采样技术生成双臂碰撞数据集，200万数据规模的前提下即可实现95%以上的高预测精度，相较于目前在非平衡数据集学习中广泛使用的b-SMOTE等技术而言具有更高的数据效率和预测精度。

图10. 平均预测误差与预测准确性分析

此外，基于学习训练生成的双臂最小距离代理函数计算一次双臂最小距离的时间约为0.072ms,显著低于被广泛使用的FCL算法库所需的5.36ms，且方差更小，这极大地提升了该方法在实际部署时的实时性并保证了整个双臂协同运动规划的稳定可预测，此外，代理函数展现了优异的连续性和可微性，这对于将避自碰以不等式约束的形式嵌入到平滑多目标优化框架中非常重要。

表2. 计算时间对比分析

图11. 平滑性对比分析

双臂协同操作度椭球跟踪方面，通过消融实验验证了所设计并嵌入到多目标优化框架中的操作都椭球跟踪约束有效地降低了双臂实际构型与期望构型之间的差异，验证了SPD流形跟踪接口的有效性。

图12. 双臂协同操作度椭球跟踪

双臂协同翻转实验：

为验证自主避自碰能力，研究人员设计了需要极限扭转的协同翻转实验中，在该实验中，双臂系统自主完成了互缠绕无碰轨迹运动规划，在不改变抓握构型的前提下实现了对椅子360°翻转操作，物体的绝对运动在回转方向上始终保持高精度跟踪，在其他自由度上则动态地自主松弛，双臂相对运动误差低于0.003 （m 或rad），避碰安全距离被高效压缩到了2.5 cm，同时整个多功能协同操作控制子架构在采用机械臂高精度网格模型下的典型计算时间为控制在8.318 ms，解决了高精度和高实时性不可同时实现的困境；以上结果也表明各级任务严格按照所给定的优先级执行。

图13. 双臂协同运动跟踪结果

Long-Horizon重排实验：

在long-horizon重排实验中，双臂机器人系统连续抓取和操作人居环境中常见的桌面书架，储物篮和显示器支架这3个未建模物体，实验结果表明双臂机器人在所设计的通用架构下能协同抓取大尺寸物体并能在执行复杂协同操作任务过程中全自主高精度避自碰。

图14. 移动双臂机器人执行long-horizon重排任务

▍结论与展望

综上所述，该研究中首次系统性解决了基于视觉感知的未知物体双臂协同最优抓取，实现了工作空间高度重叠的双臂机器人本质安全并开放了可用于人机技能迁移学习的双臂协同操作度椭球跟踪接口。近期引发业界热议的Tesla Optimus机器人以及Mobile ALOHA在双臂灵巧操作方面的最新成果均采用基于模仿学习的人-机技能迁移路线，以期望达成双臂灵巧操作技能的泛化。自上而下研究具身智能并至下而上研究机器人操作规划与控制，有助于弥合AI与Robotics之间的技术鸿沟，提升基于AI生成的操作策略在物理世界中执行的稳定性和可靠性，加速双臂系统全自主通用化的到来。