中国是全球3C产品(电脑、通信和消费电子)的主要生产国,全球70%的3C产品产能集中在中国。3C智能制造装备的突破与产业化,对于提升我国制造产业的全球竞争力意义重大。
机器人在计算机、通信和消费电子 (3C) 装配中的应用有可能显著降低劳动力成本并提高装配效率。然而,3C组装中的许多典型场景,如柔性印刷电路(FPC)的组装,涉及复杂的操作,具有长跨度的步长和高精度要求,无法通过手动编程或传统的技能学习方法有效完成。
https://ieeexplore.ieee.org/document/10492985?source=authoralert
为了应对这一挑战,清华大学孙富春教授团队提出了一个基于学习的框架,用于在多模态数字孪生环境的辅助下获得复杂的 3C 装配技能。
首先,我们基于现实世界的对应物构建一个完全等效的数字孪生环境,配备视觉、触觉力和本体感觉信息,然后使用虚拟现实(VR)设备收集多模态演示数据。
接下来,我们通过对演示数据的多模态技能解析来构建技能知识库,从而生成实现3C装配任务的原始策略序列。
最后,我们通过课程学习、残差强化学习和领域随机化方法的组合来训练原始策略,并将所学技能从数字孪生环境转移到现实世界环境中。通过实验验证了所提方法的有效性。