笔者是清华在读研究生，主要关注人形机器人、具身智能。将持续分享行业前沿动态、学者观点整理、论文阅读笔记、知识学习路线等。欢迎交流

最近听了宋老师的演讲，以下是学习整理。部分图截自直播，若模糊望见谅

---

演讲信息：

【会议】2024亚太人工智能与机器人产业峰会-具身智能及机器人专题论坛

【时间】2024年7月13日

【演讲者】山东大学宋锐教授（长江学者）

【演讲主题】面向柔性物体操作的机器人具身技能学习

---

演讲纪要：

• 柔性织物国外研究做得更多。这不是个新课题，2010年曾经热过一段，2018-2019年热过一段

• 宋教授团队有用模仿学习，做织物抖动与放置、不同包裹状态下织物展平、引入LLM进行高度褶皱织物的展平、衣物悬挂、曲边缝制等的工作

• 柔性织物待探索点：

• 更好的硬件平台。ALOHA臂末端抖动严重、无法保障精度，需要采集更多数据弥补

• 更好的末端夹具

• 更适用柔性织物的仿真平台。isaacsim也可以用，但力学过程没那么完备

• 学习范式。直接端到端的学习，和任务分解学习，哪个更高效？

---

背景

目前机器人领域高精度、高速度追求已经达到了阶段性指标，现在比较难的是柔性物体。柔性物体包括织物、弹性橡胶类、塑性材料等。该演讲主要关于柔性织物：

提升机器人操作可形变物体的能力，有助于推动非结构化环境中自主操作机器人的发展

很难用严谨的物理模型来表达它，往往用数字化方法来逼近：

相关研究

建模

一维的理线；二维铺平/裁切；三维挂/折叠/补口袋

80、90年代就有人开始建模

• MSS建模简单问题，对大的形变，其物理逼近能力较差

• PBD快速建模，优势在于三维空间视觉层面的逼真，是运动学方面的建模优势，也有一定的力学，但并不用擅长

• FEM既可以建运动学方面，又可以建力学方面，但现在很多机器人模拟器兼容性较差，但主要问题还是计算时间较长

目前针对柔性织物的仿真器力学过程没有那么完备

感知

一般刚体操作都是计算动力学，而织物这块只能估计动力学，比较有难度

目前并没有发现真正通用的软物料解决方案。一般大部分基于视觉检测、数据分析。而少部分不好拟合的，用数据驱动的方法进行集成，做一些迁移学习的内容

希腊帕特雷大学。用传统方法进行数据解析。简单的相对规则的目标检测。比较早：

CMU在2020。角点、边缘，抓取位置的位姿估计：

三维空间，用MAYA系统，用网格方法进行建模：

操作

操作部分是最难的 基于物理规划或基于传感器的：

基于学习的：

团队工作

模仿学习。人先示教，单手操作会先抖一下，将抖开，让机器人学习抖动的动作

将大模型引入，进行研判：

挂衣服、叠衣服：

完成直线缝制任务：选用稍微有点刚度的物料

待探索点

1. 更好的硬件平台

在采集数据时，发现ALOHA舵机系统末端抖动很严重、精度无法保障，从而需要更大量的数据去弥补。一个更好的平台可能更便于研究

2. 更好的夹具

3. 更好的仿真效果

4. 多传感器融合

肯定要融合数据。但融合哪些、怎么融合，还是一个很值得研究的问题。可能在力学、滑动学方面，需要去设计一些传感器

5. 学习范式

端到端的学习，和任务分解学习，哪种方式更高效？