人体精细触觉和本体运动觉依赖于相同类型的感受器，这些感受器位于肌肉、肌腱、关节和皮肤中，负责感知轻触、挠痒、细微压力、形状变化、肌肉张力、肌腱拉伸和关节位置变化等信息。因此方斌教授团队着手于具有高精度、小尺寸、可定制等优势的磁触觉传感器，集成于所设计的柔性仿人手上，提出具有多模态感知功能的软磁皮肤，在期刊 IEEE Robotics and Automation Letters上发表＂Soft
Magnetic Skin With Motion and Contact Sensing for Anthropomorphic Robotic
Finger＂。本文为机械手实现与人手类似的全方位感知能力奠定了基础，为人机交互开辟了新的可能性。
- 结构设计利用一体化浇注技术制备手指，3Ｄ打印技术制备手掌，选用腱绳传动和电机驱动。整个灵巧手有5根手指，共7个自由度（拇指的弯曲和旋转自由度，中间三指的弯曲自由度，小指的弯曲和侧摆自由度）。整个灵巧手高度集成，整体尺寸约为 210 *
100 * 30 mm3，重量约为400g。其中，手指连接部位均采用Ｃ形关节结构，并用Ansys对其受力变形和应变情况进行仿真，结果证实该结构具有巨大优势－－在抓取物体时，手指易正向弯曲，同时提供足够的抗反向变形力；在撤销外力后，手指易恢复。
采用MLX90393型霍尔传感器，2*2阵列式分布，高效传输磁场数据。经一系列机械性能测试，选用Ecoflex 00-30与NdFeB按1：0.6混合制备软磁皮肤，并通过Comsol对皮肤进行充磁仿真，以确定传感器布置。最后将所有部件集成到灵巧手上，并对其进行性能分析。２. 接触觉感知研究者通过搭建三轴移动平台，来探究所设计的磁触觉传感器对于接触区域和精细接触位置的感知能力。① 按压食指，磁场信号波动情况如图所示。这里，由于磁场随空间距离呈三次方衰减，灵巧手在初始张开状态下，拇指和食指间距离较大，故拇指三个通道的数据变化较小。此外，还存在环境中的磁场干扰以及传感器固有噪声等影响因素。在单次按压按压开始和按压释放时，原始数据（蓝线）会发生突然变化，这是由于接触导致皮肤变形而造成的。在按压过程中，原始数据的一阶导数（红线）从正值变为负值。完整的按压过程包括三个阶段：正值变化、维持和负值恢复。这种信号变化为区分触点信息提供了一种清晰且计算效率高的方法；在连续按压过程中，原始数据的一阶导数（红线）从正值变为负值（完整的按压过程包括三个阶段：正值变化、维持和负值恢复）。这种信号变化为区分触点信息提供了一种清晰且计算效率高的方法。研究人员分析认为，信号的变化主要受两个主要因素的影响：1) 传感器本身的定位，以及 2) 施加的压力大小。在连续加压过程中，蓝线呈现正负波动，可有效区分正负接触信息。此外，只有当按压啮合传感器位置时（由于传感器位于手指背侧），数据振幅才会突然呈指数增长。
使用 Tkinter 创建图形用户界面，实时动态展示接触区域。由于磁膜在连续挤压过程中的变形恢复缓慢以及产生相对位置偏移，故使用传感器每次开启读取时的磁场值（初始无接触状态）作为初始值，获得 93.9%的准确率。② 对于机器人系统来说，精细触觉感知是环境感知、反馈驱动控制和有效人机交互的基本前提。研究人员以食指指尖为重点探究对象，在700 mm3区域内采集14484个样本数据，利用MLP算法计算传感器的空间分辨率。结果显示 x、y 和 z 轴方向的均方根误差（RMSE）分别为 0.61 mm、0.29 mm和 0.05 mm。分析认为Z 轴的定位精度最高是因为，与外部干扰相比，按压运动引起的磁场变化要大得多。而在 x 轴和 y 轴方向，横向运动时磁性薄膜的牵引变形会引起磁场信号不确定性改变，进而导致定位精度下降。３. 运动觉感知在弯曲、动态变化的表面上检测特定的运动姿势仍然是机器人感知领域的一项重大挑战，研究人员通过磁触觉传感器，实现在复杂的非平面基底上弯曲时感知手指关节角度，从而达到对灵巧手的空间位姿研究。利用Random Forest算法拟合磁场数据和关节角，对于新采集的一组数据，拟合得到的关节角和使用 Kinovea标记得到的关节角对比结果如图所示。
４. 双模态感知研究人员发现人类的细微触觉和本体感觉都依赖于同类型的传感器并通过相同的管道，因此希望在不增加额外传感器的情况下，仅通过磁场信号来准确识别接触和运动信息。这更接近于生物感知，大大简化了系统设计。通过收集不同接触区域和弯曲角度下的磁场数据（100 组纯关节运动样本和 32 组接触样本，共 13200 个样本数据），进行数据处理，利用机器学习模型进行接触区域分类和关节角拟合。结果表明，Random Forest算法对于角度回归的RMSE = 0.9 ± 0.25，对于接触区域的分类准确率高达99.4%。
进一步地，为了更直观的解释手指对接触和运动的感知，研究人员记录手指抓取三个不同物体时的原始磁场数据（蓝线）变化，并分析了它们的一阶导数（红线）。如图所示，不同物体接触时的响应存在显著差异。因此，灵巧手可以感知不同的接触物体、接触部位、关节角度等信息。
５. 抓取操作① 人类手指间的配合方式非常多样，可以根据具体需求和动作的复杂程度而变化，其灵活性和协调性使得我们能够完成各种精细和复杂的手部动作。研究人员对灵巧手进行勾取、捏取、包络、夹取操作测试，并分析造成失败的原因。
② 在相同的抓取情况下，相对于传统刚性机械手，文中所设计的仿人柔性五指灵巧手可以更安全地抓取脆弱物体。灵巧手表面的皮肤具有柔软、弹性和可变形的特性，能够更好地适应不同形状的物体表面。用相同的按压力接触物体时，软磁皮肤能减小损坏物体的风险，为灵巧手和物体提供一定的保护和缓冲效果。如图所示，研究人员展示柔性灵巧手对五种常见脆弱物体（泡沫、橡皮泥、打开的牙膏、薯片、毛绒球）的无损抓取。
③ 人手的多关节和肌肉组织等导致手指向内（向掌心）弯曲很容易，而很难向外（向手背）弯曲，这种结构和生理特性使得手指在日常活动中更适合屈曲和握持物体，同时提供了稳定性和控制性。而对于一般平面结构来说，正向和反向变形所需的力一致，无法提供足够的支撑，但文章研究的 C 形关节很好地解决了这个问题。在抓取过程中，正向弯曲所需的力较小，同时具有较大的反向刚度，可以抵御反向变形。解决了传统柔性机械手的一大难点问题。本文所提及的m-skin 提供操作所需的灵活性和可扩展性，实现与物体的无缝集成。手指结构灵活、敏捷，能够提供反向支撑力，同时还能巧妙地抓住易碎物体。通过分析手指接触或操作物体时的磁场信号变化，可以准确定位接触区域并识别手指的空间姿态。
本文为机器人多模态传感领域发展提供了新的设计思路，解决了传统机器人传感技术的局限性，即不同的传感能力需要配备不同类型传感器问题，为机器人实现类人感知奠定了基础。X. Ding et al., “Soft Magnetic Skin With Motion and Contact Sensing for Anthropomorphic Robotic Finger,” in IEEE Robotics and Automation Letters, doi: 10.1109/LRA.2024.3495590.
