引用本文

郭策, 郭子睿, 陈斯灏, 李依鸿, 肖浩然, 李金哲, 陈谢沅澧, 曾志文, 卢惠民. 以数据手套为媒介的人手−机械手抓握技能传递. 自动化学报, 2026, 52(5): 992−1007 doi: 10.16383/j.aas.c250512

Guo Ce, Guo Zi-Rui, Chen Si-Hao, Li Yi-Hong, Xiao Hao-Ran, Li Jin-Zhe, Chen Xie-Yuan-Li, Zeng Zhi-Wen, Lu Hui-Min. Data glove-mediated grasping skill transfer from human hands to robotic hands. Acta Automatica Sinica, 2026, 52(5): 992−1007 doi: 10.16383/j.aas.c250512

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c250512

关键词

数据手套，模仿学习，触觉感知，机械手，抓握

摘要

模仿学习是实现从人手到机械手技能传递的有效方式. 传统示教方法面临示教方式不够直观、示教数据难以复用、触觉和动觉感知特征难以有效传递等问题. 为解决上述问题, 设计一款能够同时采集触觉和动觉特征的数据手套, 并提出以该手套为媒介的抓握技能传递方案, 包括基于图结构和极坐标的多模态特征表示、静力平衡假设下未知接触力估计、基于期望关节角度和接触力分布的动态重映射方法等. 实验证明, 对于可变形、不规则等多种属性的物体, 该方案能够在实现较高抓握成功率的同时保持合理的接触力控制, 相比于其他基准方案, 实现了相对更接近人手直接抓握的效果.

文章导读

近年来, 仿生机械手受到越来越多的关注, 更加仿生的设计、更多的驱动自由度和先进传感器的集成使其具备复刻人手灵巧性的潜能[1−4]. 然而, 随着机械手自身本体感知能力和运动性能的提升, 实现其高维度感知到运动特征的合理映射也变得更加复杂, 特别是针对同时需要手指协调和接触力控制的多接触操作任务而言.

相比于仿生机械手, 人手能够正确且合理地利用本体感知的特征完成各种灵巧操作任务. 基于视觉输入和对被操作对象物理特性的先验认知, 人手可以预先规划并完成操作动作; 即使在缺失视觉输入和先验认知的盲环境中, 人手依然可以仅依靠本体感知完成对物体关键特性的识别, 进而实时调整手势、接触点以及接触力等实现灵巧操作. 这种技能不仅依赖于人手的灵巧性, 还依赖于分布在人手皮肤的高密度触觉感受器[5]以及人类感觉统合的能力[6−7]. 感觉统合指机体在环境内有效利用自己的感官, 通过不同的感觉通路从环境中获得信息输入大脑, 大脑再对其信息进行加工处理, 并作出适应性反应的能力[7].

受启发于人类本体感觉统合的能力, 即整合手部本体感知实现手部灵巧操作的先进生物机制, 本文构建一套以数据手套为媒介的人手−机械手技能传递方案, 并通过不同属性物体的可靠抓握任务进行验证. 在抓握过程中, 本文额外要求机械手对物体施加合理的接触力, 既不能使物体掉落又不能施加过度的接触力, 造成可变形物体的过度形变以及易碎物体的损坏等.

采用模仿学习方法是实现从人手到机械手技能传递的有效方式[8−10], 该类方法大致可分为动觉示教、遥操作、被动观察三类[11−13].

现有研究面临的主要问题集中在示教方式、数据利用与迁移能力三方面. 首先, 现有示教方法往往限制人手的直接操作与触觉反馈, 导致示教不够自然直观, 且采集的数据与特定机器人平台绑定, 难以复用和迁移; 其次, 现有方法对手部多模态感知信息的利用不足, 运动重映射多依赖形态匹配而忽视任务目标与接触力等关键特征, 尚未形成有效整合感知与运动的高维映射框架. 为完成从人手到机械手的高效技能传递, 需要更加自然高效的示教数据采集方式、更合理的多模态数据表征和数据可靠性增强方案、结合形态匹配和任务执行效果的高维空间运动重映射方法.

针对这些挑战, 本研究提出一种基于模仿学习的、以多模态数据采集手套为媒介的技能传递方案, 用于实现从人手到不同机械手的抓握技能迁移, 并在多种不同属性的物体上进行测试. 此方案采用人手与现实世界物体的交互数据作为模板, 目标为精确捕捉并复刻人手基于本体感知的运动控制能力, 具体贡献如下:

1)设计一款多模态数据采集手套, 该设备能够实时采集全手掌关节级的触觉和动觉特征, 支持不同人类操作员的人手自然示教; 穿戴到机械手上时, 数据手套能够获取与示教数据格式匹配的本体感知反馈, 这一特性便于数据手套适配不同的机械手, 减少学习策略所需的样本数量, 也有助于采用统一标准评估人手和不同机械手的抓握性能.

2)基于统一的图结构组织多模态特征, 提出静力平衡假设下的接触力估计方法, 补偿机械手抓握过程因实际接触点与采样点位置不匹配导致的数据缺失, 有效提升了抓握效果.

3)提出基于期望关节角度和接触力分布的动态重映射方法, 将任务空间扩展到手指的多个关节并设计动态权重, 将接触状态和接触力误差作为评估特定向量的匹配程度在成本函数中的权重的重要依据, 使得重映射方案能够根据抓握状态的变化实时调节.

本文内容安排如下: 第1节介绍适配人手与机械手的多模态数据手套集成, 构建具备本体动觉和触觉感知的仿生硬件基础; 第2节具体介绍以数据手套为媒介的技能传递方案, 实现多模态感知特征整合到动作反应的正确映射, 相当于实现人类大脑从特征聚合到动作指令发送的完整功能, 其中示教数据相当于人类世界中来自有经验者的动作指导模板, 基于图结构的特征预测网络对应人类大脑本身; 第3节结合对比和消融实验结果分析本研究提出方案的优势; 第4节对全文进行总结与展望.

图1  多模态数据采集手套

图2  触觉采样阵列的尺寸兼容性

图3  手部关节和触觉采样片分布

本文提出的基于模仿学习的以数据手套为媒介的抓握技能传递框架, 有效实现了从人类本体感知操控到机械手操控的技能迁移. 消融实验结果证明了多模态示教特征的组合使用、静力平衡假设下的接触力估计以及动态重映射方案对于抓握成功率和接触力控制效果的提升. 对比实验阐明了本文方法在抓握成功率、接触力控制以及抓握与计算效率方面的优势. 数据表明, 结合自然人手示教及以数据手套为媒介的技能传递方案, 能够有效且高效地实现可靠抓握.

本文提出的方法局限性在于数据手套集成传感器的感知性能相对不足, 例如触觉感知的分辨率不足、手指的外摆/内收运动被忽略等, 这进一步导致数据手套所能支持传递技能的复杂度较低. 另外, 静力平衡假设下的接触力估计目前只能支持侧抓场景, 在非侧抓场景即重力方向不完全垂直于运动截面时并不完全成立, 这在一定程度上限制了该方法的应用场景. 除此之外, 本文采用基于现实场景交互数据驱动的方式构建起抓握策略, 并通过实际抓握效果来衡量抓握策略的优劣、完成超参数调优等过程, 还需要进一步完善对样本复杂度评估及接触力估计误差界判定等理论分析工作.

未来工作将聚焦如何集成更先进的触觉/动觉传感器, 以支撑更复杂的操作技能传递, 如捏、拧等动作. 针对非侧抓场景接触力估计不成立的情况, 考虑设计独立的接触力分布预测网络或引入物体属性有关的先验知识, 实现基于不同抓握方式下针对不同物体的接触力分布估计. 另外, 未来将结合图卷积网络VC维(Vapnik-Chervonenkis dimension)分析等内容, 建立对所需样本复杂度、超参数合理取值范围、接触力估计误差界的严谨理论分析, 为更深入的研究提供理论支撑.

作者简介

郭策

国防科技大学智能科学学院博士研究生. 主要研究方向为模仿学习, 机器人操作. E-mail: guoce@nudt.edu.cn

郭子睿

国防科技大学智能科学学院博士研究生. 主要研究方向为机器人感知与操作. E-mail: guozirui@nudt.edu.cn

陈斯灏

2025年获得国防科技大学硕士学位. 主要研究方向为基于视觉的灵巧手抓握. E-mail: kinzkinz101@163.com

李依鸿

2025年获得国防科技大学硕士学位. 主要研究方向为仿人灵巧手的抓握控制算法. E-mail: liyihong202111@163.com

肖浩然

国防科技大学智能科学学院博士研究生. 主要研究方向为机器人操作, 机器人任务与运动规划. E-mail: xiaohaoran@nudt.edu.cn

李金哲

国防科技大学智能科学学院博士研究生. 主要研究方向为人机交互设备, 模仿学习. E-mail: ljz@nudt.edu.cn

陈谢沅澧

国防科技大学智能科学学院副教授. 2022年获得德国波恩大学博士学位. 主要研究方向为机器人技术, 机器人感知与导航. E-mail: xieyuanli.chen@nudt.edu.cn

曾志文

国防科技大学智能科学学院副教授. 2016年获得国防科技大学博士学位. 主要研究方向为路径规划, 人机交互, 多机器人分布式协同控制, 网络化系统估计和智能机器人应用. 本文通信作者. E-mail: zengzhiwen@nudt.edu.cn

卢惠民

国防科技大学智能科学学院教授. 2010年获得国防科技大学博士学位. 主要研究方向为人形机器人, 机器人灵巧操作和人机混合智能操控. E-mail: lhmnew@nudt.edu.cn

支持单位：