引用本文

禹鑫燚, 王正安, 吴加鑫, 欧林林. 满足不同交互任务的人机共融系统设计. 自动化学报, 2022, 48(9): 2265−2276 doi: 10.16383/j.aas.c190753

Yu Xin-Yi, Wang Zheng-An, Wu Jia-Xin, Ou Lin-Lin. System design for human-robot coexisting environment satisfying multiple interaction tasks. Acta Automatica Sinica, 2022, 48(9): 2265−2276 doi: 10.16383/j.aas.c190753

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190753

关键词

人机交互，人体姿态估计，多传感器融合，优化，机器人控制 

摘要

人与机器人共同协作的灵活生产模式已经成为工业成产的迫切需求, 因此, 近年来人机共融系统方面的研究受到了越来越多关注. 设计并实现了一种满足不同交互任务的人机共融系统, 人体动作的估计和机器人的交互控制是其中的关键技术. 首先, 提出了一种基于多相机和惯性测量单元信息融合的人体姿态解算方法, 通过构造优化问题, 融合多相机下的2D关节检测信息和所佩戴的惯性测量单元测量信息, 对人体运动学姿态进行优化估计, 改善了单一传感器下, 姿态信息不全面以及对噪声敏感的问题, 提升了姿态估计的准确度. 其次, 结合机器人的运动学特性和人机交互的特点, 设计了基于目标点跟踪和模型预测控制的机器人控制策略, 使得机器人能够通过调整控制参数, 适应动态的环境和不同的交互需求, 同时保证机器人和操作人员的安全. 最后, 进行了动作跟随、物品传递、主动避障等人机交互实验, 实验结果表明了所设计的机器人交互系统在人机共融环境下的有效性和可靠性.

文章导读

随着自动化与机器人技术的发展, 机器人在制造、运输、仓储等许多领域中都得到了广泛应用, 然而大部分的机器人仍处在与人完全隔离的环境下进行工作, 一方面是为了避免安全上的隐患, 另一方面是为了降低系统部署的难度. 虽然人机隔离的工作方式能够发挥机器人在运动精度和速度上的优势, 适用于一些简单重复性的工作, 但对于一些需要复杂判断能力和灵活机动性的工作, 目前大部分的机器人很难单独胜任, 而且大部分机器人都缺乏在人机共融环境下工作的能力, 导致这些工作只能由人来完成[1]. 为了改变人机分离工作的现状, 希望机器人以协助的方式参与到人的生产工作中, 负责搬运、夹持、预处理等任务, 减少人的负担, 提升整体的工作效率.

为了让机器人融入有人参与的工作环境, 首先需要解决的是人机之间的安全问题. 国际标准化组织提出了4种实现安全人机协作的方式: 1)安全级监控停止: 当检测到人和机器人同时处于协作区内时, 机器人保持停止; 2)手动引导: 通过手动引导的装置或设备在协作区内对操作机器人的末端工具使其达到期望的位置和姿态; 3)速度与距离监控: 机器人与操作人员时刻保持在一定距离以上, 当机器人本身的运行速度越大, 需要与人保持的距离也越大; 4)功率及力限制: 通过限制机器人本身的力/力矩输出来防止对人的伤害[2-3]. 针对不同情况的人机交互, Bdiwi等[4]对国际标准化组织提出的安全模式进行了扩展, 根据视觉信息, 如触碰、分离、遮挡等定义机器人当前需要符合的行为; Bdiwi[5]对人机协作的交互等级做了更细致的划分, 规定了不同交互等级下机器人需要符合的行为和场景内需要被监控的信息. 可以看出, 实时信息监控对于任何形式的人机协作都是非常重要的.

信息监控包括对机器人运动的监控、受力输出力矩的监控以及人体动作的监控等. 要实现机器人的运动监控, 需要解决机器人在周边环境中的定位问题. 对于固定安装的机器人, 可以采用相机手眼标定的方式对机器人在相机坐标系下的位姿进行确定[6]; 而对于包含移动平台的机器人, 根据使用场景的不同, 可以采用即时定位与地图构建或定位标记的方式确定机器人的位姿. 对于人体姿态的实时估计, 目前的方法主要有3种: 1)基于光学标记的人体姿态捕捉; 2)基于惯性传感的姿态捕捉; 3)基于图像和卷积神经网络的姿态估计. Vicon和Optitrack等公司为基于光学标记的人体姿态捕捉提供了商业化的解决方案: 姿态捕捉的对象需要穿戴特殊服装并粘贴相应的光学标记, 通过空间中的多台红外摄像机组对人体动作进行采集. 该方法具有较高的精度和响应速度, 但由于穿戴方式过于复杂和成本较高等原因不适合工业环境的使用[7]. 基于惯性传感的方式需要在身上佩戴惯性测量单元(Inertial measurement unit, IMU), Von Marcard等[8]研究中使用稀疏传感器配置来估计人体姿态, 但需要利用一个时间片段内所有的加速度和旋转信息进行优化计算来保证估计的准确率, 实时性较差. 此外, 基于惯性传感器的方法主要的问题在于无法对捕捉人员在空间中的绝对位置进行有效的估计[9]. 基于图像的姿态估计方法近年发展迅速, 其主要原理是利用卷积神经网络对人体肢体、关节进行识别, 不需要佩戴任何设备, 降低了使用的门槛. Cao等[10]提出了一种利用单张图像估计多人2D姿态的方法, 在硬件加速的情况下能够达到准实时的效果. 结合人体运动学拟合方法. Mehta等[11]利用卷积神经网络给出了基于单目相机的3D人体姿态计算方法. 基于图像的姿态估计方法很难对误差进行控制, 对于遮挡、画面背景、图像输入分辨率等因素较为敏感, 而且仅依靠视觉信息很难对肢体的旋转信息做出有效的检测. 除以上利用彩色图像进行人体姿态估计的方法, 也有利用深度相机的深度图像进行人体姿态识别的研究. Shotton等[12]提出了基于单张深度图像的3D人体姿态快速计算方法, 但其检测效果也同样容易受到遮挡, 光照等因素的影响.

除了人机信息的采集, 机器人的灵活控制在人机交互系统中也起到非常重要的作用. 灵活的控制策略能够保证机器人对不同交互情况具有良好的适应性[13]. Flacco等[14]提出一种深度图下快速估计多个动态质点之间的距离的方法, 并利用距离向量所生成的斥力场实现了机器人的动态避障. Tsai等[15]研究了7轴机器人的轨迹规划方法来执行人机共融环境下的工作任务, 并通过仿真验证了其轨迹规划方法的可行性. Mohammed等[16]提出了一种视觉驱动的机器人动态避障方法, 并在VR虚拟空间中进行了实验验证了算法的有效性. 目前普遍的机器人控制研究没有对人机交互中任务目标的随机性和工作场景频繁的变化进行充足的考虑, 很难保证机器人在动态环境下的控制可靠性.

为了实现安全高效的人机交互, 本文对人机共融环境下人与机器人的运动状态估计方法, 以及交互系统中机器人的控制方法进行了研究. 为了在人机共存的环境下实时获取稳定的人体姿态, 采用了多相机和IMU信息融合优化的方式对人体姿态进行估计, 提升了人体姿态估计效果的鲁棒性, 避免了单相机视角下对遮挡因素敏感的问题, 并通过融合IMU信息实现了对肢体旋转旋转信息的检测, 提供了有效的交互信息. 此外, 结合机器人本身的运动学特性, 设计了机器人的交互控制策略. 所设计的控制策略能够提升机器人在复杂环境中工作的安全性, 且对不同的任务目标能够灵活的切换, 提高了机器人在不同场景下的适应性.

本文的内容组织结构如下: 第1节提出了人机共融系统的系统设计, 第2节研究了机器人和操作人员的姿态解算方法, 第3节设计了机器人控制策略, 第4节通过若干实验说明了算法和控制方法的有效性和实用性.

图1 人机交互方式

图2 人机共融系统示意图

图3 机器人动作解算结果

本文通过对人机姿态解算和机器人控制策略的研究, 设计并实现了满足不同交互需求的人机共融系统. 为了获取交互系统中的人体姿态信息, 建立了人体上肢运动学模型, 并基于传感器特性构造了相应的能量函数用于多相机和IMU信息的融合优化, 给出了高稳定性的人体姿态估计方法. 针对动作跟随、目标指定、动态避障等人机交互模式, 设计了相应的目标点生成方法和目标点修正方法, 并采用模型预测控制使得机器人能够通过调整控制参数适应不同的交互需求. 结合人机姿态的解算方法和机器人控制策略, 对所设计的人机交互系统的性能进行了实验验证. 实验结果分别验证了: 本文人体姿态解算方法在局部遮挡条件下的稳定性; 机器人控制方法进行动态目标跟踪的平滑性; 机器人交互系统在不同交互模式下的有效性. 所设计的人机共融能够保证交互时的人机安全以及对不同交互模式的适应性. 在今后的研究中, 将进一步给出多人情况下的人机交互方法.

作者简介

禹鑫燚

浙江工业大学信息工程学院副教授. 主要研究方向为运动控制和智能机器人. E-mail: yuxy@zjut.edu.cn

王正安

浙江工业大学信息工程学院硕士研究生. 主要研究方向为人体姿态识别和人机协作. E-mail: zhenan_wang@163.com

吴加鑫

浙江工业大学信息工程学院硕士研究生. 主要研究方向为机器人动力学与机器人控制. E-mail: m17306424998@gmail.com

欧林林

浙江工业大学信息工程学院教授. 主要研究方向为智能学习, 机器人系统和多智能体系统协同控制. 本文通信作者.E-mail: linlinou@zjut.edu.cn