引用本文

刘成菊, 林立民, 刘明, 陈启军. 一种基于DTW-GMM的机器人多机械臂多任务协同策略. 自动化学报, 2022, 48(9): 2187−2197 doi: 10.16383/j.aas.c190817

Liu Cheng-Ju, Lin Li-Min, Liu Ming, Chen Qi-Jun. A multi-task collaborative strategy for multi-arm robot based on DTW-GMM. Acta Automatica Sinica, 2022, 48(9): 2187−2197 doi: 10.16383/j.aas.c190817

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190817

关键词

机器人多臂协作，示教学习，动态时间规整，高斯混合模型，轨迹生成 

摘要

为了控制机器人完成复杂的多臂协作任务, 提出了一种基于动态时间规整−高斯混合模型(Dynamic time warping-Gaussian mixture model, DTW-GMM)的机器人多机械臂多任务协同策略. 首先, 针对机器人示教时轨迹时间长短往往存在较大差异的问题, 采用动态时间规整方法来统一时间的变化; 其次, 基于动态时间规整的多机械臂示教轨迹, 采用高斯混合模型对轨迹的特征进行提取, 并以某一机械臂的位置空间矢量作为查询向量, 基于高斯混合回归泛化输出其余机械臂的执行轨迹; 最后, 在Pepper仿人机器人平台上验证了所提出的多机械臂协同策略, 基于DTW-GMM算法控制机器人完成了双臂协作搬运任务和汉字轨迹的书写任务. 提出的基于DTW-GMM算法的多任务协同策略简单有效, 可以利用反馈信息实时协调各机械臂的任务, 在线生成平滑的协同轨迹, 控制机器人完成复杂的协作操作.

文章导读

相比单臂机器人, 多臂机器人可以通过协作完成一些更加复杂的动作, 实现各种灵巧操作任务, 如搬运、焊接和装配等. 多臂机器人各个机械臂的工作空间一般存在着相互重叠的区域, 即它们之间的协作工作区域, 在这个区域内各个机械臂可以完成协作任务[1-3]. 然而, 多臂机器人如何在这个工作区域协调好多个任务一直是研究热点和难点.

Lim等[4]研究了双臂机器人的抓取, 通过对双臂的轨迹进行提前规划, 并由微分变换算出手臂的移动增量, 成功实现了对水平放置的圆柱体的抓取和搬移; Ortenzi等[5]实现了保持末端相对位置不变的双机械臂轨迹规划策略, 先对主机械臂的轨迹进行规划, 然后通过建立的运动约束方程来生成从机械臂的轨迹; Ramirez-Alpizar等[6]利用Leap Motion运动捕捉器采集人类手臂执行零件装配任务时的运动, 然后提取装配任务时轨迹关键点的手指所处的位置和姿态, 用于控制Baxter机器人生成装配任务的轨迹; Tuan等[7]提出了一种基于姿态估计的滑模控制策略, 设计了一种具有鲁棒性的自适应控制器, 用于双臂机器人的3D协作运动, 但是该算法作者只将其运用到单臂自由度为2的双臂机器人上. 这些多臂协作控制策略提前规划机器人的执行轨迹, 实时性有待提高, 往往也需要建立复杂的机器人动力学模型. 近年来, 研究学者希望通过示教学习的策略, 让机器人学习人类如何执行灵巧操作的任务. 动态运动基元 (Dynamic movement primitive, DMP)模型[8-12]和高斯混合模型 (Gaussian mixture model, GMM)[13-19]是典型的示教学习算法.

DMP模型由动作变化系统和标准时间系统构成[8]. 该模型通过对机器人的示教轨迹进行拟合, 提取示教轨迹的形状特征, 并通过设定期望的轨迹终点和时长生成具有泛化性的机器人轨迹. DMP的优点在于可以控制生成轨迹的时长和幅度, 但是这种示教学习模型只能应用于轨迹终点速度为0的场景. Kober等[9]对原始DMP模型进行了改进, 将其应用于终点速度不为0的场景, 但是如果轨迹稍有差异, 都需要重新进行模型的设计, 即基于DMP的学习算法只能实现单条示教轨迹的学习. 如果示教轨迹存在噪声, 泛化得到的输出轨迹效果非常不理想. GMM示教学习模型利用高斯混和模型来对机器人轨迹进行建模, 用概率的方法来提取轨迹之间的相关关系, 从而对示教轨迹进行表征; 然后利用高斯混合回归可以实现轨迹的泛化输出. 基于GMM的轨迹学习模型能够很好地保持示教轨迹的空间形状特征, 但是一旦示教轨迹存在时长上的差异, GMM模型的轨迹学习效果不佳.

针对DMP和GMM轨迹学习算法各自存在的问题, 本文提出基于动态时间规整−高斯混合模型(Dynamic time warping-Gaussian mixture model, DTW-GMM)的多机械臂协同轨迹生成方法. 论文主要内容分为三部分: 1)针对机器人示教轨迹往往存在时间长短差异较大的问题, 采用DTW算法来规整机器人的示教轨迹. 文献[20]利用DTW方法来规整人类不同语速的发音, 消除语音的发音时间长短不一对语音识别的影响. 本文将DTW核心思想进行迁移, 用其来规整机器人的示教轨迹. 2)基于DTW所规整的示教轨迹, 利用GMM概率模型来学习示教轨迹的共同特征, 并设计多机械臂多任务协同的轨迹生成策略, 利用高斯混合回归(Gaussian mixture regression, GMR)泛化输出各机械臂的执行轨迹. 3)设计机器人的运动控制引擎并利用Pepper机器人平台, 完成手臂协作搬运和汉字轨迹书写实验, 验证本文提出的多机械臂协同控制策略的可行性和有效性.

图1 动态时间规整算法

图3 抗干扰性输出

图5 多机械臂协同轨迹生成器框图

本文提出了一种基于概率模型的多机械臂示教轨迹表征策略, 可以用于实现机器人的多臂协作. 利用DTW-GMM算法对原始示教轨迹进行时间规整并提取共同特征, 然后设计多机械臂协同控制策略, 最后基于GMR回归多机械臂的协同轨迹. Pepper机器人双臂协作完成搬运和汉字轨迹书写实验验证了本文所提出的基于DTW-GMM的多机械臂多任务协同策略的有效性. 下一步预期在轨迹生成时融入视觉信息反馈和基于强化学习的参数学习策略, 实现复杂环境下的多机械臂适应性协同轨迹的输出.

作者简介

刘成菊

同济大学电子与信息工程学院教授. 2011年获同济大学博士学位. 主要研究方向为智能控制, 机器人运动控制和进化计算E-mail: liuchengju@tongji.edu.cn

林立民

同济大学电子与信息工程学院硕士研究生. 主要研究方向为机器人运动控制.E-mail: linlimin0722@126.com

刘明

中国香港科技大学电子与计算机工程学系助理教授. 2013年获苏黎世联邦理工学院博士学位. 主要研究方向为机器人运动控制, 环境建模和感知. E-mail: eelium@ust.hk

陈启军

同济大学电子与信息工程学院教授. 1999年获同济大学博士学位. 主要研究方向为机器人与人工智能. 本文通信作者.E-mail: qjchen@tongji.edu.cn