引用本文

李自由, 王丰焱, 赵新刚, 丁其川, 张道辉, 韩建达. 基于Myo旋转偏移估计与自适应校正的手势识别方法. 自动化学报, 2020, 46(9): 1896−1907 doi: 10.16383/j.aas.c190028

Li Zi-You, Wang Feng-Yan, Zhao Xin-Gang, Ding Qi-Chuan, Zhang Dao-Hui, Han Jian-Da. The method for gestures recognition based on Myo rotation shifts estimation and adaptive correction. Acta Automatica Sinica, 2020, 46(9): 1896−1907 doi: 10.16383/j.aas.c190028

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190028

关键词

表面肌电信号，电极偏移，自适应校正，模式识别 

摘要

在基于表面肌电信号(Surface electromyography, sEMG)的手势识别系统中, 针对Myo环形电极多次实验间旋转位置不同导致的识别精度降低问题, 提出了一种基于极坐标系的电极位置偏移估计与自适应校正的识别方法. 该方法首先建立相对于环形肌电传感器的极坐标系, 提出了极坐标系下活跃极角(Activation polar angle, APA), 用于估计实验中传感器相对于初始位置的横向旋转偏移角度; 进而建立基于偏移角度的线性变换模型, 在肌电信号特征空间内, 对电极偏移位置下的样本进行自适应校正. 在8 种常用手势识别应用中, 设计了两种实验范式: 利用传感器各通道数据循环平移模拟电极横向旋转偏移实验和肌电传感器在小臂肌肉上的真实旋转偏移实验. 结果均表明所提出方法的识别精度远高于未进行校正的模型识别精度. 因此, 所提出的电极偏移估计与自适应校正识别方法, 不仅有效提高了表面肌电交互系统识别的鲁棒性, 也降低了使用者在多次使用时训练成本与学习负担.

文章导读

表面肌电信号(Surface electromyography, sEMG)是由肌肉的运动单元动作电位(Motor unit action potential, MUAP)沿着肌纤维方向传播, 在人体皮肤表面形成反映肌肉收缩状态的叠加电信号[1-2]. 该信号载有丰富的肢体行为运动信息, 通过一系列解码方法可获取肢体运动意图, 因此表面肌电信号广泛应用于机器人交互中[3-5], 尤其是助力机器人、康复机器人与假肢系统等. 与传统的程式控制机器人交互方式相比, 基于表面肌电信号的人机交互系统具有了主动感知人行为意图的能力, 有利于实现复杂环境下人机共融, 并完成复杂任务.

目前部分商业假肢, 如英国Touch Bionics的iLimb肌电假肢, 利用表面肌电信号活跃阈值作为动作识别的重要依据, 但该方法仅适用于少量动作识别场合, 并且不具有良好的模型泛化能力. 而该领域的研究人员更为关注基于模式识别方法的动作识别研究[6]. 作为典型的有监督模式识别问题, 基于表面肌电信号的人体意图感知与机器人交互一般包括两个主要过程: 1)利用训练样本训练动作识别模型, 2)利用已经训练的识别模型进行在线的人体运动意图识别, 并将识别结果作为机器人交互控制的期望输入[1]. 其中第一个过程, 模型训练包括数据预处理、特征提取、样本降维和分类模型训练等. 针对基于表面肌电的动作模式识别, 研究人员已经提出了多种先进的识别算法, 识别准确率也越来越高[7].

然而大部分的识别结果仅来自于实验室理想环境, 在实际的人机交互过程中易受诸多因素约束, 造成非理想的识别结果. 一系列非理想情况, 如信号的时变性和外部新动作干扰[8], 用户长时间佩戴引起的肌肉疲劳, 交互过程中的肢体姿态变化, 由电极多次粘贴时位置不同导致的模型通用性差, 以及个体性差异等, 严重限制了肌电信号在实际人机交互中的应用与推广.

Tkach等展示了常规时域特征都会随着电极位置发生变化, 并严重影响分类精度[9]; 针对电极偏移问题带来的影响, Scheme 等提出了一种基于所有电极位置下的肌电识别模型训练策略, 但是该方法在实际使用中工作量较大[10]; He等采用高密度表面肌电传感器(阵列式, 8行×24列=192通道), 将其环绕在小臂一周, 量化了电极密度与电极偏移对手势识别带来的影响, 实验表明: 垂直于肌纤维方向的位置偏移影响大于平行于肌纤维方向偏移[11]. 在实际基于表面肌电人机交互系统的推广使用中, 尤其是肌电假肢系统, 往往由于前后两次电极粘贴位置不同导致模型识别精度降低. 一方面, 很难要求用户每次都精准且一致地配置电极位置; 另一方面, 每次重新粘贴电极后, 如果忽略前后两次电极位置略有偏移的潜在关联关系, 要求用户重新开始完整训练一个识别模型, 会大大增加用户使用负担. 有调研表明, 较高的使用负担是造成用户弃用肌电假肢的关键原因之一[12-13].

不同粘贴过程引起的电极偏移问题, 其本质就是电极与肌肉对应关系的变化. 因此一个重要的研究思路, 即, 在提取表面肌电信号特征时, 要能够包含信号测量位置的空间信息或者提取与电极−肌肉对应关系无关的特征. 基于该思路, Stango等分析了表面肌电信号与电极数量、偏移量之间的空间相关性[14]. He等在评估了高密度电极偏移带来影响的基础上[11], 借鉴图像领域中的纹理特征[15], 提出了一种改进灰度共生矩阵纹理特征(Improved gray-level co-occurrence matrix, iGLCM)的高密度表面肌电特征, 其具有空间位置无关的特点; 对比多种常用时域、频域等特征, 该方法取得了较高的动作识别率[16-17]. 但该方法仅适用于高密度阵列式肌电信号传感器, 与常用稀疏表面电极传感器的兼容性需要进一步验证[18].

而另外一个重要的研究思路是利用电极偏移前后表面肌电信号在特征空间中的差异性, 估计电极偏移量(如偏移距离或偏移角度), 并进一步设计合理的自适应校正方法. 本文基于该思路, 利用常用的稀疏表面肌电传感器, 即Myo臂环[19]; 在肌电信号各通道时域特征构成的空间S内(理论上可采用任何常规、有效的特征提取方法), 针对电极偏移的本质问题, 提出了一种基于偏移角度估计与自适应校正的手势识别方法, 旨在提高肌电交互系统的鲁棒性与使用的便捷性.

结合小臂肌肉的分布特点, 本文利用这类环形表面肌电传感器, 首先建立相对于环形传感器静止的极坐标系, 提出了极坐标系下的活跃极角(Activation polar angle, APA); 通过少量旋转偏移后的肌电信号数据, 与初始或标准位置数据比较, 基于活跃极角可估计出环形传感器的横向旋转偏移角度. 进而, 提出一种基于偏移角度的自适应校正方法, 完成偏移后的样本空间到初始样本空间的映射. 因此无需重新训练模型, 仅利用初始的手势识别模型, 取得了较高的动作识别正确率.

图 1  根据官方指导说明, 将Myo臂环固定在小臂处; 初始位置: 带有Logo指示灯的通道与中指对齐

图 2  实验中8种常用手部动作: 休息、握拳、展掌、剪刀手、捏中指、捏食指、内翻、外翻

图 3  基于滑动窗的特征提取, 其中窗长为LW, 滑动为LI

本文针对多次佩戴Myo肌电臂环时, 由电极横向位置旋转偏移导致的识别精度降低问题, 提出了一种基于极坐标系的电极旋转偏移估计与自适应校正的手势识别方法. 利用环形传感器与小臂肌肉分布的特点, 本文首先提出一种基于极坐标系下的活跃极角(Activation polar angle, APA); 当电极相对于初始肌肉位置发生横向旋转偏移时, 利用不同位置下活跃极角间的偏角, 建立由偏移数据到初始数据空间的自适应校正模型. 为验证所提方法的有效性, 本文提出了两种实验范式: 基于通道循环平移模拟电极旋转偏移实验和基于通道旋转的真实电极偏移实验. 两种实验的手势识别结果均表明: 电极位置偏移导致肌电手势识别精度下降, 而本文所提方法能够极大地改善精度降低问题. 因此, 本文所提出方法不仅提高了系统的鲁棒性, 更有利于基于表面肌电信号的智能交互系统在实际应用中的推广. 基于本文所提方法在实际应用中, 意味着, 当使用者再次佩戴Myo臂环后, 无需与初始佩戴位置完全精确一致; 在任意佩戴后, 仅仅模拟原始多类别动作之一(如本文实验中的“捏食指”动作), 即能够重复利用初始手势识别模型, 大大地降低了使用者学习或再训练的负担与时间成本等. 这些优越的性能是传统肌电识别思路或方法所不完全具备的.

但本文所提方法仍然存在一些局限性. 如在获取动作执行期内的原始肌电信号时, “掐头去尾”各1 s 的操作明显是为了避免动作过渡状态的干扰, 而过渡状态与平稳动作状态下的肌电信号有较大差异, 其识别依然是限制肌电识别系统推广与应用的瓶颈之一. 文中一系列模拟与真实实验中, 尽管针对偏移干扰肌电信号提出了自适应校正方法, 仅利用少量样本数据极大地提高了识别精度, 从平均28.26%到78.37%, 但目前针对8种常用动作的分类问题上, 仅具有78.37% 的分类精度, 仍无法满足实际肌电假肢等系统的需求, 存在一定的应用差距. 目前, 针对常见十种以下手部动作识别精度, 其基准线一般在90%以上, 因此本文方法仍然具有较大的提升空间. 并且, 所设计实验是否仍受环形电极在小臂纵向方向的偏移干扰, 仍然需要进一步探讨.

同时, 所提方法中仅采用了时域特征平均绝对值(MAV), 在频域等更多特征方面的拓展, 以及小角度的偏移干扰问题仍是进一步深入研究的重点方向之一. 而且, 为克服环形电极横向旋转偏移带来的干扰问题, 本文方法主要分为两个步骤: 1)基于极坐标系的电极偏移角度估计; 2)基于线性映射的自适应校正方法. 从偏移角度到线性变换矩阵之间的假设或线性约束太强, 是否存在更优的或者一步到位(略去偏移角度估计环节)的线性或非线性映射关系, 仍有待进一步探索. 另外, 本文利用环形电极特点, 能否将本文方法推广到一般多个离散电极的应用上, 仍然需要进一步研究与探索.

作者简介

李自由

中国科学院沈阳自动化研究所博士研究生. 主要研究方向为生物电信号处理, 模式识别与机器学习. E-mail: liziyou@sia.cn

王丰焱

中国科学院沈阳自动化研究所硕士研究生. 主要研究方向为智能假肢, 机器学习. E-mail: wangfengyan@sia.cn

赵新刚

中国科学院沈阳自动化研究所研究员. 2008年获得中国科学院沈阳自动化研究所博士学位. 主要研究方向为机器人控制, 智能系统与康复机器人. 本文通信作者. E-mail: zhaoxingang@sia.cn

丁其川

东北大学机器人科学与工程学院副教授. 2014年获得中国科学院大学博士学位. 主要研究方向为生物电信号处理, 模式识别, 可穿戴机器人技术. E-mail: dingqichuan@mail.neu.edu.cn

张道辉

中国科学院沈阳自动化研究所副研究员. 2018年获得中国科学院大学博士学位. 主要研究方向为机器人控制技术. E-mail: peiying.chen@ia.ac.cn

韩建达

南开大学人工智能学院教授, 中国科学院沈阳自动化研究所研究员. 1998年获得哈尔滨工业大学博士学位. 主要研究方向为可穿戴机器人, 智能系统, 移动机器人自主控制. E-mail: hanjianda@nankai.edu.cn