引用本文

杨旭升, 王雪儿, 汪鹏君, 张文安. 基于渐进无迹卡尔曼滤波网络的人体肢体运动估计. 自动化学报, 2023, 49(8): 1723−1731 doi: 10.16383/j.aas.c220523

Yang Xu-Sheng, Wang Xue-Er, Wang Peng-Jun, Zhang Wen-An. Estimation of human limb motion based on progressive unscented Kalman filter network. Acta Automatica Sinica, 2023, 49(8): 1723−1731 doi: 10.16383/j.aas.c220523

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c220523

关键词

卡尔曼滤波网络，人体肢体运动估计，表面肌电信号，渐进无迹卡尔曼滤波 

摘要

针对基于表面肌电信号 (Surface electromyography, sEMG) 的人体肢体运动估计建模困难的问题, 提出一种渐进无迹卡尔曼滤波网络 (Progressive unscented Kalman filter network, PUKF-net), 来实现降低肢体运动与sEMG量测的建模难度以及提高肢体运动估计精度的目的. 首先, 设计深度神经网络从sEMG数据中学习肢体运动状态与sEMG量测之间的映射关系和噪声统计特性. 其次, 采用渐进量测更新方法对先验状态估计进行修正, 减小运动估计的线性化误差, 提高PUKF-net模型的稳定性. 通过结合深度神经网络和渐进卡尔曼滤波的优势, 使得PUKF-net具有良好的模型适应性和抗噪能力. 最后, 设计基于sEMG的人体肢体运动估计实验, 验证了PUKF-net模型的有效性. 相较于长短期记忆网络 (Long short-term memory, LSTM) 和其他卡尔曼滤波网络, PUKF-net在肢体运动估计中的均方根误差 (Root mean square error, RMSE) 下降了14.9%, 相关系数R2提高了5.1%.

文章导读

表面肌电信号 (Surface electromyography, sEMG) 是动作电位沿着肌纤维方向传播引起的生物电信号, 可用于反映人体肌肉收缩、关节力矩等运动信息[1]. 由于非侵入、测量技术相对成熟等特点, sEMG被广泛用于估计人体的运动状态和运动意图[2], 在人机协作、智能假肢、康复医疗和运动评估等领域有重要的应用价值[3-5].

基于sEMG的人体运动估计中的重要问题之一, 即如何建立sEMG与人体运动之间的映射模型. 其中, 生理学建模是一种常用的方法, 该方法从运动生理学和生物力学出发, 将sEMG转换为动力, 并依据关节动力学得出人体运动信息[6]. 生理学模型符合运动生理规律且具有较好的可解释性, 但计算复杂且涉及大量不易测量的生理参数, 限制了该类模型的应用[7]. 近年来, 随着深度学习技术的迅速发展, 深度神经网络逐渐成为人体运动估计领域中应用最为广泛的方法[8-14]. 在基于sEMG的人体运动估计中, 深度学习模型设计的核心在于如何利用深度神经网络从sEMG数据中学习出sEMG与人体运动之间的映射关系. Lu等[15]提出了一种堆叠卷积长短期记忆网络(Stacked convolutional and long-short term memory networks, Conv-LSTM)用于人体下肢关节角度估计. Chai等[16]结合长短期记忆网络 (Long short-term memory, LSTM) 和离散时间归零神经算法的闭环控制模型来实现人体上肢运动意图的准确估计. 尽管这类方法取得了较好的准确性, 但深度神经网络作为一种 “黑箱” 模型含有大量不可见状态且可解释性欠缺, 限制了其估计性能的进一步提升[17].

基于卡尔曼滤波的状态估计方法通过显式描述表示系统状态的转换关系, 具有良好的噪声处理能力. 为处理深度神经网络含有噪声的估计输出[18-21], Zhang等[18]设计LSTM-UKF算法, 利用LSTM网络提供量测预测值, 解决量测缺失引起的误差增大问题. Jondhale等[19]利用无迹卡尔曼滤波 (Unscented Kalman filter, UKF) 进一步提高广义回归神经网络的估计精度. Lim等[20]提出利用TCN (Temporal convolutional network) 将各类信号合成后辅助UKF进行状态估计的方法. 然而, 卡尔曼滤波方法的应用需要大量先验知识来设计人体运动模型和调整参数, 尤其是肌肉运动引起的sEMG与人体运动状态之间物理关系涉及大量复杂转换以及大量难以测量的生理学参数. 同时, sEMG噪声的复杂性和人体运动的随机性又增加了人体运动估计的建模难度. 为了克服这些限制, 已有学者尝试将卡尔曼滤波与神经网络相结合, 从测量数据中使用神经网络来学习卡尔曼滤波参数[17, 22-25]. Coskun等[22]提出了LSTM-KF (LSTM-based Kalman filter process), 用于处理任意黑盒估计器输出的含有噪声的人体姿态估计, 通过三个LSTM模块分别学习卡尔曼滤波的状态模型、观测模型以及噪声模型. Bao等[23]提出了深度卡尔曼滤波网络(Deep Kalman filter network, DKFN), 利用卷积神经网络 (Convolutional neural network, CNN) 提取sEMG高维特征后输入LSTM-KF, DKFN在LSTM-KF的基础上, 增加了一个LSTM模块用于学习卡尔曼增益. Zhao等[24]提出学习卡尔曼网络 (Learning Kalman network, LKN), 由全连接层学习其状态模型和量测模型参数, 由LSTM模块学习得到卡尔曼增益. 这种结合深度神经网络的卡尔曼滤波方法称作卡尔曼滤波网络 (Kalman filter network, KFN). 通过结合深度学习与卡尔曼滤波的优势, KFN具有较好的模型适应性和抗噪能力. 然而, 非线性的深度神经网络使得滤波过程中引入较大的线性化误差, 影响了KFN的估计精度和系统的稳定性[26-27], 因此目前与卡尔曼滤波结合的神经网络结构较简单. 由于结构限制, KFN的估计能力有限, 通常在其他估计模型之后用于进一步处理含有噪声的状态估计或高阶特征[22-24].

针对以上问题, 本文提出了一种渐进无迹卡尔曼滤波网络 (Progressive unscented Kalman filter network, PUKF-net) 端到端地实现基于sEMG的人体运动状态估计, 其结构如图1所示. 首先, 根据人体运动过程建立非线性状态转移模型和量测模型, 设计了三个LSTM模块直接从sEMG数据中学习人体运动状态与sEMG量测的映射关系, 以及模型的噪声统计特性; 其次, 利用UT (Unscented transformation)变换和渐进量测更新方法减小线性化误差, 提高PUKF-net模型的稳定性; 最后, 通过实验采集肢体运动过程关节角度变化和相关肢体sEMG, 验证了PUKF-net模型的有效性和优越性.

图 1  PUKF-net结构

图 4  实验设计 ((a) 传感器布局; (b) 关节角度坐标; (c) 轨迹规划; (d) Optitrack采集到手腕关节点轨迹)

图 6  关节角度估计曲线

通过结合LSTM与UKF的优势, 本文设计了PUKF-net模型实现了基于sEMG的上肢运动估计. PUKF-net利用数据驱动的思想解决肢体运动估计中的建模难问题. 同时, 采用渐进量测更新方法来解决运动状态估计过程中线性化误差引起的不稳定问题. 实验表明, 所提出的PUKF-net模型在基于sEMG的上肢关节角度估计中的效果优于LSTM和LSTM-KF模型. 在未来的工作中, 将使用所提出的PUKF-net实现基于多源异构传感器融合的运动估计. 通过整合多源传感器的物理信息和生理信息, 提高机器人柔性感知能力和估计精度.

作者简介

杨旭升

浙江工业大学信息工程学院副研究员. 主要研究方向为信息融合估计, 人体运动估计和目标定位. E-mail: xsyang@zjut.edu.cn

王雪儿

浙江工业大学信息工程学院硕士研究生. 主要研究方向为人体运动估计, 信息融合估计. E-mail: wangxueer@zjut.edu.cn

汪鹏君

温州大学电气与电子工程学院教授. 主要研究方向为人工智能, 信息安全. E-mail: wangpengjun@wzu.edu.cn

张文安

浙江工业大学信息工程学院教授. 主要研究方向为多源信息融合估计及应用. 本文通信作者. E-mail: wazhang@zjut.edu.cn