引用本文

张鋆豪, 何百岳, 杨旭升, 张文安. 基于可穿戴式惯性传感器的人体运动跟踪方法综述. 自动化学报, 2019, 45(8): 1439-1454. doi: 10.16383/j.aas.c180367

ZHANGJun-Hao, HE Bai-Yue, YANG Xu-Sheng, ZHANG Wen-An. A Review on Wearable Inertial Sensor Based Human Motion Tracking. ACTA AUTOMATICA SINICA, 2019, 45(8): 1439-1454. doi: 10.16383/j.aas.c180367

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180367

关键词

人体运动跟踪，可穿戴式惯性传感器，运动学，数据融合 

摘要

基于可穿戴式惯性传感器（Inertial sensor unit，IMU）的人体运动跟踪技术具有佩戴方便、运动空间不受限和成本低等优点，已广泛应用于医疗康复、体育竞技、人机交互和虚拟现实等领域.本文对惯性式人体运动跟踪技术的发展历史、研究现状以及典型方法进行了较为全面的梳理和总结，主要包括人体运动学模型和生物学约束，传感器初始对准方法，传感器种类，传感器误差处理以及数据融合方法，并概述相关方法应用于实际的现状.最后，总结了该领域待解决的难点问题，并对未来的发展趋势进行了展望.

文章导读

人体运动跟踪是一种利用传感器来测量人体在三维空间运动时运动参数的技术, 早在第二次世界大战之后, 斯坦福大学就提出了人体运动捕捉这一概念, 当时主要用在医疗康复领域, 用于对伤残、截肢病人的运动分析和治疗.近年来, 人体运动跟踪技术的发展促使该技术广泛应用于医疗、体育、人机交互、虚拟现实和影视制作等领域.

常见的人体运动跟踪系统主要有机械式的、光学式的、声学式的和电磁式的, 这些人体运动跟踪技术已渐渐不能满足目前人体运动跟踪系统的要求, 其中机械式的人体运动跟踪系统容易使人体运动受限, 基于光学的人体运动跟踪系统较为昂贵、对光照环境要求高、易受遮挡, 基于声学的人体运动跟踪系统实时性比较差、易受干扰, 基于电磁的人体运动跟踪系统易受磁场干扰, 场地周围的金属物品会造成磁场畸变, 严重影响精度.人体运动跟踪技术中最大的挑战是使用非介入式的传感器和在不受限的环境中准确估计人体的运动姿态.随着微机电系统(Micro-electro-mechanical system, MEMS)技术的发展, 基于可穿戴式惯性传感器的人体运动跟踪技术逐渐受到人们的关注, 惯性式人体运动跟踪系统具有佩戴方便、运动空间不受限和成本低等优点.

上世纪90年代末, 国外的Luinge等[1]、Bachmann等[2-3]和Yun等[4]已开展了对基于可穿戴式惯性传感器的人体运动跟踪技术的研究, EI-Gohary等[5]首次将上肢五自由度运动学模型引入到上肢关节角度估计中.在商业领域, 目前主要有美国的Innalabs、荷兰的Xsens等几家公司在出售基于惯性传感器的人体运动捕捉系统.国内的相关研究起步较晚, 目前主要有中国科学院自动化研究所吴健康等[6-10]、浙江大学金李启雷等[11-13]、哈尔滨工程大学王科俊等[14-16]和大连理工大学王哲龙等[17-19].吴健康等[6-10]研制的MMocap动作捕捉系统, 由16个惯性传感器(包括加速度计、陀螺仪、磁力计)节点和一个主控原件组成, 数据通过蓝牙装置传到计算机中, 是国内第一个实现商业化的惯性运动捕捉系统.目前国内开发惯性动捕系统比较成功的是北京诺亦腾科技有限公司, 戴若犁带领的团队成功研发了以Noitom为品牌的全身动作捕捉系统.

随着对基于可穿戴式惯性传感器的人体运动跟踪研究的深入, 大量的成果不断涌现, 众多学者逐渐展开了对惯性式人体运动跟踪的综述工作, 对该领域进行归纳与总结.在已有的综述文献中, 部分只是面向具体应用进行展开, 例如文献[20]介绍了穿戴式惯性传感器在步态分析、跌倒检测和睡眠质量监测方面的应用, 文献[21-22]介绍了人的室内惯性定位系统, 文献[23]对基于惯性传感器的行人步行速度估计展开了综述, 文献[24]综述了穿戴式惯性传感器在体育训练领域的一些应用.当然, 也有一些学者对惯性式人体运动跟踪技术进行了较为全面的阐述、分析与整理.文献[25]着眼于基于惯性传感器的上肢运动跟踪, 从方法和应用两个方面进行了详细的综述, 文献[26]从穿戴式体感网技术和数据融合方法两个角度出发讨论了如何提高基于惯性传感器的人体位姿估计精度, 文献[27]对惯性式人体运动跟踪技术进行了综述.调研发现, 现有的综述文章对文献的阐述还不够全面, 对传感器初始对准、模型不确定性、传感器误差等关键问题也缺乏完整的梳理, 且目前国内未见有文献评述这方面的研究进展,

基于惯性传感器的人体运动跟踪系统如图 1所示, 为了较为全面地阐述和整理相关文献, 本文重点从以下几点展开综述: 1)归纳当前人体运动学模型和生物学约束; 2)强调传感器初始对准的重要性, 并对传感器初始对准方法进行总结; 3)对传感器误差处理和数据融合方法进行详细整理; 4)概述相关方法应用于实际的现状.最后, 总结当前研究及应用中存在的亟待突破的关键问题, 为后续研究提供借鉴.

图 1  基于惯性传感器的人体运动跟踪系统示意图

图 2  运动链模型和自由部位模型示意图

图 3  人体树状结构图

基于可穿戴式惯性传感器的人体运动跟踪技术, 借助佩戴在身体各部位的微惯性传感器和磁力计, 通过姿态解算方法和数据融合方法可实时跟踪人体的运动姿态.由于具有佩戴方便、运动空间不受限、成本低等优点, 已广泛应用于许多领域.本文对惯性式人体运动跟踪技术的产生发展以及当前的研究现状进行了比较详细的综述, 由以上综述可见, 惯性式人体运动跟踪方法已十分丰富, 尤其在传感器误差处理和数据融合方法上, 涌现了很多独具特色的研究, 且目前市场也已出现成熟的惯性式人体运动捕捉的产品.但是由于人体运动的复杂性和惯性传感器本身的特点, 使得研发高精度的惯性式人体运动检测系统依然存在较大难度.在未来开展基于可穿戴式惯性传感器的人体运动姿态检测时, 可关注以下研究点:

1) 模型不确定性问题

在基于惯性传感器对人体的位姿进行重建和跟踪时, 模型的不确定来自两方面:一是人体关节不同于机械关节, 有些关节并不是严格按照固定的旋转轴旋转, 会存在一定的偏移[61, 146], 且有些关节的转动情况比较复杂[147];二是即使进行了传感器的初始校准, 运动过程中由于皮肤和肌肉的形变会引起传感器的位移, 则初始校准时得到的坐标变换矩阵已存在偏差.到目前为止, 对于关节轴的误差并没有很好的解决方法, 一方面因为关节轴的误差因人而异, 另一方面引入更多的关节自由度势必会增加建模和实时应用的难度, 且少有文献讨论皮肤或肌肉的形变对人体姿态估计的影响.因此, 有必要针对不同体型的人群分析人体关节角度变化与皮肤或肌肉形变的定量关系, 从而在人体运动过程中实时补偿由形变带来的偏差.

2) 传感器初始对准误差

由第2节的分析可, 知初始对准方法的精度完全依赖于被测试者完成相应对准动作的精度, 然而由于个体的差异, 被测试者无法完全标准地完成设定的动作, 例如N-pose要求被测试者的手臂垂直向下, T-pose要求被测试者的手臂保持水平.相比于静止校准方法, 动态的校准方法虽然能够取得更为精确的校准结果, 但是这个过程更为复杂且被测试者独立完成标准的校准动作难度较大.现有的一些自校准方法和无校准方法较少且实现起来较为复杂, 研究便捷精准的传感器初始对准方法, 甚至无需对准的人体运动姿态估计方法, 将有助于降低人体运动跟踪系统的应用难度.

3) 多传感器信息融合

传感器误差是导致基于惯性传感器的人体位姿估计精度难以提高的重要原因.在现有文献的基础上, 可进一步研究结合其他不存在累积误差的传感器作为辅助传感器, 例如视觉传感器、肌肉形变传感器、力传感器或肌电信号传感器等, 相应获取的信号作为校正信息消除累积误差.例如肌肉电信号不易受到累积误差的干扰, 通过肌肉电信号与关节动力学模型估计关节角度, 此角度可对惯性传感单元进行校正.

4) 复杂精确的人机协作场景

目前, 基于惯性传感器的人机协作只能完成一些低复杂度的运动, 对人体运动姿态估计精度要求不高.人机协作未来的研究方向必然是人与机器人更为紧密的协作, 例如人和机器人共同完成一项任务, 此时就要求基于惯性传感器的人体运动姿态估计技术具有较高的精度.因此, 有必要研究高精度的惯性式人体运动姿态估计方法, 从而实现复杂的人机协作.

作者简介

张鋆豪

浙江工业大学信息工程学院硕士研究生.主要研究方向为人体运动估计, 多传感器信息融合.E-mail:jhzhang2015@outlook.com

何百岳  

浙江工业大学信息工程学院硕士研究生.主要研究方向为信息融合估计.E-mail:byhe@zjut.edu.cn

杨旭升  

浙江工业大学信息工程学院博士后.主要研究方向为智能移动机器人, 无线传感器网络和信息融合估计.E-mail:yxs921@yahoo.com

张文安  

浙江工业大学信息工程学院教授.主要研究方向为信息融合估计, 网络化控制和智能移动机器人.本文通信作者.E-mail:wazhang@zjut.edu.cn