引用本文

夏嘉欣, 陈曦, 林金星, 李伟鹏, 吴奇. 基于带有噪声输入的稀疏高斯过程的人体姿态估计. 自动化学报, 2019, 45(4): 693-705. doi: 10.16383/j.aas.2018.c170397

XIA Jia-Xin, CHEN Xi, LIN Jin-Xing, LI Wei-Peng, WU Qi. Sparse Gaussian Process With Input Noise for Human Pose Estimation. ACTA AUTOMATICA SINICA, 2019, 45(4): 693-705. doi: 10.16383/j.aas.2018.c170397

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170397

关键词

姿态估计，回归分析，稀疏高斯过程，噪声输入，视频处理 

摘要

高斯过程回归（Gaussian process regression，GPR）是一种广泛应用的回归方法，可以用于解决输入输出均为多元变量的人体姿态估计问题.计算复杂度是高斯过程回归的一个重要考虑因素，而常用的降低计算复杂度的方法为稀疏表示算法.在稀疏算法中，完全独立训练条件（Fully independent training conditional，FITC）法是一种较为先进的算法，多用于解决输入变量彼此之间完全独立的回归问题.另外，输入变量的噪声问题是高斯过程回归的另一个需要考虑的重要因素.对于测试的输入变量噪声，可以通过矩匹配的方法进行解决，而训练输入样本的噪声则可通过将其转换为输出噪声的方法进行解决，从而得到更高的计算精度.本文基于以上算法，提出一种基于噪声输入的稀疏高斯算法，同时将其应用于解决人体姿态估计问题.本文实验中的数据集来源于之前的众多研究人员，其输入为从视频序列中截取的图像或通过特征提取得到的图像信息，输出为三维的人体姿态.与其他算法相比，本文的算法在准确性，运行时间与算法稳定性方面均达到了令人满意的效果.

文章导读

人体姿态估计是利用图像特征来估计各个人体部位在图像中的具体位置的研究过程[1], 是一种应用广泛的结构化预测问题.由于人体姿态估计在视觉跟踪、计算机动画[2]以及智能监控、虚拟现实[3]等领域均有广泛的应用, 因此, 在过去几十年中, 关于人体姿态估计问题的解决方法层出不穷.

高斯过程(Gaussian process, GP)[2-5]及其变体[6]是一种典型且有效的人体姿态估计方法.作为一种常见的基于贝叶斯概率论进行预测的回归方法, 高斯过程因其对非线性、高维、复杂和小样本问题的灵活性、有效性[4]及泛化能力强, 被广泛应用于各个领域.然而, 人体姿态估计本身通常需要较大的样本集, 所以简单地将高斯过程的基本模型应用于此类问题会耗费大量的运行时间与运算空间.同时, 由于高斯模型本身对于噪声影响缺乏较高的鲁棒性, 而人体姿态估计等高维预测问题在实际应用中本身就将受到大量的噪声干扰, 传统高斯模型的预测准确性也将受到影响.因此, 对于大样本问题预测的计算复杂度和对于噪声输入的预测准确性, 成为制约高斯过程应用于人体姿态估计问题的重要因素.但是, 人体姿态估计作为一种非线性多元输入输出的拟合问题, 由于其输入输出变量的高维性, 该问题的预测模型本身就需要解决模型较为复杂、模型参数较多、超参数难以确定等种种问题.而与当前更为主流的预测算法相比, 高斯过程具有模型容易实现, 参数复杂性低, 超参数自适应获取, 无需海量训练数据, 以及输出具有物理意义等突出优点, 这些优点注定了高斯过程在解决非线性高维预测问题方面的巨大优势与潜力.因此, 若能同时改善计算复杂度与噪声鲁棒性这两项缺陷, 那么高斯过程将在解决人体姿势估计, 乃至所有多元输入输出问题方面, 发挥更加重要的作用, 产生更加深远的影响.

基于上述原因, 计算复杂度是高斯过程应用于人类姿态估计的一个重要的考虑因素.稀疏高斯过程、混合专家模型[7-8]、增量式学习[9-10]方法等均是有效降低高斯过程计算复杂度的方法.其中, 稀疏高斯过程最为常用.该方法的本质为使用一组诱发输入(Inducing input)部分替代原输入进行假设[11]与训练.应用常规的高斯过程回归(Gaussian process regression, GPR)需要O(n*n)的存储空间和O(n*n*n)的运行时间, 其中n是训练点的数量.由于人体姿态模型包含了数以千计的高维数据点, 因此其计算复杂度超乎想象.然而, 如果运用稀疏高斯过程解决问题, 则存储空间将减少到O(nm), 而运行时间则将减少到O(n*m*m), 其中m是诱发输入点的个数.由于m≪n, 空间和时间成本得以显著降低.本文将采用稀疏算法中的一种较为优秀的算法:完全独立训练条件(Fully independent training conditional, FITC)[12]法, 来降低人类姿态估计问题中高斯回归的计算复杂度.

输入输出噪声是高斯算法的另一个重要考虑因素.对于高斯回归的噪声研究始于很早之前, 但在大约十年前, 噪声才被扩展到应用于解决大规模和高维输入输出[13]的问题.对于测试输入样本的噪声, 可通过矩匹配的方法进行解决, 而对于训练输入样本的噪声, 先前的方法具有较高的计算复杂度.为了解决这一问题, McHutchon等[14]在2011年提出了一种全新的算法, 本文将应用该方法来处理人体姿态估计问题中的输入噪声.

早在1975年, 人体关节模型就已经被证明包含有丰富的信息, 并可用于行为识别.此后的几十年, 众多研究人员均致力于三维人类姿态的重建[15-16]与信息提取[17-19], 几乎所有的经典模型如高斯过程、支持向量机、人工神经网络等, 都已经被成功且成熟地应用于人体姿态估计问题.因此, 在近几年有关该问题的研究中, 更多的人着眼于通过提出更加新颖而复杂预测模型来提高人体姿态估计的预测精度[3, 20-21], 或通过在现有算法中加入新的优化模型形成混合模型来提升算法性能[1, 22], 但着眼于从单个已成熟模型本身的数学机理出发, 通过改进其数学模型来提高人体姿态估计算法性能的研究则少之又少.模型的数学原理是预测模型的根基, 从经典模型的数学原理角度对模型进行优化, 不但保证了模型的稳定性与可推广性, 还可以达到比参数优化更好更彻底的优化效果.因此, 本文从高斯过程本身的数学原理出发, 利用稀疏算法与带有噪声输入的算法这两种优化方法进行模型改进, 并将改进后的模型应用于三维人体姿态估计问题, 在降低计算复杂性的同时, 也使得算法在输入噪声的影响下获得更好的预测精度.相较于现有算法而言, 本文算法具有更强大的数学基础与泛化能力, 可以推广应用于多种结构化预测问题.

本文结构安排如下:第1节对人体姿态估计问题进行描述; 第2节介绍了高斯过程的模型, 包括标准高斯过程; 第3节介绍带噪声输入的稀疏高斯算法, 同时对该算法的合理性和优越性进行简单验证.第4节将本文算法与其他预测效果较好的人体姿态估计算法应用于HoG样本集[17], 并对预测结果进行比较与评估.第5节为结论.

图 1  GP, FITC, NIGP和SGPIN算法预测结果

图 2  TGP, TGPKNN与SGPIN算法的误差比较

图 3  GP, KTA, HSICKNN与SGPIN算法的误差比较

本文提出了一种从经典高斯过程模型的数学原理角度对模型进行优化来解决人体姿态估计问题的新思路.算法的评估实验是基于HumanEva-I数据库的HoG特征集的三维人体姿态估计问题, 包括3个研究对象与5个人体姿态.将本文算法与GP算法、TGP算法、TGPKNN算法、HSICKNN算法和KTA算法在预测准确度、运行时间和算法稳定性方面进行比较, 本文算法具有较为优秀的评估结果.在算法准确度方面, SGPIN算法与其他算法相比, 具有较低的平均误差和较高的稳定性(较小的误差方差和较平滑的误差曲线), TGP和TGPKNN算法在稳定性方面表现一般, KTA算法和HSICKNN算法表现较差.在运行时间方面, SGPIN算法并没有过于优异, 但是与其他算法相比其结果依旧是可以接受的.同时考虑预测准确度、算法稳定性与运行时间三项因素, SGPIN算法是一种应用于人体姿态估计问题的更为有效的算法.

未来的工作首先是对于求解超参数的梯度下降算法的改进, 因为运用此种方法得到参数需要较长的运行时间, 且并未对输入信息进行充分利用.此外, 需要更好地利用输入变量之间与输出变量之间的关系, 因为高维输入输出变量的各维度之间本身具有复杂的关联性.同时, 将算法的应用领域进行拓展, 使其不仅局限于HoG这一特征, 甚至不仅局限于人体姿态估计这一问题, 而是用于解决更多的结构化预测问题.

作者简介

夏嘉欣

上海交通大学电子信息与电气工程学院自动化系硕士研究生. 2015年获得上海交通大学学士学位.主要研究方向为图像处理与机器学习.E-mail: jessicax 1993@163.com

陈曦  

上海交通大学航空航天学院讲师.2014年获得皇家墨尔本理工大学航空工程专业博士学位.主要研究方向为故障预测与健康管理, 机器学习, 结构健康监测.E-mail:chenxi1@comac.cc

林金星  

南京邮电大学自动化学院副教授.主要研究方向为复杂系统智能建模与控制, 切换奇异系统.E-mail:jxlin2004@126.com

李伟鹏  

上海交通大学航空航天学院研究员.2008年获得哈尔滨工业大学硕士学位, 2011年获得东京大学航空航天工程博士学位.主要研究方向为湍流和气动噪声的数据挖掘.E-mail:liweipeng@sjtu.edu.cn

吴奇  

上海交通大学电子信息与电气工程学院自动化系副教授.2009年获得东南大学自动化学院控制工程与控制理论博士学位.主要研究方向为深度多层网络建模与学习算法, 机器学习与模式识别.本文通信作者.E-mail:wuqi7812@sjtu.edu.cn