引用本文

刘宇琦, 赵宏伟, 王玉. 一种基于QPSO优化的流形学习的视频人脸识别算法. 自动化学报, 2020, 46(2): 256-263. doi: 10.16383/j.aas.c180359

LIU Yu-Qi, ZHAO Hong-Wei, WANG Yu. Video Face Recognition Method Based on QPSO and Manifold Learning. ACTA AUTOMATICA SINICA, 2020, 46(2): 256-263. doi: 10.16383/j.aas.c180359

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180359

关键词

视频人脸识别，量子微粒群优化，黎曼流形学习，视频相似度 

摘要

视频场景复杂多变, 视频采集设备不一致等原因, 导致无约束视频中充斥着大量的遮挡和人脸旋转, 视频人脸识别方法的准确率不高且性能不稳定.为解决上述问题, 本文提出了一种基于QPSO优化的流形学习的视频人脸识别算法.该算法将视频人脸识别视为图像集相似度度量问题, 首先帧图像对齐后提取纹理特征并进行融合, 再利用带有QPSO优化的黎曼流形大幅度简约维度以获得视频人脸的内在表示, 相似度则由凸包距离表示, 最后利用SVM分类器获得分类结果.通过在Youtube Face数据库和Honda/UCSD数据库上与当前主流算法进行的对比实验, 验证了本文算法的有效性, 所提算法识别精度较高, 误差较低, 并且对光照和表情变化具有较强的鲁棒性.

文章导读

自图像人脸识别技术兴起以来, 尤其是近些年多媒体技术的发展使得图像采集成本的大规模下降, 人脸识别一直是图像识别领域的重要研究方向.中央监控设备的大规模普及, 如雨后春笋般的社交媒体更让基于视频人脸识别的角色、主题等高层特征的分析与研究有更大的普适性.所以, 在视频采集成本如此低廉的今天, 视频环境下的人脸识别相比于基于图像的人脸识别具有更大的研究价值.

目前, 人脸识别的方法可以分为全局方法和局部方法两大类[1].全局统计方法通常基于经典的统计分析技术, 忽略脸部的某些特征点, 人脸图像以矩阵的形式作为整体进行处理, 并且通常被转换成更容易处理的特征向量.全局统计方法的主要优点是实现简单、可移植性好、复杂度较低, 但该类方法对照明、位置和面部表情变化非常敏感.局部识别方法首先检测兴趣点, 然后提取位于这些兴趣点上的特征.这类方法多数基于特定几何结构的提取, 例如额头的宽度、鼻子的尺寸等, 最后, 将该数据用于训练得到分类器从而用于识别不同的类别.

为了更好地处理无约束数据来源的背景、光照、视角的变化, Wolf等[2]提出利用背景样本集的思想, 利用两个视频及其在背景集中的近邻点分别训练两个SVM (Support vector machine)分类器, 然后再用这两个分类器与另一个视频作比较, 将得到的两个置信度取均值作为最终的相似度度量.流形距离也是用来度量相似度的重要手段, 于谦等[3]利用两个流形来描述一组图像集, 类间流形描述了每个图像集的平均信息, 称之为"平均脸", 类内流形表示每个图像集的所有原始图像的信息, 并采取分片技术学习两种流形的投影矩阵, 以期学习到更具判别性的高层特征. Wang等[4]利用由多个带有先验概率的高斯分量组成的高斯混合模型来描述一个图像集, 希望从不同的类别中提取出不同的高斯分量用于相似度度量, 提出了一个用高斯分量的先验概率作为权值的核判别分析方法(Kernel discriminant analtsis).於俊等[5]提出了一种在粒子滤波框架下的结合在线外观模型和柱状人头模型人脸三维运动跟踪方案, 相关主观实验表明:由跟踪得到的人脸运动参数合成的虚拟人脸具有较高的辨识度.

基于图像集合的方法是视频人脸识别领域中的常见方法, 而基于图像集合方法通常包括两个方面[16], 一是如何对人脸图像集合进行建模; 另外就是如何度量模型之间的相似度.现有工作通常是针对其中的某一方面进行研究与改进, 而本文在MBGS (Matched background similarity)等视频相似度方法的启发下, 提出一种基于量子微粒群优化(Quantum-behaved particle swarm optimization, QPSO)的黎曼流形学习(Riemannian manifold learning, RML)的视频相似度度量方法并用以解决无约束环境下的视频人脸识别问题.该算法首先对视频图像集进行特征提取并融合, 再利用黎曼流形学习减少因多特征融合带来的超长维度, 通过低维特征映射到仿射子空间来进行相似度度量, 最后使用SVM实现视频人脸的识别与分类.

图 1  基于QPSO优化黎曼流形的视频人脸识别算法框架

图 2  QPSO优化过程各参数系数变化

图 3  QPSO优化过程中寻优适应度变化

无约束来源的视频环境不可控, 设备不一致导致视频中充斥着大量的遮挡和人脸旋转、数据量庞大等问题一直是视频人脸识别领域的研究热点问题.本文提出的基于QPSO优化的流形学习的视频人脸识别算法将视频人脸识别视为图像集相似判别问题, 采取多种纹理特征融合描述符提取图像信息, 随后采用带有QPSO优化的黎曼流形学习大幅度简约维度, 再利用凸包距离进行相似度度量, 最后训练得到SVM分类器并对测试视频进行分类与识别.在Youtube Face数据库及Honda/UCSD数据库将本算法与当前主流算法进行了对比实验, 从而验证了算法的有效性, 本文算法识别精度较高, 误差较低.

目前, 随着深度学习与人工智能方法的发展, 出现了一些用于视频人体行为识别、手势识别以及目标视觉检测的深度学习框架(如3D-CNN等), 为深度学习方法在视频分析与理解的应用提供了借鉴, 成为视频人脸识别领域的研究方向之一.另外, 真实视频场景中存在各种遮挡、姿态变化仍然是目前视频人脸识别面临的巨大挑战.现有数据库虽然对类似影响因素都加以考虑, 但仍然无法达到无约束的视频环境, 如何进一步提高算法在真实视频场景中的通用性和提升算法的鲁棒性都会成为笔者今后的研究重点.

作者简介

刘宇琦

吉林大学计算机科学与技术学院博士生.主要研究方向为图像处理与模式识别. E-mail: liuyuq@jlu.edu.cn

赵宏伟   

吉林大学计算机科学与技术学院教授. 2001年获得吉林大学博士学位.主要研究方向为多媒体技术, 计算机图像处理, 智能控制与嵌入式系统.E-mail: zhaohw@jlu.edu.cn

王玉   

吉林大学应用技术学院副教授. 2017年获得吉林大学计算机科学与技术学院博士学位.主要研究方向为图像处理与机器学习.本文通信作者.E-mail: wangyu001@jlu.edu.cn