视频人脸识别是计算机视觉、模式识别、视频分析与理解等领域的重要研究课题。视频人脸识别的研究不仅在理论上具有重大意义，同时在生物特征鉴别、视频监控、信息安全等领域具有广泛的应用前景，已经成为人脸识别领域的研究热点和难点问题。

目前，绝大多数的视频人脸识别都是通过提取视频序列中包含人脸的关键帧，采用基于静态图像的人脸识别算法达到视频分类的目的，这其中就包括多视角融合、子空间或流形分析等。该类方法中关键帧的选择歧义性较大，需要对整个视频进行分析才能实现关键帧的准确定位，降低了视频人脸识别系统的效率和实时性要求，适合于人物目标配合、光照及视角良好并且视频质量较高的环境下的应用。

近年来，基于图像集合和基于视频序列的视频人脸识别方法得到了广泛关注。其中，基于图像集合的视频人脸识别方法是将视频作为一个无序的帧图像集合，通过流形、子空间、Affine Hull、协方差矩阵等对图像集合进行建模以实现视频人脸的识别。基于视频序列的视频人脸识别算法是通过设计视频纹理描述算子、引入视频上下文信息等方式提高识别精度和效率。但是，视频纹理算子及视频上下文信息的获取十分困难，计算复杂度较高，同时，这类算法对人脸表情变化、目标姿态变化等影响识别性能的因素不够鲁棒。

自然视频大多数是非专业人员采集的，视频采集设备有限，视频环境光照条件较差，目标姿态多变并且伴随运动模糊，同时，为了便于存储及传输，通常还以压缩格式存储，这些噪音因素的存在都使得解决视频人脸识别问题具有极大的挑战性。为实现这种低分辨率、目标姿态多变条件下的视频人脸的鲁棒识别，设计能够适应这种复杂环境下的视频人脸识别学习算法就变得尤为重要。

为解决视频环境下人脸识别问题中关键帧难以准确定位导致的识别率偏低等问题，我们提出了一种基于多示例学习的视频人脸识别算法。该算法将复杂环境下的视频人脸识别问题视为一个多示例问题，将训练集合中的每个视频视为一个包，将视频包中归一化处理后的视频帧图像视为包中的示例。视频包带有标记而视频包中的示例是没有标记的，利用有效的多示例学习算法在训练集合样本空间中学习并生成分类器，以实现对测试包的预测及分类。

另外，视频采集环境的光照变化、目标的姿态变化等，都在一定程度上造成了视频人脸识别上的困难，为此，我们在算法实现过程中还采用了基于改进的Fisher加权准则的TPLBP进行示例的纹理特征表示，该算子具有较强的可辨别能力，并且对均匀光照变化是鲁棒的。

目前，关于视频人脸识别问题主要结合实际应用场景进行分析，鉴于此，我们提出了一种适用于低信噪比环境下的基于加权Fisher准则的多示例学习视频人脸识别算法，算法在得到较高的识别精度的同时，有效解决了目标姿态多变视频环境中的人脸视频关键帧难以定位的问题，并且具有较强的抗干扰能力，对均匀光照变化、姿态变化等也具有较好的鲁棒性。如何解决算法时间复杂度较高，学习算法的泛化能力等问题成为我们今后研究工作的重点。

引用格式：王玉, 申铉京, 陈海鹏. 基于改进的Fisher准则的多示例学习视频人脸识别算法. 自动化学报, 2018, 44(12): 2179-2187

链接：http://html.rhhz.net/ZDHXBZWB/html/2018-12-2179.htm

作者简介：

王玉，吉林大学应用技术学院副教授. 主要研究方向为图像处理与机器学习. E-mail: wangyu001@jlu.edu.cn

申铉京，吉林大学计算机科学与技术学院教授，博士生导师.主要研究方向为图像处理与模式识别. E-mail:xjshen@jlu.edu.cn

陈海鹏，吉林大学计算机科学与技术学院教授，博士生导师.主要研究方向为图像处理与模式识别. 本文通信作者.E-mail: chenhp@jlu.edu.cn