引用本文

陈妍, 吴乐晨, 王聪. 基于多层级信息融合网络的微表情识别方法. 自动化学报, 2024, 50(7): 1445−1457 doi: 10.16383/j.aas.c230641

Chen Yan, Wu Le-Chen, Wang Cong. A micro-expression recognition method based on multi-level information fusion network. Acta Automatica Sinica, 2024, 50(7): 1445−1457 doi: 10.16383/j.aas.c230641

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c230641

关键词

微表情识别，深度学习，图卷积网络，多层级融合 

摘要

微表情是人类情感表达过程中细微且不自主的表情变化, 实现准确和高效的微表情识别, 对于心理疾病的早期诊断和治疗有重要意义. 现有的微表情识别方法大多未考虑面部产生微表情时各个关键部位间的联系, 难以在小样本图像空间上捕捉到微表情的细微变化, 导致识别率不高. 为此, 提出一种基于多层级信息融合网络的微表情识别方法. 该方法包括一个基于频率幅值的视频帧选取策略, 能从微表情视频中筛选出包含高强度表情信息的图像帧、一个基于自注意力机制和图卷积网络的多层级信息提取网络以及一个引入图像全局信息的融合网络, 能从不同层次捕获人脸微表情的细微变化, 来提高对特定类别的辨识度. 在公开数据集上的实验结果表明, 该方法能有效提高微表情识别的准确率, 与其他先进方法相比, 具有更好的性能.

文章导读

面部表情是人类情感的一种细微体现, 广泛存在于社会交往中. 面部表情可分为宏表情和微表情, 宏表情持续时间长, 可通过外部刺激或自身意愿产生, 很容易被人眼观察和分辨[1−3]. 和宏表情不同, 微表情是一种短暂、微小的面部肌肉运动, 这些肌肉运动是由情感和认知过程中的情感表达引起的, 不受个体自主控制, 最能体现出一个人的真实情感. 尽管微表情难以被人眼直接察觉和分辨, 但是它包含了丰富的情感信息, 可以传达个体内心深处的情感状态, 在抑郁诊断、心理健康、测谎和面试招聘等领域具有重要的应用价值, 因此, 对微表情的研究也逐渐受到关注. 

微表情的自动识别技术可分为传统的基于手工特征的识别方法和最新的基于深度学习的识别方法2类. 早期研究人员根据先验知识设计了一些能够描述面部纹理、边缘特性和面部运动等信息的手工特征, 来区分微表情. 这些手工特征主要依赖于图像的质量, 在处理低分辨率图像时, 效果不佳[4−6]. 近年, 随着计算机视觉、模式识别和深度学习等技术的不断发展, 越来越多研究者们开始探索利用这些技术来处理微表情的自动识别任务. 深度模型的强大学习能力, 使新型神经网络结构在提取微表情特征上的能力极大地超过了传统的基于手工特征的识别方法. 特别是图神经网络, 有研究证明, 通过人脸特征点构造图结构方式可以更好地提取面部运动信息[7−10], 在小样本的微表情识别上有巨大潜力. 通常图结构只包含节点级信息, 缺乏部位级信息, 忽视了面部产生微表情时各关键区域间的联动关系, 不能充分涵盖微表情传达的细粒度情感. 同时, 现有方法大都是基于初始帧和顶点帧进行[7−8, 11−13], 忽略了微表情在时域上发生变化的趋势对情感表达的作用, 限制了识别准确率的进一步提高. 

针对上述问题, 本文从面部特征提取网络设计入手, 提出一种基于多层级信息融合网络的微表情识别方法, 通过对面部特征点的局部变化和整体联系进行深入提取, 提升小样本下微表情识别的准确率. 本文主要贡献有以下3点: 1)设计一个新颖的视频帧选取策略, 以筛选微表情视频中具有高强度表情信息的连续图像帧, 通过聚合多个变化的图像表情特征来描述面部肌肉随时间变化的运动特征; 2)引入多层级的网络结构, 来学习面部肌肉运动的局部特征和整体特征, 强化了对面部肌肉运动信息的提取, 从不同层次捕获了微表情的细微变化; 3)提出一个融入图像全局信息的融合网络, 使得微表情识别更加专注于情感表达的准确度, 降低了因个体不同身份特征带来的识别偏差. 

本文结构如下: 第1节对微表情的研究现状进行介绍; 第2节描述本文提出的模型, 包括多层级信息提取网络的构造和融合网络的建立; 第3节介绍本文设计的视频帧选取策略; 第4节基于4个公开微表情数据集进行实验和分析, 验证本文提出的模型在微表情识别任务上的有效性; 第5节对本文工作进行总结和展望. 

图 3  划分节点和构建面部图

图 4  按部位学习节点的特征表示

图 5  局部节点学习网络

微表情是一种面部肌肉的动态变化, 为了对这些微妙变化进行更精准的识别, 本文提出一种基于多层级信息融合网络的微表情识别方法. 该方法构造了一个多层级信息融合网络, 来学习面部肌肉运动的局部节点特征和整体部位特征, 强化对面部肌肉运动信息的提取, 避免了对光流、动作单元等人工手段的依赖. 同时, 为了筛选微表情视频中具有高强度表情信息的图像帧, 还设计了一个基于频率幅值的视频帧选取策略. 在主流数据集上的实验验证了该方法的有效性, 其能更好地捕捉到微表情中的细微变化. 

尽管本文提出的方法在微表情识别方面取得了良好效果, 但仍存在一定的局限性. 它在很大程度上依赖于特征点检测结果, 这种依赖可能在特征点难以准确检测情况下, 影响整体性能. 未来研究可考虑探索一种自适应特征点检测法, 如通过增强学习或反馈机制, 来实时调整特征点的检测效果, 进一步提高模型在复杂或不规则面部表情中的鲁棒性. 此外, 考虑到微表情与心理状态密切相关, 还可以尝试结合心理学理论和其他生物信号数据(如心率或脑电波), 以实现更加全面和准确的情绪识别. 

作者简介

陈妍

湖南工商大学计算机学院教授. 主要研究方向为智慧医疗, 健康大数据分析和医疗服务智能管理. E-mail: yanchen@hu.edu.cn

吴乐晨

湖南工商大学计算机学院硕士研究生. 主要研究方向为深度学习, 计算机视觉. E-mail: lecwu@163.com

王聪

天津科技大学人工智能学院副教授. 主要研究方向为网络安全, 身份认证和物联网. 本文通信作者. E-mail: wangcongjcdd@tust.edu.cn