赋予机器感知人类情绪的能力，使得机器能够识别人的情绪状态，已经成为提高人机交互系统自动化水平的关键。在过去的十年中，人脸表情的识别方法得到了深入研究，并逐渐成为分析用户情绪的一种强效技术。

然而人们在自然情感交流中经常伴随着头部旋转和肢体动作, 它们往往导致较大范围的人脸遮挡, 使得人脸图像损失部分表情信息。现有的表情识别方法大多基于通用的人脸特征和识别算法, 未考虑表情和身份的差异, 导致对新用户的识别不够鲁棒。

本文提出了一种鲁棒的人脸表情识别方法,能够以用户无关方式识别具有局部遮挡的人脸表情。基于Wasserstein GAN (WGAN),训练了一个稳定的人脸图像生成网络,然后使用遮挡图像集优化网络的输入隐变量,对遮挡区域进行保持上下文一致性的人脸图像补全。对无遮挡图像和遮挡补全图像,在表情识别任务和身份识别任务之间建立了一种对抗关系,通过在表情特征提取过程中抑制由身份信息导致的类内差异来提升表情识别的准确性和鲁棒性。算法的具体框架如下图所示：

其中人脸补全网络在训练1, 50, 75 和100 轮之后的输出图像如下图所示：

实验结果表明, 我们的方法在由CK+, Multi-PIE 和JAFFE 构成的混合数据集上用户无关的平均识别准确率超过了90 %。在CK+ 上用户无关的识别准确率达到了96 %, 其中4.5% 的性能提升得益于本文提出的对抗式表情特征提取方法。此外,在45° 头部旋转范围内,本文方法还能够用于提高非正面表情的识别准确率。

链接：http://html.rhhz.net/ZDHXBZWB/html/2018-5-865.htm

PDF：http://www.aas.net.cn/CN/article/downloadArticleFile.do?attachType=PDF&id=19278

引用格式

姚乃明, 郭清沛, 乔逢春, 陈辉, 王宏安. 基于生成式对抗网络的鲁棒人脸表情识别. 自动化学报, 2018, 44(5):865-877

作者简介

姚乃明 中国科学院软件研究所博士研究生. 主要研究方向为情感交互, 机器学习和计算机视觉.

E-mail: naiming2014@iscas.ac.cn

郭清沛 中国科学院软件研究所硕士研究生.主要研究方向为机器学习, 计算机视觉和情感计算.

E-mail: qingpei2014@iscas.ac.cn

乔逢春 中国科学院软件研究所硕士研究生. 主要研究方向为深度学习和图像生成.

E-mail: qiaofengchun16@mails.ucas.ac.cn

陈辉 中国科学院软件研究所研究员.主要研究方向为人机交互, 情感交互, 力触觉交互和虚拟现实.

E-mail: chenhui@iscas.ac.cn

王宏安 中国科学院软件研究所研究员.主要研究方向为人机交互和实时智能. E-mail: hongan@iscas.ac.cn