引用本文

李霞, 卢官明, 闫静杰, 张正言. 多模态维度情感预测综述. 自动化学报, 2018, 44(12): 2142-2159. doi: 10.16383/j.aas.2018.c170644

LI Xia, LU Guan-Ming, YAN Jing-Jie, ZHANG Zheng-Yan. A Survey of Dimensional Emotion Prediction by Multimodal Cues. ACTA AUTOMATICA SINICA, 2018, 44(12): 2142-2159. doi: 10.16383/j.aas.2018.c170644

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170644

关键词

情感识别，情感预测，维度情感模型，离散情感模型，信息融合，特征提取 

摘要

维度情感模型通过几个取值连续的维度（如唤醒维、效价维、支配维等）将情感刻画为一个多维信号.与传统的离散情感模型相比，具有表示情感的范围广、能描述情感的演变过程等优点，近年来受到越来越多情感识别研究者的关注.多模态维度情感预测是一项复杂的工程，预测性能受所使用的模态、每个模态的特征提取、信息融合技术、标注人员的标注误差等多方面影响.为了提高多模态维度情感预测的性能，研究者在各个方面都做出了不懈努力.本文综述了维度情感的概念、标注，维度情感预测的性能评价指标以及多模态维度情感预测的研究现状，对比和分析了各种因素对多模态维度情感预测性能的影响，并总结出多模态维度情感预测面临的挑战及发展趋势.

文章导读

情感是人们日常生活中常见的一种心理现象.对情感的准确识别是利用情感进行交流的前提, 在日常人际交往中有着重要的作用.对于智能机器, 只有能够对人的情感状态进行快速准确的判断, 才有可能进一步理解和响应人类情感, 从而实现与用户进行自然、友好、和谐地交互[1].例如在智能汽车系统中, 对驾驶员的情感状态进行实时监测, 并根据监测结果给予必要的响应便能够有效避免事故的发生; 在智能电话服务系统中, 对来电者的情感状态进行自动判断, 根据判断结果给予合适的响应或将控制线转接给人工处理, 便能有效地提高服务效率和质量.

人的情感是通过面部表情、身体姿态、声音以及生理信号等多种模态表现出来的.情感判断可以基于这些模态中的一个或多个来进行, 但是单个模态的信息存在信息不全面、容易受噪声干扰等缺陷, 目前越来越多的研究者开始综合运用多个模态的信息进行情感判断.多个模态的信息能够互相印证、互相补充, 从而可以为情感判断提供更加全面准确的信息, 提高情感判断的性能. D′Mello等[2]对2009~ 2013年出现的多模态情感识别系统进行元数据分析发现, 相比于单模态情感识别系统, 平均性能提高了9.83 %, 这充分肯定了多模态信息融合对提高情感识别性能的有效性.

要对人的情感状态进行判断, 首要的任务是建立情感状态的表示模型.在情感识别领域, 常用的情感表示模型主要有离散情感模型和维度情感模型.离散情感模型使用快乐、悲伤、愤怒等形容词标签表示情感, 虽然此种表示方式非常简单、直观, 但无法区分情感的细微差别, 也无法描述情感的演变过程.维度情感模型用几个取值连续的维度将情感刻画为一个多维信号[3].由于每个维度的取值可以连续变化, 因此可以对情感的细微差别进行区分, 同时可以通过对情感状态的实时标注跟踪情感状态的演变过程.同时, 心理学的研究表明, 一些情感维度的取值情况与人的记忆、注意等认知行为具有密切联系[1], 这使得机器更容易根据维度情感预测结果来理解和响应用户的情感行为.

随着手机、平板等各种便携录像、录音设备, 以及iwatch等智能可穿戴设备的出现, 人们随时随地获取视频、音频及生理信号成为可能, 这为多模态维度情感预测提供了数据基础, 拓展了多模态维度情感预测的应用领域.在多模态交互式对话系统中, 系统中的虚拟人可以根据用户的语音、面部表情和姿态预测用户的维度情感, 并根据预测结果选择合适的词语与用户进行对话, 将用户的情感状态向某个特定的情感状态进行引导.

多模态维度情感预测是综合运用情感的多个表现模态对各个情感维度的取值进行预测, 是一个复杂工程, 包括建立多模态维度情感数据库、从各个模态中提取特征、选择与设计预测模型、信息融合等环节, 每个环节的处理对最后的预测性能都具有重大影响.本文综述了多模态维度情感预测各个环节的研究现状, 对比和分析了不同方法对预测性能的影响, 并总结出多模态维度情感预测面临的挑战及发展趋势.

图 1  愉悦-唤醒模型

图 2  SAM系统

图 3  FEELtrace标注示例

多模态维度情感预测涉及了心理学、生理学、社会科学等多个学科, 它的发展依赖于多个领域的成果和发现.随着人工智能的发展和人机互动的迫切需要, 多模态维度情感预测受到越来越多研究者的关注, 近年来取得了很大进展.本文通过对多模态维度情感预测研究现状的认识, 思考总结出其面临的挑战及发展趋势如下:

1) 各个情感维度的标记是一个十分耗费时间和精力并且需要一定技巧的工作, 这限制了维度情感数据集的建立.因此, 充分应用有限的现有数据, 采用弱监督或半监督学习提升预测的泛化能力是一个亟待解决的问题.

2) 多个模态的情感数据一般是通过多种传感器获取的, 在获取过程中很难做到记录的同步性, 并且不同的模态对情感状态的表现也不是同步的, 在进行多模态维度情感预测中如何更好地处理这些异步性是一个挑战性的问题.

3) 各个模态蕴含的情感信息互为补充、互为印证, 而且受数据的获取条件以及个体的刻意控制等很多因素的影响, 会出现一个或多个模态信息的缺失, 因此如何更好地建立模型实现多模态信息融合是一个需要研究的问题.

4) 情感的维度信息与其他信息(如情感的类别信息、社会行为信息等)都具有密切的关系, 在维度情感预测过程中如何充分利用这些信息提高维度情感预测的性能是一个有趣的问题.

5) 在现有的多模态维度情感预测中, 对于生理信号和语言信息(语音识别出的语言或文本中的语言)的使用十分有限, 但是显然这两种信号能够为维度情感预测提供有用的信息.因此如何从这两种信号中挖掘出对维度情感预测有用的信息是值得研究的.

6) 随着深度学习技术的发展以及在各个领域的成功应用, 多模态维度情感预测领域也不可避免地受到影响, 并且目前也有了一些应用.但是如何更好的将深度学习技术应用于维度情感预测的各个环节, 深度学习技术在各个环节的应用能否优于传统的机器学习技术, 以及运用深度学习技术提升的预测性能相对计算成本的增加是否相匹配等, 都是需要充分研究的问题.

7) 由于人机互动的实时性需要, 提高多模态维度情感预测性能的同时降低计算量, 使多模态维度情感预测能够实时地进行具有很大的实际应用意义.

作者简介

李霞

南京邮电大学通信与信息工程学院博士研究生.2002年获得曲阜师范大学数学与应用数学系学士学位, 2005年获得南京大学应用数学系硕士学位.主要研究方向为情感计算, 模式识别, 机器学习和计算机视觉.E-mail:lx19800102@163.com

闫静杰  

南京邮电大学通信与信息工程学院讲师.2006年和2009年获得中国矿业与技术大学电子科学与技术学士学位和信号与信息处理硕士学位.2014年获得东南大学信息与通信工程博士学位.主要研究方向为模式识别, 情感计算, 计算机视觉和机器学习.E-mail:yanjingjie1212@163.com

张正言  

南京邮电大学通信与信息工程学院博士研究生.2004年和2007年获得江苏科技大学电子信息工程学士学位和信号与信息处理硕士学位.主要研究方向为模式识别, 机器学习和计算机视觉.E-mail:zhangzhengyan@just.edu.cn

卢官明  

南京邮电大学通信与信息工程学院教授.1985年和1988年获得南京邮电大学无线电工程学士学位和通信与电子系统硕士学位, 1999年获得上海交通大学通信与信息系统博士学位.主要研究方向为图像处理, 情感计算, 机器学习.本文通信作者.E-mail:lugm@njupt.edu.cn