引用本文

权学良, 曾志刚, 蒋建华, 张亚倩, 吕宝粮, 伍冬睿. 基于生理信号的情感计算研究综述. 自动化学报, 2021, 47(8): 1769−1784 doi: 10.16383/j.aas.c200783

Quan Xue-Liang, Zeng Zhi-Gang, Jiang Jian-Hua, Zhang Ya-Qian, Lv Bao-Liang, Wu Dong-Rui. Physiological signals based affective computing: A systematic review. Acta Automatica Sinica, 2021, 47(8): 1769−1784 doi: 10.16383/j.aas.c200783

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200783

关键词

情感计算，情绪分类，脑机接口，机器学习 

摘要

情感计算是现代人机交互中的一个重要研究方向, 旨在研究与开发能够识别、解释、处理和模拟人类情感的理论、方法与系统. 脑电、心电、皮肤电等生理信号是情感计算中重要的输入信号. 本文总结了近年来基于脑电等生理信号的情感计算研究所取得的进展. 首先介绍情感计算的相关基础理论, 不同生理信号与情感变化之间的联系, 以及基于生理信号的情感计算工作流程和相关公开数据集. 接下来介绍生理信号的特征工程和情感计算中的机器学习算法, 重点介绍适合处理个体差异的迁移学习、降低数据标注量的主动学习和融合特征工程与学习器的深度学习算法. 最后, 指出基于生理信号的情感计算研究中面临的一些挑战.

文章导读

情感(Affect)遍布于人们的日常生活中. 根据《心理学大辞典》[1]的定义, 情感是人类对客观事物和自己需求相比较之后产生的态度和体验. 情感能反映一个人当下的生理心理状态, 也对人们的认知、沟通和决策等产生重要影响[2]. 情感的变化通常是在外界环境的刺激之下产生的, 会伴有个体表征和心理反应的变化, 因此可以通过科学的方法来进行测量和模拟.

情感计算(Affective computing)[3]是一个跨学科研究领域, 涉及计算机科学、心理学和认知科学等多个学科, 旨在研究和开发能够识别、解释、处理和模拟人类情感的理论、方法和系统. 其研究发展简史如图1所示. 1986年, 人工智能奠基人之一、图灵奖获得者、麻省理工学院Minsky教授在其著作The Society of Mind[4]中最早提出了让计算机能够识别情感的概念. 1997年, 麻省理工学院Picard教授发表了关于情感计算的首部专著Affective Computing[5], 情感计算正式成为现代计算机学科的一个分支. 2010年, IEEE计算机学会、计算智能学会和系统、人和控制论学会共同创办了第一个情感计算领域的学术期刊IEEE Transactions on Affective Computing.

图 1  情感计算研究发展简史

情感计算的常见输入信号包括视频(面部表情、肢体动作等)、音频、文本、生理信号等. 与面部表情等不同, 脑电等生理信号不易伪装, 更能反应个体的真实情绪状态, 因而基于生理信号的情绪识别在诸如临床诊断、治疗等方面有着重要作用[6]. 又如在交通运输领域, 驾驶员的愤怒、焦虑等负面情绪会严重影响专注度, 可能导致交通事故. 利用可穿戴设备对驾驶员的情绪状态进行实时监测, 能够有效减少交通事故. 随着5G技术、物联网、人机交互、机器学习尤其是深度学习等技术的不断发展, 基于脑电等生理信号的情感计算在医疗保健、媒体娱乐、信息检索、教育以及智能可穿戴设备等领域都有着广阔的应用前景.

本文对基于生理信号的情感计算进行综述与展望. 文章组织结构如下: 第1节介绍情感计算的相关基础理论; 第2节介绍情感计算中常用的生理信号类型; 第3节介绍基于生理信号的情感计算流程; 第4节介绍基于脑电等生理信号的情感计算常用公开数据集; 第5节总结情感计算中生理信号的特征处理方法; 第6节详细介绍基于生理信号的情感计算中的机器学习算法; 第7节指出基于脑电等生理信号的情绪识别研究面临的一些挑战; 最后, 第8节对全文进行总结.

图 2  情绪的连续型维度空间表示

本文对近年来基于脑电等生理信号的情感计算研究进展进行了综述. 首先介绍了情感计算的相关理论基础和常用的生理信号类型, 以及离散和连续两种情绪模型. 接着总结了情感计算任务的整体流程, 包括生理信号的采集、预处理、特征提取、特征平滑、特征融合、模型训练与测试等, 并介绍了基于生理信号的情绪识别常用公开数据集. 然后重点介绍了为解决情感计算中个体差异的迁移学习方法、减少标注数据量的主动学习方法、以及基于深度学习的生理信号的深层情感表示和多模态生理信号的特征融合等相关算法. 最后, 分析总结了基于生理信号的情感计算领域面临的挑战及未来需要进一步解决的问题.

作者简介

权学良

华中科技大学人工智能与自动化学院硕士研究生. 主要研究方向为机器学习, 脑机接口, 情感计算. E-mail: quanxl@hust.edu.cn

曾志刚

华中科技大学人工智能与自动化学院教授. 主要研究方向为神经网络理论与应用, 动力系统稳定性, 联想记忆. E-mail: zgzeng@mail.hust.edu.cn

蒋建华

华中科技大学人工智能与自动化学院副教授. 主要研究方向为燃料电池系统集成与控制, 动力电池系统管理, 系统优化. E-mail: jiangjh@hust.edu.cn

张亚倩

上海交通大学计算机科学与工程系研究助理教授. 主要研究方向为强化学习, 机器学习, 人机交互. E-mail: zhangyaqian@sjtu.edu.cn

吕宝粮

上海交通大学计算机科学与工程系教授. 主要研究方向为仿脑计算理论与模型, 神经网络, 机器学习, 脑−机交互, 情感计算. E-mail: blu@cs.sjtu.edu.cn

伍冬睿

华中科技大学人工智能与自动化学院教授. 主要研究方向为机器学习, 脑机接口, 计算智能, 情感计算. 本文通信作者. E-mail: drwu@hust.edu.cn