柳长源, 李文强, 毕晓君. 基于RCNN-LSTM的脑电情感识别研究. 自动化学报, 2022, 48(3): 917−925 doi: 10.16383/j.aas.c190357

Liu Chang-Yuan, Li Wen-Qiang, Bi Xiao-Jun. Research on EEG emotion recognition based on RCNN-LSTM. Acta Automatica Sinica, 2022, 48(3): 917−925 doi: 10.16383/j.aas.c190357

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190357?viewType=HTML

脑电信号, 情感识别, 循环卷积神经网络, 长短期记忆神经网络

情感作为人脑的高级功能, 对人们的个性特征和心理健康有很大的影响, 利用网上公开的脑电情感数据库(DEAP (Database for emotion analysis using physiological signals)数据库), 根据心理效价和激励唤醒度等级进行情感划分, 对压力和平静等5种情感进行研究分析. 针对脑电信号时空特征结合的特点, 把深度学习中的卷积神经网络(Convolutional neural network, CNN)和长短期记忆网络(Long short term memory, LSTM)两者作为基本前提, 并在此基础之上设计了一个RCNN-LSTM的脑电情感信号分类模型. 利用循环卷积神经网络(Recurrent convolutional neural network, RCNN)自动提取脑电信号中的抽象特征, 省去了人工选择与降维的过程, 然后结合LSTM网络对脑电情感信号进行分类识别. 实验结果表明, 利用该方法对5种情感类别的平均分类识别率达到了96.63%, 证明了该方法的有效性.

情感在人们的理性行为和日常生活中起着重要作用, 与我们息息相关. 通过情感的识别, 我们可以去看一些患有自闭症和抑郁症的儿童, 为他们提供心理咨询与辅导, 这不仅能够更好地促进人们之间的交流, 在人机交互的应用中也具有重要意义, 这是一个涉及现代医学心理学领域、计算机领域和人工智能等众多领域内的重要研究课题.

目前, 对于情感分析的分类方法已有一定的规模, 一般我们在研究过程中经常使用的方式就是在研究生理特点的基础之上对人的各种情感差异进行对比分析, 例如通过人的面部表情、行为动作和语音语调等外部生理特征来进行情感分析, 但是这种研究方法易导致情感识别的精度有所下降. 因为人的面部表情、声音等又容易受到自己的主观控制, 与这些外在表现出来的生理信号特征相比, 脑电信号存在于人们的中枢神经系统中, 能够体现出不同时刻的差异, 因此, 与情感的关联性远远超过其他信号. 基于脑电信号的情感识别有着非常广阔的应用前景和研究价值, 越来越多的科研人员投入到了这项工作中. Krisnandhka等提取了脑电信号的小波能量, 并计算出其相对利用率作为最后的脑电特征进行情感识别, 达到了76%的情感识别率. Duan等对常见的正向情感和和负向情感做了二分类, 提出采用脑电信号的差分熵作为脑电特征, 准确率达到了83.28%. Murugappan等利用三种不同的“db8”,“sym8”和“coif5”小波基函数来提取脑电信号的统计特征, 对常见的快乐、惊讶、恐惧、厌恶和中性情绪进行分类识别, 最大平均准确率达到了83.04%. 黄柠檬基于共同空间模式(Common patial pattern, CSP)算法对脑电信号中的多种特征进行选择与融合, 分类识别率为80.5%. 杨默涵等利用总体经验模态分解(Ensemble empirical mode decomposition, EEMD)和希尔伯特变换提取了边际谱和瞬时能量作为脑电特征, 利用线性判别分类器(Linear discriminant analysis, LDA)对脑电信号进行分类, 平均识别率为 82.74%. Zhang等提出了利用变分模态分解(Variational mode decomposition, VMD)和自回归(Auto regressive, AR)相结合的方法进行脑电特征提取, 并采用随机森林分类器处理三分类任务, 取得了不错的效果. 另外, 也有研究者通过非线性动力学特征对脑电情感信号进行了分析, 孙颖等利用功率谱熵和非线性全局特征相结合构造出脑电情感特征, 采用支持向量机对脑电情感进行四分类, 平均识别率达到了86.42%. 但是, 上述文献中的这些脑电特征都是依据经验进行设计手动提取的特征, 所得到的脑电特征的质量得不到保证且容易出现特征丢失. 利用传统的分类方法支持向量机, 随机森林和LDA 等进行情感识别时, 这些算法的分类结果很大程度上依赖于特征质量, 且泛化性不强. 所以, 构造出一个能够自动提取情感特征和进行分类的模型是提高脑电情感分类识别率的关键.

深度学习(Deep learning, DL)作为机器学习领域的一个重要分支, 其目标是创造一个模仿人脑学习的网络. 与传统机器学习方法相比, 其省去了手动提取特征的环节, 通过半监督或者无监督的方式来满足特征自动提取的需要, 为数据的高级别抽象表示提供了可能. 如今, 深度学习在语音识别、图像识别等领域中都得到一定程度的运用, 并且为这些领域的发展做出了一定的贡献. 由于深度学习具有自动学习提取样本抽象特征的能力, 避免了特征选择与降维的过程, 在情感识别方面, Jirayucharoensak等应用堆叠自编码器(Stack autoencoder, SAE)方法建立情感识别模型, 除此之外, 并与一些我们传统使用的分类计算方式支持向量机(Support vector machine, SVM)、朴素贝叶斯(Naive Bayesian, NB)等进行对比分析, 以此验证了深度网络的优越性. 杨豪等采用深度信念网络(Deep belief network, DBN)来识别三种脑电情感状态, 平均准确率达到89.12%, 但是DBN训练所需的时间较长, 且训练过程中易产生冗余特性. Cheng等利用深度卷积神经网络对脑电情感进行分类识别, 但是随着情感分类类别数的增加准确率出现下降, 此时体现出单一卷积神经网络(Convolutional neural network, CNN)模型的局限性. 此后, Wang等引入了3D-CNN对脑电信号进行情感识别, 唤醒度和效价的分类准确率分别为73.3%和72.1%, 但是识别脑电信号时所需的时间较长, 因为在识别前, 需要将一维的脑电信号转成三维数据形式. 阚威等利用LSTM网络对脑电情感信号进行二分类, 愉悦度分类的准确率为73.5%, 唤醒度的分类准确率为73.87%. 把脑电时序信号的各个时间点直接输入长短期记忆网络(Long short term memory, LSTM)中, 并没有达到理想的分类结果, 主要原因可能是将脑电信号的时序信息直接输入LSTM网络并不能获得与情感相关的空间频率信息特征. 在脑电情感信号处理时, 前后的关联和表征能力仍有不足之处. 所以, 有必要在LSTM的前层嫁接一个合适的用于提取脑电情感特征的神经网络结构.

因此, 本文采用深度学习中的卷积神经网络CNN和长短期记忆网络LSTM为基础, 设计了RCNN-LSTM混合深度学习模型来提高脑电情感信号的识别率, 首先, 改进传统的CNN模型, 利用循环卷积神经网络(Recurrent convolutional neural network, RCNN)来提取脑电信号特征, 以充分挖掘脑电信号的内在情感信息, 再结合LSTM对时序特征信息的融合与建模, 使其综合考虑了脑电信号的时间和空间特性, 更全面地保留了脑电信号的抽象和深层特征, 通过对最后实验结果的评估, 证明了RCNN-LSTM模型的有效性.

图 5  RCNN-LSTM结构示意图

图 6  GA-SVM的适应度曲线