引用本文

李晴, 徐雪远, 邬霞. 面向认知表现预测的时−空共变混合深度学习模型. 自动化学报, 2022, 48(12): 2931−2940 doi: 10.16383/j.aas.c220025

Li Qing, Xu Xue-Yuan, Wu Xia. Spatio-temporal co-variant hybrid deep learning framework for cognitive performance prediction. Acta Automatica Sinica, 2022, 48(12): 2931−2940 doi: 10.16383/j.aas.c220025

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c220025

关键词

循环自编码器，时−空共变深度学习模型，混合深度学习模型，认知表现预测，脑启发模型 

摘要

认知表现预测已经成为当前大脑研究的重要课题. 功能磁共振成像技术由于同时具有较好的时间和空间分辨率, 有潜力为认知表现预测提供数据支持. 为了解决基于功能磁共振成像数据对认知表现进行预测时大脑所具有的时−空共变难刻画问题, 提出了一种新型基于大脑学习机制的时−空共变混合深度学习模型, 即深度稀疏自编码器与循环全连接网络混合模型, 以混合神经网络模型的损失函数误差作为认知表现预测能力的评价标准. 在人类连接组项目数据集上的实验结果表明, 提出的时−空共变混合模型能够有效和稳健地预测认知表现, 并提取到与人脑学习、记忆相关的有意义的脑影像特征, 从而为认知表现预测提供技术支持.

文章导读

认知表现预测是指对大脑执行认知任务时学习能力、记忆力、注意力等方面能力的预测, 在教育发展、疾病诊疗等诸多领域具有重要的应用, 一直备受研究人员的关注[1]. 认知神经科学证据显示, 神经影像数据所蕴含的大脑信息能够直接反映出大脑认知表现的处理过程[2]. 因此, 利用神经影像技术对认知表现进行预测已经成为了人们关注的焦点[3-4]. 其中, 同时具有较好的时间分辨率和空间分辨率的功能磁共振成像(Functional magnetic resonance imaging, fMRI)技术已经被广泛应用于构建上述关系.

已有多项基于fMRI数据的研究探究了脑功能与认知表现之间的关系, 并取得了不错的结果[5-6]. 深度学习作为一种强有力的预测模型, 已经被广泛应用于人脸识别、语言处理、物体检测等多个领域[7-8]. 受到已有工作启发, 多种深度学习模型被引入到基于fMRI数据的研究中, 如: 深度置信网络[9]、卷积神经网络[10]、循环神经网络(Recurrent neural network, RNN)[11]等. 深度学习具有突出的特征提取能力, 使其能够为建立脑功能与认知表现间的关系提供支持, 并进一步实现对认知表现的预测[12-13].

研究表明, 大脑功能网络具有时−空共变的特性, 即不仅在空间上存在脑区协同的脑网络模式, 在时间上存在着动态变化的特性, 且不同空间网络与时间维度序列存在交互作用[14]. 受其影响, 大脑的认知表现也在空间维度中受到大脑功能网络的系统性影响, 在时间维度上受到重复性、衰减性等动态性影响[3]. 因此, 受大脑功能网络时−空共变特性的启发, 从时−空共变角度来预测认知表现, 将能够更加完善地对其进行信息处理与分析.

目前, 有研究者提出一种多任务学习模型, 采用最小化奇异值的方式对低秩公共子空间进行表征, 从而联合分析神经影像数据和认知行为数据, 实现了认知表现预测[15]. 然而, 以上研究依然未能在基于大脑学习机制的同时, 利用时−空脑数据对认知表现进行预测[16], 从而限制了认知表现预测的能力. 因此, 将大脑学习机制引入到时−空共变深度认知表现预测模型中非常有必要. 最近, 一种学习机制启发的深度学习模型被提出, 即深度稀疏循环自编码器算法 (Deep sparse recurrent autoenco-der, DSRAE). 该算法被用来对时−空共变fMRI特征进行分析, 验证了其对时−空共变脑数据的重建能力及对特征的高效分析能力[11, 17]. 在本研究中, 为了更好地预测认知表现能力, 本文结合DSRAE模型和循环全连接网络(Recurrent fully connected net, RFNet)构建了一种时−空共变混合深度学习模型(如图1所示), 称为DSRAE-RFNet. 为了验证本文提出的模型, 本文采用人类连接组项目数据集(Human connectome project, HCP)[18]中被试执行工作记忆任务的反应时间(Reaction time, RT) 和准确率(Accuracy, ACC)作为认知表现预测的目标.

图 1  基于大脑学习机制的时−空共变混合DSRAE-RFNet模型框架

本研究的目的是构建基于DSRAE-RFNet算法的认知表现预测模型. 在保证高预测准确率的同时, 获取有意义的神经影像预测特征作为神经学标记物. 本文的创新点在于:

1)提出了一种新的时−空共变混合深度学习模型, 采用混合损失函数, 同时利用脑影像数据与认知表现数据对时−空共变混合神经网络模型进行训练. 算法面向认知表现预测需求, 基于fMRI数据特点, 利用高维度时−空共变神经影像特征对认知表现进行预测. 相较单一损失函数算法, DSRAE-RFNet算法以高维度时−空共变脑影像特征为桥梁, 建立了神经影像数据与认知表现之间的关系.

2)引入了人类大脑学习机制, 能够有效借助大脑变化中的时序依赖关系, 利用神经影像高维度时−空共变特征, 实现认知表现的精准预测. 采用定量分析的方式, 证明了DSRAE-RFNet算法作为一种脑启发算法模型, 在认知表现预测方面具有明显优势. 从认知神经科学的角度, 证明了大脑学习机制对认知表现预测的重要性.

3)在DSRAE算法的基础上, 加入了RFNet模型, 构建了新的能够有效提取大脑高维度时−空共变特征的认知表现预测模型. 面向fMRI数据特点, 利用长短时记忆(Long short term memory, LS-TM)层获取包含数据有利信息的高维度时−空共变特征, 并利用全连接层对认知表现进行预测. 作为一种受fMRI数据本身特点驱动的算法模型, DSR-AE-RFNet模型不仅能够鲁棒地预测认知表现, 而且可以提取到有意义的神经影像预测特征. 该混合学习模型为揭示人类大脑认知机制提供了新思路.

图 2  DSRAE-RFNet模型在3组被试上对RT、ACC分别进行预测时的MSE损失图

图 3  DSRAE-RFNet模型在3组被试上对RT、ACC的预测结果

本文提出了一种新型基于大脑学习机制的时−空共变混合深度学习模型DSRAE-RFNet, 用来预测认知表现, 并同时提取相关的时−空共变神经学特征. 本文采用HCP数据集中的工作记忆任务作为本研究的训练、验证及测试集, 获得了非常有意义的结果.

为了证明本文提出的DSRAE-RFNet模型的鲁棒性, 本文将模型扩展到了HCP数据集中提供了RT和ACC认知表现信息的情感任务、语言任务和关系任务上, 用于对被试的认知能力进行预测. 结果表明, DSRAE-RFNet模型除了能够对被试执行工作记忆任务时的认知表现进行预测外, 还能够稳定地对多种认知任务的认知表现能力进行预测(如表5所示). 其中, 相较其他三种认知任务, 情感任务的RT和ACC预测准确率相对偏低, 这可能与被试执行情感任务时对人脸和图形判断的相关认知表现差异并不明显有关[18].

总之, 作为一种面向认知表现预测需求的新型时−空共变混合深度学习模型, 本文提出的DSRAE-RFNet算法能够基于学习机制, 受fMRI数据本身特点驱动, 充分利用认知神经科学先验信息. 算法模型不仅能够基于fMRI数据预测认知表现, 同时能够获得认知任务有意义的神经影像学特征. 通过对3组被试的验证与测试, 证明了本文提出的DSRAE-RFNet模型的有效性和鲁棒性. 与经典线性、非线性以及前沿算法的比较结果同样证明, 本文提出的算法在预测效果和效率上均具有优势. 基于本文研究, 未来将在以下几方面进行研究: 1)继续尝试其他混合深度学习模型, 如多核学习[36-38]方式, 采用自适应的损失函数优化方式, 以期更加有效地利用神经影像特征来预测认知表现; 2)基于神经网络结构搜索框架, 针对不同认知表现数据的预测任务, 对DSRAE-RFNet中DSRAE部分的空间维度特征维度进行优化和搜索[39], 以期得到更加具有任务特异性的算法结构; 3)本文在对大脑时−空共变特征进行分析时, 空间维度特征是基于时间维度特征通过弹性网络回归分析得到的, 尚未结合和利用深度学习模型. 未来将结合生成模型, 对空间特征进行生成; 4)由于DSRAE-RFNet模型并不依赖于认知任务的具体任务刺激, 因此有潜力基于静息态fMRI数据对认知表现进行预测. 未来将基于静息态fMRI数据, 利用DSRAE-RFNet模型对被试的决策能力等认知行为指标进行预测[40].

作者简介

李晴

北京师范大学认知神经科学与学习国家重点实验室博士后. 2022年获北京师范大学博士学位. 主要研究方向为脑影像智能分析. E-mail: liqing@bnu.edu.cn

徐雪远

2022年获北京师范大学人工智能学院博士学位. 主要研究方向为脑信号智能分析. E-mail: xuxueyuan@mail.bnu.edu.cn

邬霞

北京师范大学人工智能学院教授. 2008年获北京师范大学认知神经科学与学习研究所博士学位. 主要研究方向为医学图像处理. 本文通信作者. E-mail: wuxia@bnu.edu.cn