引用本文

张旭, 张亮, 金博, 张红哲. 基于不确定性的多元时间序列分类算法研究. 自动化学报, 2023, 49(4): 790−804 doi: 10.16383/j.aas.c210302

Zhang Xu, Zhang Liang, Jin Bo, Zhang Hong-Zhe. Uncertainty-based multivariate time series classification. Acta Automatica Sinica, 2023, 49(4): 790−804 doi: 10.16383/j.aas.c210302

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210302

关键词

多元时间序列预测，图神经网络，不确定性，随机变分推断，贝叶斯神经网络 

摘要

多元时间序列(Multivariate time series, MTS)分类是许多领域中的重要问题, 准确的分类结果可以有效地帮助决策. 当前的MTS分类算法在个体的表征学习阶段难以自动建模多元变量之间复杂的交互关系, 并且无法评估分类结果的可信度, 这会导致模型性能受限, 以及缺乏具备统计意义的可靠性解释. 本文提出了一种基于不确定性的多元时间序列分类算法, 变分贝叶斯共享图神经网络, 即VBSGNN (Variational Bayes shared graph neural network). 首先通过图神经网络(Graph neural network, GNN)提取多元变量之间的交互特征, 然后利用贝叶斯神经网络(Bayesian neural network, BNN)为预测过程引入了不确定性. 最后在10个公开MTS数据集上进行了算法实验, 并与当前提出的7类算法进行了比较, 结果表明VBSGNN可有效学习多元变量之间的交互关系, 提升了分类效果, 并使得模型具备一定的可靠性评估能力.

文章导读

医疗器械的信号记录等多元时间序列, 也称为MTS (Multivariate time series), 数据广泛存在于现实生活中, 有效利用这些数据可以提高生产效率及经济收益[1-3]. 尤其是多元时间序列分类, 也称为MTSC (Multivariate time series classification), 问题受到了广泛的关注[4]. 多元时间序列分类模型被用于基于脑电图, 也称为EEG (Electroencephalogram)或心电图, 也称为ECG (Electrocardiogram) 的疾病预测[5]和运动识别[6-7]等.

目前学者们提出了许多MTS分类算法. 例如基于最近邻算法的动态时间规划[8]和基于特征的隐藏单元逻辑回归模型[9]成功应用于许多MTS基准数据集的分类预测, 但是这些方法需要经过大量的数据预处理和特征工程设计过程. 最近, 基于深度学习的方法[4, 10-11]在时间序列分类任务中取得了较好的效果. 这些方法可以通过卷积或递归操作有效地学习MTS的低维个体特征表示, 但是无法对MTS变量之间复杂的交互关系进行建模, 从而影响最终的模型效果. 虽然毛文涛等[12]提出了基于异常序列剔除的多变量时间序列结构化预测方法, 考虑了多元变量时间的依赖关系, 但是该方法依赖于复杂的特征处理过程.

图是一种特殊的数据形式, 由不同的节点(实体)组成, 它描述了不同节点之间的关系. 图神经网络, 又称为GNN (Graph neural network), 可以聚合图数据中相邻节点的特征信息, 获得表达能力更强的实体表征[13-14]. 多元时间序列数据也可以从图结构角度来处理, 可以将多元时间序列中的变量视为图结构中的节点, 并且它们通过一定的交互关系产生连接. 因此, 利用图神经网络对多元时间序列数据进行建模是一种既考虑变量之间的交互关系又同时保留相应原始时间轨迹的有效方法[15-16]. 由于多元时间序列数据并没有显式的图结构, 因而如何建立合适的图结构是首先需要解决的问题. 有的方法依赖于计算复杂度较高的自注意力机制建立图结构[15], 有的依赖于精心设计的多层神经网络来建立图结构[16], 还有的利用传统距离度量(例如点积、欧氏距离等)建立图结构的形式[17], 时间和空间复杂度较高[16]. 目前有学者提出了“共生变量对”[18]的思想, 即在多元时间序列中出现在同一个批量样本和时间步上两个非零变量为“共生变量对”, 两个变量之间会互相影响, 初始化的影响程度为两个特征在批量样本所有共同出现时间点上的特征之和. 基于该思想构建的多元时间序列数据图结构经过一次非线性优化后在预测任务中取得了很好的效果. 该轻量级方法启发我们以此方式建立初始化的图结构, 然后利用一层神经网络进一步优化. 进而可以应用于目前比较流行的图卷积计算方式GraphSage[19], GIN[20], GAT[21]等. 同时, 现有的多元时间序列分类预测模型仅基于输出的概率分数来确定预测类别, 这种预测分数往往是模型过度自信产生的结果, 并不可靠[22], 该类模型没有考虑预测过程中的不确定性, 无法表达每个样本判定结果的不确定程度. 这种不确定性已被证实带来灾难性的结果[23]. 因而多元时间序列分类模型需要能够评估对分类结果的不确定性程度. 在提供模型的不确定性估计方面, 具备严谨数学逻辑的贝叶斯神经网络, 又称为BNN (Bayesian neural network)[22, 24]取得了不错的效果. BNN模型主要对参数的分布进行建模, 通过参数分布的不确定性来估计预测结果的不确定性[25].

综上所述, 针对目前MTS算法难以自动建模多元变量之间复杂的交互关系以及模型未考虑不确定性的评估等问题, 本文首先基于“共生变量对”的思想构建初始化的图结构, 利用全连接神经网络自动学习(微调)多元变量对之间显性的关系, 然后利用图神经网络的消息传播与聚合机制提取多元变量隐性的复杂关系, 得到考虑了多元变量之间高阶交互关系的初始样本表征信息. 最后, 基于学习到的初始样本表征信息, 本文利用贝叶斯神经网络将预测过程中的不确定性引入模型, 使得最终的分类结果可进行不确定性度量. 本文的创新点总结如下:

1)本文提出一种端到端的基于不确定性的多元时间序列分类框架变分贝叶斯共享图神经网络, 即VBSGNN (Variational Bayes shared graph neural network). 该框架利用图神经网络建模多元变量之间的交互关系, 然后将融合了高阶隐性与显性关系的表征向量送入贝叶斯神经网络, 建模不确定性. 框架中核心的图神经网络模块和不确定性度量模块串联而非耦合, 易于扩展, 是一种轻量级的框架.

2)根据贝叶斯神经网络的计算结果, 本文提出基于样本内部类别相对不确定性的“相对方差”的不确定性度量方式来识别潜在的容易造成误判断的不确定性样本.

3)本文基于多个MTS基准数据集进行了大量的算法实验, 并与当前的主要多元时间序列分类算法进行了比较, 实验结果表明我们提出的算法模型取得了较好的分类效果, 证明了所提出的图结构学习方法、模型预测过程中提出的不确定性度量等方法是有效的.

图 1  MTS数据特征提取模型架构与优化流程

图 2  随机变分推断流程

图 3  SGNN-T和VBSGNN的预测分布方差对比

本文提出了基于不确定性的多元时间序列分类算法框架. 基于该框架可学习单类别与多类别图结构, 实验结果可以为特征分析提供很好的可解释性; 我们的框架赋予了模型不确定性度量能力, 并首次提出考虑了样本内部类别相对不确定性的“相对方差”不确定性衡量方式, 基于该方法筛选不确定性样本有效地改善了预测效果; 该框架是一个“轻量化”框架, 由于是利用TAGCN提取出来的特征进行贝叶斯建模, 因此具有计算简捷、解耦性好等特点. 与此同时, 我们的工作也存在一些局限性. 首先本文所提算法仅适用于静态时间序列数据, 而难以用于随时间延续而增长的流式时间序列预测任务. 未来可以引入迁移学习以满足流式数据的快速计算需求. 其次, 本文提出了基于“相对方差”的概念来衡量样本的不确定性, 但目前缺乏理论上深入的分析, 未来可以考虑引入互信息的角度衡量不确定性.

作者简介

张旭

大连理工大学机械工程学院硕士研究生. 主要研究方向为机器学习, 数据挖掘与应用. E-mail: zhangxu1@mail.dlut.edu.cn

张亮

东北财经大学国际商学院讲师. 主要研究方向为多元时间序列挖掘, 医疗健康大数据. 本文通信作者. E-mail: liang.zhang@dufe.edu.cn

金博

大连理工大学创新创业学院教授. 主要研究方向为信息检索, 数据挖掘和智能计算. E-mail: jinbo@dlut.edu.cn

张红哲

大连理工大学机械工程学院副教授. 主要研究方向为工业大数据的挖掘与应用. E-mail: zhanghongzhe@dlut.edu.cn