张旭, 张亮, 金博, 张红哲. 基于不确定性的多元时间序列分类算法研究. 自动化学报, 2022, 48(4): 1003−1017 doi: 10.16383/j.aas.c210302

Zhang Xu, Zhang Liang, Jin Bo, Zhang Hong-Zhe. Uncertainty-based multivariate time series classification. Acta Automatica Sinica, 2022, 48(4): 1003−1017 doi: 10.16383/j.aas.c210302    

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210302?viewType=HTML

多元时间序列预测, 图神经网络, 不确定性, 随机变分推断, 贝叶斯神经网络

多元时间序列(Multivariate time series, MTS)分类是许多领域中的重要问题, 准确的分类结果可以有效地帮助决策. 当前的MTS分类算法在个体的表征学习阶段难以自动建模多元变量之间复杂的交互关系, 并且无法评估分类结果的可信度, 这会导致模型性能受限, 以及缺乏具备统计意义的可靠性解释. 本文提出了一种基于不确定性的多元时间序列分类算法, 变分贝叶斯共享图神经网络, 即VBSGNN (Variational Bayes shared graph neural network). 首先通过图神经网络提取多元变量之间的交互特征, 然后利用贝叶斯神经网络为预测过程引入了不确定性. 最后在10个公开MTS数据集上进行了算法实验, 并与当前提出的7类算法进行了比较, 结果表明VBSGNN可有效学习多元变量之间的交互关系, 提升了分类效果, 并使得模型具备一定的可靠性评估能力.

医疗器械的信号记录等多元时间序列, 也称为MTS (Multivariate time series), 数据广泛存在于现实生活中, 有效利用这些数据可以提高生产效率及经济收益. 尤其是多元时间序列分类, 也称为MTSC (Multivariate time series classification), 问题受到了广泛的关注. 多元时间序列分类模型被用于基于脑电图, 也称为EEG (Electroencephalogram)或心电图, 也称为ECG (Electrocardiogram) 的疾病预测和运动识别等.

目前学者们提出了许多MTS分类算法. 例如基于最近邻算法的动态时间规划和基于特征的隐藏单元逻辑回归模型成功应用于许多MTS基准数据集的分类预测, 但是这些方法需要经过大量的数据预处理和特征工程设计过程. 最近, 基于深度学习的方法在时间序列分类任务中取得了较好的效果. 这些方法可以通过卷积或递归操作有效地学习MTS的低维个体特征表示, 但是无法对MTS变量之间复杂的交互关系进行建模, 从而影响最终的模型效果. 虽然毛文涛等提出了基于异常序列剔除的多变量时间序列结构化预测方法, 考虑了多元变量时间的依赖关系, 但是该方法依赖于复杂的特征处理过程.

图是一种特殊的数据形式, 由不同的节点(实体)组成, 它描述了不同节点之间的关系. 图神经网络, 又称为GNN (Graph neural network), 可以聚合图数据中相邻节点的特征信息, 获得表达能力更强的实体表征. 多元时间序列数据也可以从图结构角度来处理, 可以将多元时间序列中的变量视为图结构中的节点, 并且它们通过一定的交互关系产生连接. 因此, 利用图神经网络对多元时间序列数据进行建模是一种既考虑变量之间的交互关系又同时保留相应原始时间轨迹的有效方法. 由于多元时间序列数据并没有显式的图结构, 因而如何建立合适的图结构是首先需要解决的问题. 有的方法依赖于计算复杂度较高的自注意力机制建立图结构, 有的依赖于精心设计的多层神经网络来建立图结构, 还有的利用传统距离度量(例如点积、欧氏距离等)建立图结构的形式①, 时间和空间复杂度较高. 目前有学者提出了“共生变量对”的思想, 即在多元时间序列中出现在同一个批量样本和时间步上两个非零变量为“共生变量对”, 两个变量之间会互相影响, 初始化的影响程度为两个特征在批量样本所有共同出现时间点上的特征之和. 基于该思想构建的多元时间序列数据图结构经过一次非线性优化后在预测任务中取得了很好的效果. 该轻量级方法启发我们以此方式建立初始化的图结构, 然后利用一层神经网络进一步优化. 进而可以应用于目前比较流行的图卷积计算方式GraphSage, GIN, GAT等. 同时, 现有的多元时间序列分类预测模型仅基于输出的概率分数来确定预测类别, 这种预测分数往往是模型过度自信产生的结果, 并不可靠, 该类模型没有考虑预测过程中的不确定性, 无法表达每个样本判定结果的不确定程度. 这种不确定性已被证实带来灾难性的结果. 因而多元时间序列分类模型需要能够评估对分类结果的不确定性程度. 在提供模型的不确定性估计方面, 具备严谨数学逻辑的贝叶斯神经网络, 又称为BNN (Bayesian neural network)取得了不错的效果. BNN模型主要对参数的分布进行建模, 通过参数分布的不确定性来估计预测结果的不确定性.

综上所述, 针对目前MTS算法难以自动建模多元变量之间复杂的交互关系、以及模型未考虑不确定性的评估等问题, 本文首先基于“共生变量对”的思想构建初始化的图结构, 利用全连接神经网络自动学习(微调)多元变量对之间显性的关系, 然后利用图神经网络的消息传播与聚合机制提取多元变量隐性的复杂关系, 得到考虑了多元变量之间高阶交互关系的初始样本表征信息. 最后, 基于学习到的初始样本表征信息, 本文利用贝叶斯神经网络将预测过程中的不确定性引入模型, 使得最终的分类结果可进行不确定性度量. 本文的创新点总结如下:

1)本文提出一种端到端的基于不确定性的多元时间序列分类框架变分贝叶斯共享图神经网络, 即VBSGNN (Variational Bayes shared graph neural network). 该框架利用图神经网络建模多元变量之间的交互关系, 然后将融合了高阶隐性与显性关系的表征向量送入贝叶斯神经网络, 建模不确定性. 框架中核心的图神经网络模块和不确定性度量模块串联而非耦合, 易于扩展, 是一种轻量级的框架.

2)根据贝叶斯神经网络的计算结果, 本文提出基于样本内部类别相对不确定性的“相对方差”的不确定性度量方式来识别潜在的容易造成误判断的不确定性样本.

3)本文基于多个MTS基准数据集进行了大量的算法实验, 并与当前的主要多元时间序列分类算法进行了比较, 实验结果表明我们提出的算法模型取得了较好的分类效果, 证明了所提出的图结构学习方法、模型预测过程中提出的不确定性度量等方法是有效的.

图 3  SGNN-T和VBSGNN的预测分布方差对比

图 6  节点大小与边连接的关系 (NATO数据集)

图 7  神经网络学习到的单类别与多类别共享图结构 (NATO数据集)