引用本文

薄迎春, 张欣, 刘宝. 延迟深度回声状态网络及其在时间序列预测中的应用, 2020, 46(8): 1644−1653 doi: 10.16383/j.aas.c180264

Bo Ying-Chun, Zhang Xin, Liu Bao. Delayed deep echo state network and its application on time series prediction. Acta Automatica Sinica, 2020, 46(8): 1644−1653 doi: 10.16383/j.aas.c180264

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180264

关键词

人工神经网络，回声状态网络，深度学习，短时记忆容量，时间序列预测 

摘要

为提高回声状态网络对于时间序列预测问题的处理能力, 本文提出了一种延迟深度回声状态网络构造方法.该方法将多个子神经元池顺序连接, 每两个相邻的子神经元池之间嵌入了一个滞后环节.由于滞后环节的存在，该网络可将长时记忆任务转化为一系列短时记忆任务, 从而简化长时依赖问题的求解, 同时降低神经元池的构建难度.实验表明, 该网络具有强大的短时记忆容量, 对初始参数有较好的鲁棒性, 对时间序列预测问题的处理能力也比常规回声状态网络有显著提高.

文章导读

回声状态网络(Echo state network, ESN)是池计算网络的典型代表[1].其核心是一个由大量随机连接的神经元组成的神经元池[2]}.目前, ESN已在时间序列预测、数据挖掘、控制、语音识别等领域得到了广泛应用[3-8].与其他递归神经网络相比, ESN只需学习神经元池到输出的连接权值[9], 这使得ESN的学习非常简单, 一般采用线性最小二乘法即可获得最优的权值参数[1].尽管如此, 常规ESN仍存在一些不足.一是对于长时依赖问题需要构建规模庞大的神经元池, 这会加重计算负担, 同时增加ESN的构建难度[10-11].二是ESN构建过程具有较大的随机性, 为获得高性能的ESN, 不得不进行大量测试[12-13].

很多学者对上述问题进行了研究并获得了一些研究成果.如分组的ESN将常规ESN中单一的神经元池分解为多个子神经元池, 通过为各子神经元池设置不同的参数以使其产生多样化的动力学行为, 从而提高ESN的鲁棒性[13-14].也有学者基于"最简即最好"的原则[15-16], 通过删除池内冗余神经元来提高ESN的泛化能力[17-18].平衡的ESN表明[19], 通过合理设置反馈连接权值可以使常规ESN产生多种频率的信号, 但该方法的普适性还有待进一步验证.至今, 减小ESN构建过程中随机因素的影响, 以便通过少量的测试即获得高性能的神经元池仍是ESN领域的难题之一.此外, 长时依赖的时间序列预测问题需要ESN具有较大的短时记忆(Short-term memory, STM)容量[20].所以, 拓展STM容量也成为池计算领域的一个重要课题.研究表明, 神经元的激活特性对STM容量有重要影响[20].文献[21]提出了一种基于内部可塑性机制的神经元激活特性调整方法, 其目的是使输入信息在某种给定约束下最大化地通过神经元池.文献[22]提出了delay & sum ESN, 其在池内每个神经元后面加了一个滞后环节, 通过为每个神经元设置不同的滞后时间, 可使不同神经元存储不同时刻的信息, 从而拓展ESN的短时记忆容量.

随着深度学习研究不断深入[23], 深度的ESN也被提出[24], 其将多个子神经元池顺序连接以构成深度的结构.实验表明, 这种结构能够在一定程度上提高STM容量.

为进一步提高ESN的性能, 借鉴深度ESN的构建思想, 本文提出了延迟深度ESN (Delayed deep ESN, DDESN), 对DDESN的STM容量进行了深入分析, 并针对一些时间序列问题进行了实验研究, 结果表明, DDESN有能力构建复杂的时间序列模型, 并且能够获得较高的性能及具有较好的参数鲁棒性.

图 1  回声状态网络结构

图 2  延迟深度回声状态网络结构

图 3  DDESN的遗忘曲线及MC随滞后时间变化

本文提出了一种延迟深度回声状态网络结构框架, 并对其记忆能力进行了分析, 提出了一种滞后时间及层数优化方法.实验表明, 在合理设置滞后时间的情况下, DDESN能够拥有较大的STM容量, 并且能够产生多样化的动力学行为. DDESN的结构使得各层可以记忆不同时段的输入特征, 同时各层均与输出直接相连, 这有助于输出更全面地掌握输入信息特征, 从而更好地实现输入到输出的动力学映射.此外, DDESN的结构能够实现长时记忆任务分解, 降低神经元池的构建难度. DDESN的性能与滞后时间密切相关, 针对特定问题合理确定滞后时间是DDESN构建的关键, 文中的滞后时间优化算法本质上是一种离线的优化算法, 并且该方法的普适性还有待进一步验证.

作者简介

张欣

中国石油大学(华东)讲师. 2013年获得东北大学工学博士学位.主要研究方向为自适应动态规划理论及智能控制. E-mail: zhangxin@upc.edu.cn

刘宝

中国石油大学(华东)教授. 2006年获得东华大学工学博士学位.主要研究方向为智能优化控制. E-mail: liubao@upc.edu.cn

薄迎春

中国石油大学(华东)讲师. 2013年获得北京工业大学工学博士学位.主要研究方向为神经网络及智能控制.本文通信作者. E-mail: boyingchun@sina.com.cn