引用本文

许美玲, 王依雯. 基于改进差分进化和回声状态网络的时间序列预测研究. 自动化学报, 2021, 47(7): 1589−1597 doi: 10.16383/j.aas.c180549

Xu Mei-Ling, Wang Yi-Wen. Time series prediction based on improved differential evolution and echo state network. Acta Automatica Sinica, 2021, 47(7): 1589−1597 doi: 10.16383/j.aas.c180549

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c180549

关键词

时间序列，预测模型，差分进化，回声状态网络 

摘要

针对回声状态网络无法根据不同的时间序列有效地选择储备池参数的问题, 本文提出一种新型预测模型, 利用改进的差分进化算法来优化回声状态网络. 其中差分进化算法的缩放因子F、交叉概率CR和变异策略自适应调整, 以提高算法的寻优性能. 为验证本文方法的有效性, 对Lorenz时间序列、大连月平均气温 − 降雨量数据集进行仿真实验. 由实验结果可知, 本文提出的模型可以提高时间序列的预测精度, 且具有良好的泛化能力及实际应用价值.

文章导读

时间序列广泛存在于人类社会生活的方方面面, 比如经济领域的生产总值、商品的销售量、股票的增长幅度等[1]; 天气领域中城市的降雨量、平均气温等[2-3]; 社会领域中城市交通流量、外来人口迁徙量及汽车能量消耗值等[4]; 工业领域中高炉炼铁的中心温度[5]、钢铁企业能源预测[6]和原油物性预测[7]等.

随着人工智能研究的不断发展, 人工神经网络、支持向量机[8]等机器学习方法逐渐成为非线性时间序列建模和预测的主要工具. 但是传统的人工神经网络如BP (Back propagation)神经网络[9]存在训练算法复杂、网络结构难以确定、易陷入局部最优和收敛速度慢等问题. 支持向量机模型若训练样本过大, 存在训练时间过长且效果不佳的问题. 极限学习机(Extreme learning machine, ELM)[10]是针对单层前馈神经网络设计的新型学习算法, 学习速度快, 泛化性能好, 但其静态前馈结构不适用于动态时间序列的建模. 随着学者们的不断研究, 发现回声状态网络(Echo state network, ESN)[11] 在时间序列预测方面存在一定的优势, 其训练算法简单, 计算快速, 且能保证解的全局最优性. 虽然回声状态网络具有以上优点, 但是也存在一些问题, 例如储备池的适应性问题、稳定性问题及病态解的出现会影响网络的泛化能力, 容易产生过拟合等.

近年来, 众多学者们针对回声状态网络存在的问题进行一些改进. 文献[12]提出一种基于L1范数正则化的改进回声状态网络, 将L1范数作为惩罚项, 防止模型出现过拟合现象, 提高模型的稳定性. 文献[13]利用改进的小世界网络优化泄露积分型回声状态网络, 有效地改进了储备池神经元的连接方式, 减少了稀疏连接的随机性, 提高了储备池的适应性. 文献[14]提出拉普拉斯回声状态网络解决了由于实际训练样本的数量小于隐藏层节点数存在的不适定问题并获得低维的输出权重. 文献[15]提出一种鲁棒回声状态网络预测模型, 采用更具鲁棒性的拉普拉斯分布代替高斯分布对数据的噪声进行描述, 消除了异常点对模型泛化能力的影响. 文献[16]结合回声状态网络和Kalman滤波, 利用Kalman滤波直接对网络的输出权值进行在线更新, 扩展了算法的适用范围, 提高预测精度. 文献[17]利用遗传算法直接优化ESN, 实现自适应非线性动力系统的控制. 文献[18]采用人工鱼群算法优化回声状态网络, 满足了聚氯乙烯聚合过程的实时控制要求. 文献[19]利用粒子群优化算法对ESN中未经训练的权重进行优化, 提高网络的预测性能.

虽然已有学者采用智能优化方法优化回声状态网络参数, 但由于回声状态网络的储备池包含节点较多、搜索空间较大, 优化效果还有待改善. 遗传算法(Genetic algorithm, GA)[17, 20]通过模拟自然进化过程搜索最优解, 但容易过早收敛, 存在早熟现象. 粒子群算法(Particle swarm optimization, PSO)[21]的鲁棒性较差而且容易陷入局部最优解, 参数的初始化对粒子群算法的性能影响较大. 蚁群算法(Ant colony optimization)[22]尽管具有较强的鲁棒性, 但是有明显的经验性, 收敛慢, 对实际问题适用性不强. 人工鱼群算法(Artificial fish, AF)[23]虽然不易陷入局部最优, 但不适合同时优化不同范围或者范围相差较大的参数, 而且人工鱼群算法本身较为复杂, 效率低. 研究中发现差分进化算法[24]简单, 具有较强的全局搜索能力, 寻优速度快, 且能平衡局部及全局的信息来进行搜索, 更具实用性, 鲁棒性. 教与学优化算法 (Teaching-learning-based optimization, TLBO)[25]原理简单、易实现, 需要调优的参数极少, 且计算效率比传统的方法计算效率高. 该算法自提出以来, 已被广泛用于函数优化、神经网络优化、工程优化等领域. 然而, 每种算法都不是万能的, 教与学优化算法也存在早熟收敛现象. 综上, 本文选用全局性较强的差分进化算法.

为使差分算法可以更加准确地找到最优解及适用性更强. 本文提出一种改进的差分算法, 一方面对缩放因子(Scale factor, F)和交叉概率(Cross rate, CR)采用自适应, 另一方面对变异策略采用自适应. 综上所述, 本文利用改进的差分进化算法来优化回声状态网络中储备池的4个重要参数, 对每个个体都分配一个适合的F、CR和变异策略, 使个体变异更加趋向于适应度好的个体, 从而加快该算法的收敛速度, 更准确地找到最优解, 提高预测精度.

图 1  ESN结构示意图

图 4  Lorenz-x(t)序列: 不同模型的适应度曲线

图 6  大连月平均气温: 不同模型的适应度曲线

本文针对不同的时间序列, 利用改进的差分进化算法来动态选择回声状态网络的参数, 以适应于不同时间序列的动力学特性, 从而提高预测精度和泛化性能. 对于标准的差分进化主要有两方面的改进: 1)对于算法的控制参数的自适应选择, 主要包括缩放因子F和交叉概率CR; 2)变异策略的自适应选择. 对两组时间序列进行预测, 仿真实验结果表明, 本文所提出的模型较其他预测模型有了很大的改善, 既具有较高的预测精度, 又具有较快的收敛速度和运行速度, 在时间序列预测分析中具有实用性和有效性、普遍性.

作者简介

许美玲

东北大学智能工业数据解析与优化教育部重点实验室讲师, 大连理工大学电子信息与电气工程学部博士后. 主要研究方向为神经网络和多元时间序列预测. 本文通信作者. E-mail: xuml@dlut.edu.cn

王依雯

大连理工大学电子信息与电气工程学部硕士研究生. 主要研究方向为时间序列预测. E-mail: wangyiwen0802@163.com