|
模块化回声状态网络修剪算法是指:利用灵敏度大小判断回声状态网络子储备池模块的贡献度,并根据网络规模适应度确定子储备池模块的个数,删除灵敏度低的子模块,确定与样本数据相匹配的网络规模,解决回声状态网络的结构设计问题。
图1 无输出反馈的基本ESN结构
回声状态网络(Echo State Network, ESN)是一种新型递归神经网络, 它的核心是随机稀疏连接的庞大的储备池. ESN的储备池是随机设定的,储备池的这种随机性导致了不清晰的动态特性,一般难以达到根据具体任务相匹配的最优结构. 因此如何设计和构造根据具体任务相匹配的储备池结构是ESN研究的一个热点和难点. ESN储备池设计主要方法有:
1)确定型储备池:难以与具体任务相匹配;
2)增长方法:合适的停止准则难以确定;
3)正则化方法:正则化参数难以确定;
4)进化方法:具有很好的鲁棒性和全局搜索能力,易早熟收敛。
针对以上问题,储备池结构设计依然是研究的热点和难点,在保证网络稳定性的前提下,需要构建更加紧凑的网络结构,保证网络的泛化能力.
图2 无输出反馈的具有多个子储备池的模块化ESN结构
本文主要贡献包括:
1)利用矩阵的奇异值分解构造子储备池模块的权值矩阵,并利用分块对角阵原理生成储备池.然后利用子储备池模块输出和相应的输出层权值向量,定义学习残差对于子储备池模块的灵敏度以及网络规模适应度. 利用灵敏度大小判断子储备池模块的贡献度, 并根据网络规模适应度确定子储备池模块的个数, 删除灵敏度低的子模块.在网络的修剪过程中,不需要缩放权值就可以保证网络的回声状态特性.
2)实验结果说明,所提出的算法有效解决了ESN的网络结构设计问题,基本能够确定与样本数据相匹配的网络规模, 具有较好的泛化能力和鲁棒性.
图3 基于PMESN 和 OESN的含噪声的Lorenz时间序列预测结果
图4基于PMESN 和 OESN的含噪声的非线性系统辨识预测结果
图5基于PMESN 和 OESN的出水NH4-N浓度预测结果
引用格式:王磊, 乔俊飞, 杨翠丽, 朱心新. 基于灵敏度分析的模块化回声状态网络修剪算法. 自动化学报, 2019, 45(6): 1136-1145.
链接:http://html.rhhz.net/ZDHXBZWB/html/2019-6-1136.htm
作者简介:
王磊, 北京工业大学信息学部博士研究生, 主要研究方向为神经网络结构设计与优化.本文通信作者. E-mail: jade_wanglei@163.com
乔俊飞, 北京工业大学信息学部教授.主要研究方向为污水处理过程智能控制,神经网络结构设计与优化. E-mail: junfeq@bjut.edu.cn
杨翠丽, 北京工业大学信息学部讲师. 主要研究方向为神经网络和智能优化算法. E-mail: clyang5@bjut.edu.cn
朱心新, 北京工业大学硕士生研究生. 主要研究方向为神经网络结构设计与优化. E-mail: 1205580412@emails.bjut.edu.cn
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-8-23 23:26
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社