模块化回声状态网络修剪算法是指：利用灵敏度大小判断回声状态网络子储备池模块的贡献度，并根据网络规模适应度确定子储备池模块的个数，删除灵敏度低的子模块，确定与样本数据相匹配的网络规模，解决回声状态网络的结构设计问题。

图1  无输出反馈的基本ESN结构

回声状态网络(Echo State Network, ESN)是一种新型递归神经网络, 它的核心是随机稀疏连接的庞大的储备池. ESN的储备池是随机设定的,储备池的这种随机性导致了不清晰的动态特性,一般难以达到根据具体任务相匹配的最优结构. 因此如何设计和构造根据具体任务相匹配的储备池结构是ESN研究的一个热点和难点. ESN储备池设计主要方法有：

1）确定型储备池：难以与具体任务相匹配；

2）增长方法：合适的停止准则难以确定；

3）正则化方法：正则化参数难以确定；

4）进化方法：具有很好的鲁棒性和全局搜索能力，易早熟收敛。

针对以上问题，储备池结构设计依然是研究的热点和难点，在保证网络稳定性的前提下，需要构建更加紧凑的网络结构,保证网络的泛化能力.

图2 无输出反馈的具有多个子储备池的模块化ESN结构

本文主要贡献包括：

1）利用矩阵的奇异值分解构造子储备池模块的权值矩阵,并利用分块对角阵原理生成储备池.然后利用子储备池模块输出和相应的输出层权值向量,定义学习残差对于子储备池模块的灵敏度以及网络规模适应度. 利用灵敏度大小判断子储备池模块的贡献度, 并根据网络规模适应度确定子储备池模块的个数, 删除灵敏度低的子模块.在网络的修剪过程中,不需要缩放权值就可以保证网络的回声状态特性.

2）实验结果说明,所提出的算法有效解决了ESN的网络结构设计问题,基本能够确定与样本数据相匹配的网络规模, 具有较好的泛化能力和鲁棒性.

图3 基于PMESN 和 OESN的含噪声的Lorenz时间序列预测结果

图4基于PMESN 和 OESN的含噪声的非线性系统辨识预测结果

图5基于PMESN 和 OESN的出水NH₄-N浓度预测结果

引用格式：王磊, 乔俊飞, 杨翠丽, 朱心新. 基于灵敏度分析的模块化回声状态网络修剪算法. 自动化学报, 2019, 45(6): 1136-1145. 

链接：http://html.rhhz.net/ZDHXBZWB/html/2019-6-1136.htm

作者简介：

王磊, 北京工业大学信息学部博士研究生, 主要研究方向为神经网络结构设计与优化.本文通信作者. E-mail: jade_wanglei@163.com

乔俊飞, 北京工业大学信息学部教授.主要研究方向为污水处理过程智能控制,神经网络结构设计与优化. E-mail: junfeq@bjut.edu.cn

杨翠丽, 北京工业大学信息学部讲师. 主要研究方向为神经网络和智能优化算法. E-mail: clyang5@bjut.edu.cn

朱心新, 北京工业大学硕士生研究生. 主要研究方向为神经网络结构设计与优化. E-mail: 1205580412@emails.bjut.edu.cn