引用本文

杨刚, 王乐, 戴丽珍, 杨辉. 基于连接自组织发育的稀疏跨越-侧抑制神经网络设计. 自动化学报, 2019, 45(4): 808-818. doi: 10.16383/j.aas.2018.c170374

YANG Gang, WANG Le, DAI Li-Zhen, YANG Hui. Design of Sparse Span-lateral Inhibition Neural Network Based on Connection Self-organization Development. ACTA AUTOMATICA SINICA, 2019, 45(4): 808-818. doi: 10.16383/j.aas.2018.c170374

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.2018.c170374

关键词

跨越-侧抑制神经网络，稀疏，小世界网络，智力发展 

摘要

针对跨越——侧抑制神经网络（Span-lateral inhibition neural network，S-LINN）的结构调整及参数学习问题，结合生物神经系统中神经元的稀疏连接特性，依据儿童及青少年智力发展水平与大脑皮层发育之间的相互关系，提出以小世界网络连接模式进行初始稀疏化的连接自组织发育稀疏跨越——侧抑制神经网络设计方法.定义网络连接稀疏度及神经元输出贡献率，设计网络连接增长——修剪规则，根据智力超常组皮层发育与智力水平的对应关系调整和控制网络连接权值，动态调整网络连接实现网络智力的自组织发育.通过非线性动力学系统辨识及函数逼近基准问题的求解，证明在同等连接复杂度的情况下，稀疏连接的跨越——侧抑制神经网络具有更好的泛化能力.

文章导读

人工神经网络是指受动物大脑内生物神经网络的启发而对其结构和功能进行模拟所获得的一类计算系统, 其结构设计和网络学习是理论研究的关键问题.跨越-侧抑制神经网络(Span-lateral inhibition neural network, S-LINN)是根据大脑新皮层内神经元种类、连接模式以及侧抑制机制构造的一类复杂神经网络模型, 具有良好的学习能力和泛化能力.然而, 与前馈神经网络相比, S-LINN引入了不同层神经元之间的跨越连接以及隐含层内神经元之间的侧抑制连接, 增加了网络的计算成本及复杂度.因而, 需要研究合理的网络结构调整方法, 进一步保证网络性能的发挥.

研究表明, 人脑内神经元之间的突触连接具有非常明显的稀疏(Sparse)特性[1-2].因而, 许多学者针对人工神经网络提出了一些稀疏连接的结构设计方法[3-6].稀疏神经网络的设计是在保证网络性能的前提下, 通过控制神经元及其之间连接权值的增加/删剪操作降低网络的连接成本, 提高计算效率及泛化能力.然而, 选取何种稀疏连接机制用于人工神经网络设计是一个重要且有意义的研究课题.

小世界(Small-world)网络是介于规则网络和随机网络之间的一种网络结构, 具有较短的平均路径长度和较高的聚类系数[7].由于其网络连接具有明显的稀疏特性, 且生物神经网络也具有一定的小世界特性[8-9]:邻近的节点之间密集的局部聚类或小集团连接.因此, 小世界的概念也被引入到人工神经网络结构设计研究之中. Ahn等[10]研究发现稀疏和小世界拓扑结构可以平衡网络的性能与连接成本之间的关系. Zheng等[11]认为稀疏和小世界拓扑结构是既能实现较小的连接成本, 又能保证较高的模式识别质量的有效策略, 并提出了一种简单有效的方法生成具有离散时间动力学特性的小世界神经网络. Simard等[12]研究了WS小世界神经网络的快速学习算法, 该方法在数据挖掘方面表现出了优良性能. Lago-Fernández等[13]通过计算机仿真研究了基于Hodgkin-Huxley神经元的不同连接拓扑结构, 发现小世界连接是生成快速同步振荡的最佳连接方式. Morelli等[14]研究了小世界连接神经网络的联想记忆.为了对多层前向小世界神经网络的网络参数、权值修正策略以及网络结构进行改进, 王爽心等[15]提出一种基于层连优化的小世界神经网络的改进算法, 能够获得更快的收敛速度, 更高的逼近精度, 且模型稳定性更强.为了提高时间序列的预测精度, 改进的小世界网络被用于优化泄露积分型ESN[16], 可以获得更高的预测精度和更短的训练时间. Erkaymaz等[17]将ANN作为用于癌症诊断的新型智能决策制定方法, 对比研究了两种典型小世界前馈ANN的性能, 均获得优于其他方法的性能.然而, 将固定的小世界连接模式引入经典神经网络进行结构设计仍然无法充分发挥网络的性能, 而网络结构的自组织优化则是提升网络性能的一种有效方法.

针对S-LINN的结构设计及参数优化问题, 本文根据儿童智力发展水平与大脑皮层发育之间的相互关系, 结合小世界稀疏连接, 设计一种简单有效的稀疏网络设计方法, 降低计算成本提高网络性能, 便于实际问题求解.本文第1节首先简要介绍跨越-侧抑制神经网络, 第2节详细介绍稀疏跨越-侧抑制神经网络设计方法, 第3节给出基于稀疏跨越-侧抑制神经网络的非线性动力学系统辨识及函数逼近仿真分析, 并在第4节给出结论.

图 1  全连接网络及稀疏连接网络

图 2  随机化重连

图 3  皮层变化轨迹

针对跨越-侧抑制神经网络的结构设计及参数学习, 结合生物神经网络神经元连接的稀疏特性以及人类智力发展水平与大脑皮层发育的对应关系, 设计了连接自组织发育的稀疏跨越-侧抑制神经网络学习算法.通过在学习阶段对网络连接稀疏程度的控制, 模拟大脑皮层由薄到厚再变薄的动态变化过程, 实现网络智力的发育, 从而提升网络的性能.首先, 借助小世界网络连接模式生成初始化稀疏连接S-LINN; 其次, 根据网络连接稀疏度的控制及神经元输出贡献率的判断, 设计网络自组织发育策略, 实现网络连接的动态调整; 最后, 借助反向传播学习算法对网络的参数进行学习.通过对非线性动力学系统辨识和函数逼近基准问题的求解, 验证了sS-LINN在学习阶段对网络权值连接稀疏度的调整和控制能力, 以及对网络性能的提升作用.实验结果表明, sS-LINN可以通过神经元输出贡献率的判断, 在网络权值增长阶段对输出贡献交大的神经元增加权值连接, 而在网络权值修剪阶段删除贡献值低的神经元之间的连接权值, 精简网络结构, 实现自组织发育, 提高网络性能.

作者简介

杨刚

博士, 华东交通大学电气与自动化工程学院讲师.主要研究方向为复杂系统建模, 控制与优化, 神经计算理论及应用.E-mail:dr.hankyang@gmail.com

王乐  

华东交通大学电气与自动化工程学院硕士研究生.主要研究方向为计算智能及应用.E-mail:lonersome@126.com

杨辉  

博士, 华东交通大学电气与自动化工程学院教授.主要研究方向为复杂工业过程建模控制与优化, 轨道交通自动化与运行优化.E-mail:yhshuo@263.net

戴丽珍  

博士, 华东交通大学电气与自动化工程学院讲师.主要研究方向为计算智能方法, 认知机器人学.本文通信作者.E-mail:dr.alicedai@gmail.com