引用本文

李文静, 李治港, 乔俊飞. 基于突触巩固机制的前馈小世界神经网络设计. 自动化学报, 2023, 49(10): 2145−2158 doi: 10.16383/j.aas.c220638

Li Wen-Jing, Li Zhi-Gang, Qiao Jun-Fei. Structure design for feedforward small-world neural network based on synaptic consolidation mechanism. Acta Automatica Sinica, 2023, 49(10): 2145−2158 doi: 10.16383/j.aas.c220638

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c220638

关键词

小世界神经网络，突触巩固机制，网络正则化，重连规则，Wilcoxon符号秩检验 

摘要

小世界神经网络具有较快的收敛速度和优越的容错性, 近年来得到广泛关注. 然而, 在网络构造过程中, 随机重连可能造成重要信息丢失, 进而导致网络精度下降. 针对该问题, 基于Watts-Strogatz (WS) 型小世界神经网络, 提出了一种基于突触巩固机制的前馈小世界神经网络(Feedforward small-world neural network based on synaptic consolidation, FSWNN-SC). 首先, 使用网络正则化方法对规则前馈神经网络进行预训练, 基于突触巩固机制, 断开网络不重要的权值连接, 保留重要的连接权值; 其次, 设计重连规则构造小世界神经网络, 在保证网络小世界属性的同时实现网络稀疏化, 并使用梯度下降算法训练网络; 最后, 通过4个UCI基准数据集和2个真实数据集进行模型性能测试, 并使用Wilcoxon符号秩检验对对比模型进行显著性差异检验. 实验结果表明: 所提出的FSWNN-SC模型在获得紧凑的网络结构的同时, 其精度显著优于规则前馈神经网络及其他WS型小世界神经网络.

文章导读

人工神经网络是受生物神经网络启发而设计出来的一种数学计算模型, 具有良好的容错能力、万能的逼近特性以及优越的自适应和自学习功能[1], 同时具备高速并行处理信息的结构[2], 可以解决复杂的工程问题. 这些优点使得人工神经网络成为当今最成功的人工智能模型之一[3], 已广泛地应用于众多领域, 如非线性系统建模[4-5]、数据挖掘[6-7]、计算机视觉[8-9]和自然语言处理[10-11]等.

1998年, Watts等[12]发现许多生物网络、社会网络介于随机网络和规则网络之间, 其拓扑结构呈现出稀疏特性, 且具有较大的聚类系数和较短的平均路径长度, 并将其定义为小世界网络. 随着人们对生物神经网络研究的深入, 借助弥散张量成像、磁共振脑功能成像等技术, 研究者发现生物神经网络在结构和功能上均呈现出小世界属性[13-15]. 研究表明, 生物神经网络较短的平均路径长度可以加快信息在网络中的传播速度, 较大的聚类系数能够增加网络的容错能力[16]. 尽管人工神经网络通过构建大量节点(神经元)之间的相互连接模拟人脑的信息处理方式, 但是其拓扑结构及功能与生物神经网络仍相去甚远.

近年来, 已有很多学者尝试将小世界属性引入人工神经网络设计中, 旨在提高人工神经网络的信息处理及容错能力. 前馈神经网络(Feedforward neural network, FNN)由于结构简单灵活[17], 且可以以任意精度逼近任一连续函数[18-19], 在模式识别、函数逼近等方面得到广泛应用[20-21]. 目前, 基于FNN的小世界神经网络设计得到越来越多的关注. Simard等[22]以多层感知器为基础模型, 建立了一种多层前馈小世界神经网络, 发现小世界神经网络比规则网络和随机网络有更快的学习速度和更高的精度. Li等[23]探究了重连概率对小世界神经网络性能的影响, 发现重连概率在0.1附近时, 网络收敛速度最快. 可见, 将小世界属性融入人工神经网络结构设计能够提升网络的收敛速度和泛化能力. 基于此, 小世界神经网络已广泛地应用到智能控制[24-25]、风力预测[26]、医疗诊断[27-28]、污水处理[29-30]等多个领域, 取得了良好的效果.

小世界神经网络的拓扑结构直接影响着网络的性能. 目前, 构造小世界神经网络的方法主要包括Watts-Strogatz (WS)[12]和Newman-Watts (NW)[31]两种方式. WS型前馈小世界神经网络通过在FNN上以一定概率随机断开相邻层连接再进行随机跨层重连实现小世界网络构建, 而NW型前馈小世界神经网络则是通过在FNN上直接随机跨层加边进行小世界网络构造. 从网络的构造方式可以看出, WS型小世界神经网络相比NW型小世界神经网络拓扑结构更加稀疏, 因此得到更多学者的关注. 在WS方式构造的基础上, 不少学者通过改进其断开或重连策略实现构造方式的优化. 例如, 李小虎等[32]对随机断开连接加以限制, 即禁止断开最后一个隐含层与输出层之间的连接, 以防止孤立神经元的产生. 王爽心等[33]提出基于层连优化的小世界神经网络的改进算法, 引入了同层节点重连的策略, 改善了小世界神经网络聚类系数偏低的问题, 并且发现输入层和输出层直接相连会造成网络性能下降. 此外, 近年来研究学者在WS构造方式的基础上对网络进行稀疏化, 以进一步提高网络的泛化性能. Guo等[34]提出了一种基于E-信息熵的剪枝算法用于稀疏化WS型前馈小世界神经网络, 在一定程度上改善了因网络结构过大而出现过拟合的问题. Li等[30]利用节点的Katz中心性衡量网络中节点的重要性, 删除不重要的节点使网络结构更加紧凑, 同时提高了网络的泛化性能. 尽管以上研究通过优化网络结构提升了网络性能, 但是在WS型构造方式中, 网络的随机跨层重连是在随机断开相邻层间连接的基础上实现的, 而连接断开的随机性可能会导致网络重要信息丢失, 在一定程度上影响网络的建模精度.

针对以上问题, 本文提出一种基于突触巩固机制[35-36]的前馈小世界神经网络(Feedforward small-world neural network based on synaptic consolidation, FSWNN-SC). 首先, 使用正则化方法对FNN进行预训练, 基于突触巩固机制选择性断开网络连接; 其次, 设计小世界网络重连规则, 同时实现网络的稀疏化, 并采用梯度下降学习算法训练网络; 最后, 通过4个UCI基准数据集和2个真实数据集进行模型性能测试, 并使用Wilcoxon符号秩检验[37]对实验结果进行显著性分析.

图 1  前馈神经网络结构示意图

图 2  突触巩固

图 3  基于突触巩固小世界神经网络构造流程

针对WS构造小世界神经网络方式中随机断开规则网络中的权值连接, 可能会造成重要信息丢失, 进而导致网络精度下降的问题, 本文提出了FSWNN-SC模型. 该模型具有以下特点:

1) FSWNN-SC模型使用正则化方法对FNN进行预训练, 断开对网络不重要的权值连接, 以减少重要信息丢失的概率, 并制定了重连规则构造小世界神经网络, 保证构造的小世界神经网络的性能;

2) FSWNN-SC模型通过在网络重连过程中删除产生的孤立节点实现网络稀疏化, 能够获得紧凑的网络结构;

3) 实验结果表明, 相比于PFSWNN-SL、PFSWNN-Katz、FSWNN-TO、FSWNN-WS以及FNN, FSWNN-SC在获得紧凑结构的同时, 在模型精度方面具有显著优势.

作者简介

李文静

北京工业大学信息学部副教授. 主要研究方向为神经网络计算, 污水处理过程智能建模. 本文通信作者. E-mail: wenjing.li@bjut.edu.cn

李治港

北京工业大学信息学部硕士研究生. 主要研究方向为神经网络结构设计与优化, 污水处理过程特征建模. E-mail: lzg551602@emails.bjut.edu.cn

乔俊飞

北京工业大学信息学部教授. 主要研究方向为污水处理过程智能控制, 神经网络结构设计与优化. E-mail: adqiao@bjut.edu.cn