张跃中, 肖敏, 王璐, 徐丰羽. 大规模超环神经网络分岔动力学. 自动化学报, 2022, 48(4): 1129−1136 doi: 10.16383/j.aas.c200130

Zhang Yue-Zhong, Xiao Min, Wang Lu, Xu Feng-Yu. Bifurcation dynamics of large-scale neural networks composed of super multi-ring networks. Acta Automatica Sinica, 2022, 48(4): 1129−1136 doi: 10.16383/j.aas.c200130 

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c200130?viewType=HTML

神经网络, 超环结构, 时滞, 稳定性, Hopf分岔

目前绝大多数神经网络分岔动力学局限于结构简单、低维少节点模型, 这与真实的大规模神经网络系统相去甚远. 因此, 研究大量神经元耦合的高维神经网络模型更具实际应用价值. 环状及辐射状结构在神经网络中普遍存在, 提出了一类大规模超环时滞神经网络模型, 结构包含一个大环和任意多个小环, 并且每个环上拥有任意多个神经元. 运用特征值法和分岔理论, 选取时滞为分岔参数, 给出了该超环神经网络模型的稳定性条件和Hopf分岔判据. 数值仿真结果, 验证该理论结果的正确性.

众所周知, 神经网络在信号处理、自动控制、联想记忆、人工智能、生物医学治疗等领域有着广阔的应用前景, 这些基本应用在很大程度上依赖于神经网络的动力学特性. 由于神经网络动力学是生物生理学和非线性动力学的交叉学科, 研究其稳定性、振荡、分岔、混沌和同步等多种动力学行为具有生物学和动力学意义. 一般来说, 神经网络具有大规模的非线性动力学性质和复杂的行为, 为进一步把握神经网络的动力学本质, 大批研究者将研究重点放在简单的神经网络模型上, 为寻求大型复杂神经网络的研究方案做铺垫. 例如, 在文献[3]中, 作者提出了3个神经元的神经网络模型; 文献[4]研究了7个神经元的神经网络模型; 文献[5]研究了具有双向联想记忆五维神经网络. 显然, 如果仅仅研究一个简单的网络, 一些复杂问题可能会被忽略, 并且在现实生物学中神经网络以及网络的构建模型都是错综复杂, 多种多样的. 因此, 本文提出一类大型神经网络的研究是极具理论价值和实践价值.

在如神经网络、生物模型和进化生态学等大多数实际的动态网络中, 时间延迟的存在是难以避免的. 然而, 由于时滞的存在, 系统可能变得不稳定, 系统的动态行为变得更加复杂. 在神经网络中, 由于突触中信号传播速度和处理时间的有限性, 不同相邻神经元之间的通信存在时滞差异. 人们对研究具有时延的神经网络的动力学越来越感兴趣, 理论成果也相继发表. 因此, 以时滞(离散时滞、分布式时滞、多时滞、泄露时滞等)作为研究对象, 分析神经网络的特性和动力学以及控制时滞系统的动态行为是十分必要和重要的.

在动力系统中, 可通过分岔方法获得某些丰富的动力特性, 这是无可争辩的. 分岔方法的优越性在于能捕捉复杂系统的内在性质, 涉及振荡行为出现的分岔可以帮助理解网络中观察到的参数敏感性, 并提供有利于网络的信息. 例如, 对于带有抑制的环结构遗传模型, 其渐近行为得到广泛的检验. 大肠杆菌循环抑制网络模型的建立就是很好的体现. 分岔的种类也有很多种, 其中随着参数的变化, 系统在稳定与不稳定之间切换的平衡点被称为Hopf分岔点. 近年来, 对神经网络有关Hopf分岔分析进行了大量的数学研究, 人们可以通过Hopf分岔的深入而清晰的认识某个网络, 可以提供有用的网络信息, 为网络的应用提供更多的可能性. 因此, 研究神经网络的Hopf分岔具有重要意义. 此外, Hopf分岔可以由延迟诱导的生物系统是如何表现出周期性响应, 更准确地说, 由时间延迟引起的Hopf分岔可以得到一些有趣的结果, 如延迟与振荡幅度的关系. 还有研究表明, 这些Hopf分岔分析有助于生物视觉信息的快速处理, 并可用于预测大脑的病理状态.

显然, 具有时滞依赖的高维神经网络的动力学特性是值得研究的, 但影响其动力学的因素很多, 其中网络结构也是关注的因素之一. 众所周知, 约有1000亿个神经细胞组成了人的大脑, 每个神经细胞可长出2000至数万个树突与其他神经细胞连接. 然而人脑的开发仅有1%, 倘若能进一步的开发或者未来通过人工神经网络来学习生物神经网络将是极具意义和价值的. 在人脑和脊柱中, 大量的神经元构成一个大型的复杂神经网络, 通过网络的结构特性也可以简单地剖析成放射状网络、链状网络和环状网络等. 因此, 以结构作为研究点是极具代表性和研究价值的. 例如Xiao等提出了具有辐射状的神经网络模型; Bootan等和Huang等研究了具有单环状的神经网络模型. 其次, 科研者更多提出的是形式单一且结构简单的网络, 依旧缺少具有多类网络结构组合的大型网络. 为此, 本文提出一类融合多种结构的超环神经网络模型. 如图1所示, 由超多环形网络组合的大型神经网络图, 即体现了神经网络的环状、辐射状, 也可简化到链状形态. 此外, 研究这些简化的连通性结构的目的是进一步理解具有更复杂连通性的递归网络行为的机制, 以及研究复杂网络中相互连接的模式, 即网络基序, 对于了解整个网络的动态行为是非常重要的.

图 1  一类融合多种结构的超环神经网络模型图

在上述研究基础上, 本文提出一类基于时滞诱导且融合了多种结构和高维性的超环神经网络, 对该类网络的稳定分析及分岔现象问题进行研究. 本文的主要贡献如下:

1)提出一类高维超环神经网络,该网络不仅融合了多类结构, 也体现了一般性.

2)针对大型神经网络, 选用离散时滞作为分岔参数, 讨论其网络所带来的新型稳定性及分岔理论.

3)引用矩阵与线性方程组的图解法, 解决一类规则性高维复杂网络模型的特征方程问题.

图 2  当τ = 3.15, s < τ_0时, 网络(15)渐近稳定

图 3  当 τ = 3.3, s > τ_0时, 网络(15)失稳