末流学者的自我释放空间分享 http://blog.sciencenet.cn/u/陈众

博文

ART2网络的学习规则

已有 4923 次阅读 2011-3-2 18:59 |个人分类:ART2网络及图式理论|系统分类:科研笔记| style

       经常有学习ART2网络的人问到学习规则的问题,总结如下。 常用学习规则

      1)慢速学习(Slow learning

      文献[6]中明确给出,当F2层第J个节点被激活,对应的LTM向量zJ的学习规则表达为:

                           

      由式可知,与其它神经网络相比,ART2网络的显著特点之一就是它是一种连续网络[13]。将式离散化,可以得到离散形式的慢速学习规则:

          

      文献[14]使用了符号α取代t,并明确地称α为学习速度(learning rate)。文献[15][16]采用的学习规则等同于α=1

      其它类型人工神经网络,例如BP网络,学习速率α一般在[0,1]区间内。然而从式可知,t为样本送入ART2网络进行学习的时间,没有小于1的限制。但过大的t容易引起振荡或发散,这一点很容易从离散系统的相关知识理解。

      无论F2层被激活的节点J是已定型(committed)节点还是未定型(uncommitted)节点,除非输入样本持续的时间足够长,慢速学习规则都有保留LTM向量zJ原有值的趋向,这种特性称之为慢速编码(Slow recoding)。

      2)快速学习(Fast learning)

      当输入样本持续的时间足够长,也即时间t->,等价于令式等于0,可得:

                                

      即多数ART2相关文献通常采用快速学习规则[13]。如果图1中的函数f(.)为线性函数,由文献[7],可以证明在采用快速学习条件下,LTM向量zJF1层的中间向量u方向相同。快速学习的显著特征是LTM向量zJ的幅值一次性达到1/(1-d),称之为快速定型特性(Fast commitment)。

      但需要说明的是由于STM向量u的迭代计算中用到了F2层的LTM反馈,因此,快速学习规则也具有使LTM向量zJ保持原有存储信息的能力。

      3) 折中学习(Intermediate learning )

      在实际应用中,ART2网络经常需要有一个合适的学习速率来应对噪声和保持系统稳定性,同时克服样本输入次序对分类结果的影响。文献[7]指出,相对过激的快速学习方式不适合处理噪声水平较高的数据集,而慢速学习虽然可以较好地处理噪声问题,但可能存在无意义的搜索过程,导致计算速度慢。为此,文献[7]提出了基于变形的ART2网络的折中学习概念,并称之为ART2-A算法,其主要行为特征是同时具备快速定型特性和慢速再编码特性。

      快速定型特性是指在激活了未定型(uncommitted)节点时采用快速学习,使LTM向量的模||zJ||一次达到1/(1-d),可避免了慢速学习方式造成的在已定型节点进行无意义搜索的问题。慢速再编码特性则是在激活了已定型(committed)节点时,采用近似慢速学习的学习规则,解决噪声和样本输入顺序带来的影响。      

      需要指出的是ART2的折中学习不能被理解为介于快速学习和慢速学习之间的中速学习,它是快速学习和慢速学习的有机结合。

 

      ART2网络的其它一些变形学习规则基本可以归入以上三种类型。

 

      其它一些文献提出的学习规则,例如

                                    

   

    k=1时,F2层节点J第一次激活,学习规则等同于式的快速学习,满足快速定型特性要求。随着k的不断增大,新输入向量对权重的调整作用越来越弱,也即再编码速度减慢,直到几乎完全不可再更新。

 

     这类学习规则,我个人认为难逃“画蛇添足”之嫌,错倒是错不到哪里去,但:1)首先是跑不出上述三种规则范畴;2)并无实质改进;3)引起后患,例如上式修改,就会导致最后网络等于完全丧失学习能力。

 

[13]       Martin T. Hagan, Howard B.Demuth, Mark H.Beale. Neural network design[M]. PWS Pub. Co.1996.

[14]       Ardavan AvazdavaniSeyed S. Mortazavi. Application of modified art2 artificial neural network in classification of structural members[C]. 15th ASCE Engineering Mechanics Conference, Columbia University, New York, NY , June 2-5,2002:1-6.

[15]       黄戈祥, 陈继荣. ART2神经网络在手写体汉字识别中的应用. 计算机仿真 2006 07:153-156

[16]       范红波; 张英堂; 任国全; 基于改进ART2神经网络的发动机故障诊断方法. 兵工自动化, 2006 07  :71-72+77 

 

 


https://blog.sciencenet.cn/blog-38831-418103.html

上一篇:重大十年校长印象
下一篇:St Clair Lake游记
收藏 IP: 98.250.145.*| 热度|

0

发表评论 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-6-29 21:34

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部