twhlw的个人博客分享 http://blog.sciencenet.cn/u/twhlw

博文

脉冲神经网络与态势感知计算计

已有 791 次阅读 2022-6-15 15:42 |个人分类:2022|系统分类:科研笔记

 Hebb学习规则是一个无监督学习规则,这种学习的结果是使网络能够提取训练集的统计特性,从而把输入信息按照它们的相似性程度划分为若干类。这一点与人类观察和认识世界的过程非常吻合,人类观察和认识世界在相当程度上就是在根据事物的统计特征进行分类。Hebb学习规则只根据神经元连接间的激活水平改变权值,因此这种方法又称为相关学习或并联学习。  唐纳德·赫布(1904-1985)是加拿大著名生理心理学家。在1949年出版的《行为的组织》中,赫布提出了其神经心理学理论。  赫布认为神经网络的学习过程最终是发生在神经元之间的突触部位,突触的联结强度随着突触前后神经元的活动而变化,变化的量与两个神经元的活性之和成正比。  由赫布提出的Hebb学习规则为神经网络的学习算法奠定了基础,在此基础上,人们提出了各种学习规则和算法,以适应不同网络模型的需要。有效的学习算法,使得神经网络能够通过联结权重的调整,构造客观世界的内在表征。  Hebb学习规则与“条件反射”机理一致,并且已经得到了神经细胞学说的证实。  巴甫洛夫的条件反射实验:每次给狗喂食前都先响铃,时间一长,狗就会将铃声和食物联系起来。以后如果响铃但是不给食物,狗也会流口水。 受该实验的启发,Hebb的理论认为在同一时间被激发的神经元间的联系会被强化。比如,铃声响时一个神经元被激发,在同一时间食物的出现会激发附近的另一个神经元,那么这两个神经元间的联系就会强化,从而记住这两个事物之间存在着联系。相反,如果两个神经元总是不能同步激发,那么它们间的联系将会越来越弱。


 Hebb学习规则的介绍中,我们将神经元简化成2种状态描述,即兴奋与抑制。若突触前后两个神经元在同一时刻具有相同的状态,则该突触连接增强;若具有相反的状态,则该突触连接减弱。STDPSpike-Timing-Dependent Plasticity,脉冲时间依赖可塑性)可认为是对Hebb学习规则的一种拓展。在实际的生物体中,神经细胞是一个复杂的动力学系统,具有静息、兴奋、发放脉冲,接收脉冲、膜电位累积、不应期等多种状态和行为。研究发现,两个神经元之间突触连接强度的变化与神经元发放脉冲的精确时间紧密相关。具体地,突触前和突触后神经元发放脉冲的相对时间差对神经元之间突触连接权值改变的方向和大小具有关键作用。这种基于突触前后脉冲发放时间的学习规则称为脉冲时间依赖可塑性,简称STDP  经典的STDP机制具体描述如下:在一定时间内,若突触前神经元发放脉冲后突触后神经元也发放了脉冲,则认为这两个脉冲的触发有因果关系,它们之间的突触连接会增强,增强的程度与两者的时间差有关;相反的,若突触前神经元在后神经元之后发放脉冲,则认为二者没有因果关系,两者间的突触连接会减弱,减弱的程度也与两者的时间差有关。为更好地描述这个时间差与突触连接权值改变量之间的关系,这里引入了学习窗口的概念,图示如下:  我们可以发现,前后脉冲发放的时间间隔越长,突触权值的改变量越小,  呈指数型衰减。 STDP学习机制与Hebb学习规则一致,  相互关联的两个神经元之间的突触连接会增强。当下次相同的刺激到来时,  突触后神经元能够更容易地被激活,而这也是大脑能够通过反复训练实现  记忆功能的生物学基础。


 计算的基础是有限的封闭性,算计的特点是有条件的开放性,计算计即从有限的客观事实Being(现实性)推理出无限的主观价值Should(可能性)。计算是确定性的推理,算计是不确定性的推理,计算计是确定性与不确定性的弥聚混合。  ​在做分类时常常需要估算不同样本之间的相似性度量,这时通常采用的方法就是计算样本间的“距离”。采用什么样的方法计算距离是很讲究,甚至关系到分类的正确与否。

常用的相似性度量包括:

无标题2.jpg

上边11种方法能否用来区分态、势、感、知的相似度?


如若不能,应该如何区分态、势、感、知的相似度?如何用计算计实现相似性的接近?

人造(别人造的势和自己造的势)的相似度是如何干扰态势感知的?



https://blog.sciencenet.cn/blog-40841-1343110.html

上一篇:关于新博弈论与新系统论的胡思乱想
下一篇:LeCun与Marcus的观点也对,也不对
收藏 IP: 124.64.125.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2022-8-8 15:47

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部