spring63的个人博客分享 http://blog.sciencenet.cn/u/spring63

博文

机器学习漫谈:感知机的兴衰 精选

已有 1380 次阅读 2021-4-8 07:39 |个人分类:机器学习漫谈|系统分类:海外观察

       20世纪50年代,是神经网络的形成年代,弗兰克·罗森布拉特提出将感知机作为有教师的学习模型(即监督学习),曾经被视为了不起的发明

20世纪60年代,马文·明斯基批评了神经网络,他在《感知机》一书中,断言研究感知机和神经网络是没有前途的,直接导致了神经网络研究的衰落,并引发人工智能的第一个寒冬

【罗森布拉特的感知机】

弗兰克·罗森布拉特(Frank Rosenblatt, 1928.7.11 - 1971.7.11)是美国心理学家,在人工智能领域享有盛名。

19587月,美国海军研究办公室公布了一项了不起的发明。一系列穿孔卡片送人一台IBM 7045吨重的房间大小的计算机),经过50次试用后,计算机自学了区分左侧标记的卡和右侧标记的卡。它的创造者弗兰克·罗森布拉特说,这是“感知”的一次演示。《纽约时报》耸人听闻地报道说,感知器是“一台电子计算机的胚胎,海军期望它能够行走、说话、看、写、自我复制,并有意识。”当时,罗森布拉特是纽约州布法罗市康奈尔航空实验室的研究心理学家和项目工程师。罗森布拉特后来成为康奈尔大学生物科学系神经生物学和行为学副教授。

 

1 弗兰克·罗森布拉特

受神经元生物学原理的启发,罗森布拉特感知机的概念要点是1神经元从其神经元接收不同强度的电脉冲形式的“信息”,这些电脉冲可能具有兴奋性或抑制性。2一个神经元整合了从其神经元收到的所有信号3如果所得到的累计大于某个阈值,则神经元会“发射”,触发动作电位,该动作电位会传递给其连接的神经元。

罗森布拉感知机输入积分是通过添加加权输入实现的,这些加权输入具有在训练阶段获得的固定权重。如果相加的结果大于给定的阈值θ,则神经元触发。当神经元触发时,其输出设置为1,否则设置为0

 

 

2 罗森布拉特的感知机图示

感知机的目标是正确地将外部用的刺激集x1x2…,xm分为两类,c1c2。分类的决策规则是:如果感知机输出y1,将输入x1x2…,xm表示的点,分配给类c1,如果感知机输出y0,则分配给类c2

罗森布拉特的感知机数学表示形式看起来像if-else条件,如果输入的加权和大于阈值b输出将为1,否则输出将为0

此处的函数具有两个参数:权重ww1w2.... wn)和阈值b。在2D情况下,感知机两类模式分类问题的决策边界,看起来像是直线:w1x1 + w2x2-b = 03是示意图。

 

3 决策边界示意图

感知机与麦卡洛克-皮茨神经元有以下区别:1权重和阈值并不完全相同。2权重可以是正的,也可以是负的。3不存在绝对抑制性突触。4输出函数fu)是[0,1]不是[-1,1](这只是约定,适当更改阈值可以从一种约定转换到另一种约定。)5最重要的是,感知机有一个学习规则。

感知机如何学习

我们重新用一种更现代方式来描述感知机,如图4所示

 

4 感知机示意图

这显示了一个感知机单元i,接收各种输入Ij,通过“突触权重”Wij进行加权。第i感知机接收来自n个输入单元的输入,这些输入单元只传递来自外部世界的输入。感知机的输出是阶跃函数:

 

对于输入单Vj=Ij。有多种方法来实现阈值,或偏差,θi。有时它被减去,而不是加到输入u中,有时它被包括在fu)的定义中。

具有三个输入的两个感知机组成的网络如下所示:

 

5 感知机网络示意图

注意,两个感知机之间没有相互作用——它们只接收来自外部的输入。称之为“单层感知机网络因为输入单元并不真正起作用。它们的存在只是为了提供一个等于网络外部输入的输出

学习方案很简单。假设ti是给定输入模式的期望“目标”输出,Vi是实际输出。误差(称为delta”)是期望输出和实际输出之间的差值,权重的变化与delta成比例。

此处, 是学习率注意,上面公式表明,如果第i个神经元的输出太小,则其所有输入的权重都会改变,以增加其总输入。同样,如果输出太大,则改变权重以减少总输入。

【马文·明斯基的《感知机》

马文·李·明斯基(Marvin Lee Minsky1927.8.9 - 2016.1.24)是美国认知和计算机科学家,主要从事人工智能的研究,麻省理工学院人工智能实验室的联合创始人,人工智能领域的第一位图灵奖得主

6 马文·明斯基

   尽管网络模型的研究,或者说“连接主义”(这是后来才出现的术语)最初蓬勃发展,但在20世纪60年代末迅速衰落。经常被认为是马文·明斯基西摩·帕普特(Seymour Papert 的帮助和怂恿,个人促成了网络模型研究的消亡,标志着连接主义研究第一阶段的结束。

马文·明斯基和西摩·帕普特领导一场运动,旨在批评神经网络研究,并将神经网络研究资金转移到“人工智能”领域。这场运动始于一份技术手稿明斯基和帕普特及其盟友之间传阅。该手稿后来经过进一步的润色、提炼和扩充,于1969年由明斯基和帕普特出版,书名为《Perceptrons感知)》(参考资料[1]此书出版后,充满争议。

在布朗克斯理工高中(Bronx High School of Science),马文·明斯基罗森布拉特是同学。20世纪60年代,明斯基曾经对罗森布拉特的感知机进行过研究和完善,但他对罗森布拉特的工作深表怀疑。在会议上,罗森布拉特和明斯基公开辩论了感知机的可行性,他们的同事和学生惊讶地看着。罗森布拉特的目标是让机器识别物体。而这在60年后最终能够做到的。问题是,罗森布拉特的感知机只有一层,而现代神经网络有数百层。当时,罗森布拉特不知道如何训练多层网络。但事后看来,罗森布拉特的算法仍然是我们今天如何训练深层网络的基础。

在《感知机》一书中,明斯基和帕普特认为,网络研究计划存在一些基本问题。他们认为有一些任务,例如计算连通性的拓扑函数和奇偶性的计算,罗森布拉特的感知机无法解决。特别是感知机不能学习计算“异或(XOR)”的逻辑函数。明斯基和帕普特的分析结果使他们得出这样的结论:尽管感知机的研究“有趣”,但最终感知机及其可能的扩展,是一个没有前途的研究方向。

明斯基在他的《感知》一书中指出,当前研究神经网络的模型是不可能的,计算时间如果不是无限的话,也是漫长的,是一个主要问题。《感知机》一书介绍计算几何,第二年,明斯基获得了A.M.图灵奖——计算机的最高荣誉,他帕普特成为新的成立的麻省理工学院人工智能实验室的联合主任。20世纪70年代初出版了一个手写的修订版和增补版,1987年又出版了一个扩充版,其中有一章专门用来反驳20世纪80年代对它的批评。

明斯基和西摩·派珀特《感知机》这本书抨击了罗森布拉特的工作,并从本质上决定了它的命运,全球主要大学对神经网络相关研究进行了十多年的非正式“冻结”,同时,导致了所谓的AI 寒冬”。

罗森布拉特没有活过人工智能的寒冬1971年,他43岁生日时,在切萨皮克湾驾驶一艘名为“希尔沃特”的单桅帆船时溺水身亡。

结语】

不管是否真的完全由于明斯基“权威”武断的话,导致了神经网络研究的衰落,但,类似的事情在科技界并不少见。不过,明斯基的《感知机》一书,是学术性的,尽管在20世纪80年代实践证明(在后面的博文中将讨论),他的结论过于仓促。

神经网络和人工智能,一荣俱荣,一损俱损。人工智能第一个寒冬,是由于感知机的衰落引起的,后来人工智能的第二个寒冬,则是由专家系统市场崩溃引起的,连带了神经网络的衰落,而21世纪10年代深度学习的辉煌,也造就了人工智能的繁荣。

参考资料:

[1] Marvin Minsky and Seymour Papert. Perceptrons. An Introduction to Computational Geometry. M.I.T. Press, Cambridge, Mass., 1969

 



http://blog.sciencenet.cn/blog-3005681-1280852.html

上一篇:机器学习漫谈:人工智能的第一项工作
下一篇:机器学习漫谈:神经网络的复苏

4 黄永义 张鹰 赵志宏 贾玉玺

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2021-4-11 19:12

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部