探索未知分享 http://blog.sciencenet.cn/u/gzchengzhi 社会热力学、相对论和宇宙学、暗物质、地外文明

博文

霍普菲尔德和他的神经网络 精选

已有 3697 次阅读 2024-10-9 08:12 |个人分类:物理学反思|系统分类:人物纪事

霍普菲尔德获得今年的诺贝尔物理学奖,这是一个非常令人振奋的消息。这也应该自威廉·肖克利因为晶体管的发明获得诺贝尔奖以来,另一个对信息化社会的发展有重大影响的一项技术获得诺贝尔奖,也标志着人类将从上个世纪40年代的冯诺依曼计算结构转向了21世纪以深度学习人工神经网络作为架构的计算新时代。跟他一起获得诺贝尔奖的幸顿则是反向传播算法的发明者,也是深度学习神经网络的积极推动者。在深度学习领域有着非常重大的影响。当然深度学习神经网络也奠定了现在的ChatGPT等等人工智能程序的基础。

我这里重点谈一下霍普菲尔德。霍普菲尔德是一位理论物理学家,在上个世纪80年代研究理论物理感到没有什么可以突破的方向之后,转而研究当时的由感知机构成的比较简单的神经网络。霍普菲尔德提出了一种全互连的神经网络,然后对该神经网络进行分析之后提出了一个全新的神经网络能量函数,并利用该函数成功的预测到该神经网络在不断运行的过程当中会陷入某个能量局部最小值,这个能量局部最小值可以看作是该神经网络的一个记忆模式。

当然,仅仅依靠这个全互连的神经网络,以及看起来并不是很突出的一个能量函数,并不一定会引起同行的重视,毕竟这只是一个纯粹的理论计算。因此霍普菲尔德将注意力放在了一些悬而未决的数学问题上。在这些数学问题当中,霍普菲尔德选择了旅行商的问题。旅行商问题指的是在几十个城市节点当中,一个旅行商能否不重复路线以最短路径走遍所有的城市。由于其中涉及到计算复杂性的问题,当城市的个数增长的时候,整个旅行商问题的计算难度呈现指数形式的快速增长,因此在数学上来说这是一个无法解决的问题。霍普菲尔德发现如果把这些城市看作一个神经网络中的神经元,城市与城市之间的路径看作是神经网络之间的连接,然后利用他发明的这个能量函数,他就能够计算出在整个网络运行到一定的时间之后,就会陷入某个能量极小值状态。这个能量极小值状态就对应了一条最优的线路。因为霍普菲尔德的全互联神经网络和他的能量函数成功解决了旅行商问题,他的工作得到了广泛的认可,也获得了巨大的荣誉,直到现在获得诺贝尔物理学奖。霍普菲尔德也毫无疑问地成为神经网络领域的重要的开创者。

跟创立感知机理论的前辈不一样,霍普菲尔德所创立的这种全互连接的神经网络,标志着人类对神经网络的认识上升到了一个前所未有的高度。早期创建感知机的时候,还是将这种感知机看作是跟单个晶体管相类似的一个元件。因此在计算的时候就非常重视每一步的函数的运算,需要非常严格的数学的推导来证明每一步的感知机的学习过程都必须符合数学规则的要求。而霍普菲尔德提出的全互连神经网络模型则可以摆脱感知机的这种微观复杂的运算机制,并站在一个宏观的角度上来看待神经网络问题。他提出的能量函数就是一个全局性的神经网络的函数,代表了整个神经网络所有神经元的一个集体性的行为,而这种对神经元集体行为的认识也就意味着人类把神经网络不再看作是如同半导体晶体管那样,每一个晶体管都实现特定功能的一个设备,而是将整个神经网络的运算的过程看作是所有神经元集体相互作用输出的有意义的计算的结果。这种从宏观的层面来分析神经网络的功能也带来了如同统计物理当中的那种不确定性。但是如果我们回过头来看人类的大脑思维过程,就会发现这样的神经网络实际上更接近人脑的思维的过程。而模拟人脑的这种思维过程,以前也尝试采用模糊数学的方式来进行描述,但是据此理论所发展出来的人工智能程序显然完全无法达到人工神经网络所能达到的这个高度。

霍普菲尔德提出了他的全互联神经网络之后,他的这种处理神经网络的方法得到了广泛的认可,并使得处于非常低潮的感知机神经网络的研究被重视了起来。在这之后神经网络模型得到了快速的发展。先是简单的反向传播神经网络,然后是辛顿发展出受限玻尔兹曼机网络,再到现在的深度学习卷积神经网络。这些深度学习网络的技术也取得了实际应用的成功案例。比如谷歌的阿尔法狗,而在2023年微软的ChatGPT出现之后,则神经网络完全解决了自然语言的产生和输出的问题。在生成各种文字图片内容以及翻译等等方面,展现了这种深度学习网络的强大的应用能力。

神经网络的另外一个重要的应用价值就是模拟人的大脑的思维过程以及大脑的认知状态。对于人的大脑来说,由于它的生理结构特点,我们无法直接在其运行的过程当中对它进行实验,获取非常准确的神经网络数据,但是我们通过人工神经网络就可以将大脑复杂的神经网络简化成比较简单抽象的人工神经网络,然后利用已经获得证实的各种神经网络的参数和相应计算分析技术,我们就可以得出人脑在认知的过程当中会经历哪些状态?不同的输入结果对人的大脑的思维有何影响?以及人的一生成长过程当中认知能力的变化等等。这对于认知成长理论,老年学等等这些学科的发展都会有非常积极重大的贡献。



https://blog.sciencenet.cn/blog-361477-1454376.html

上一篇:根据古特雷斯的讲话探讨建设沿海大坝的可能性
下一篇:霍普菲尔德为何敢于探索跨学科领域
收藏 IP: 116.21.94.*| 热度|

15 王涛 许培扬 孙颉 汪运山 李剑超 杨锦忠 崔锦华 杨正瓴 李毅伟 徐绍辉 康建 姚远程 科学网互动 曾杰 guest51891223

该博文允许注册用户评论 请点击登录 评论 (4 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-11-22 00:44

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部