Shiwg97的个人博客分享 http://blog.sciencenet.cn/u/Shiwg97

博文

John J. Hopfield and Geoffrey E. Hinton 精选

已有 6685 次阅读 2024-10-20 10:16 |系统分类:人物纪事

1729387965491.jpg

💡诺贝尔物理学奖:10 月 8 日,诺贝尔物理学奖授予了约翰・J・霍普菲尔德(John J. Hopfield)和杰弗里・E・辛顿(Geoffrey E. Hinton),表彰他们在利用人工神经网络实现机器学习方面的发现和创新。诺贝尔物理学奖的颁发,表达了人们对人工智能领域在物理学层面应用的高度认可,也标志着人工智能在科学领域的重要地位日益凸显。曾经,人工智能被视为科幻小说中的想象, 而如今,它已经成为推动物理学发展的强大动力,为解决复杂的物理问题提供了新的思路和方法。

1729389433013.jpg

约翰・J・霍普菲尔德:1933年,Hopfield出生于美国伊利诺伊州芝加哥的一个波兰裔家庭。他的父母都是物理学家,这为他从小接触科学、探索物理世界提供了得天独厚的环境。儿时的Hopfield经常拆装家里的各种电器,这种对未知世界的好奇心和探索欲,为他日后的科学研究埋下了伏笔。1950年,Hopfield考入斯沃斯莫尔学院(Swarthmore College),在这里接受了扎实的物理学基础教育。1954年本科毕业后,他进入康奈尔大学攻读物理学博士,师从著名物理学家Albert W. Overhauser。在康奈尔大学的学习期间,Hopfield不仅掌握了深厚的物理学知识,更重要的是,他学会了从一堆理论上可行但实验上无法验证的悖论中,找到要研究的问题与方向。这一方法成为他日后科学研究的重要指导思想。博士毕业后,Hopfield被聘任到贝尔实验室的理论小组工作。贝尔实验室作为当时科研的殿堂级机构,吸引了众多科学巨匠,如1977年诺贝尔奖得主P.W. Anderson等。在这里,Hopfield不仅与同事们共同攻克了许多科研难题,还结识了日后对他产生重要影响的科学家。

约翰・J・霍普菲尔德的主要发现:

1. 基因表达中的 “动力学校对”:1974 年,霍普菲尔德证明基因表达中存在的高精度可以通过称为 “动力学校对” 的偶联化学反应来解释。这一发现为遗传学领域做出了重大贡献,让人们对基因表达的精确调控机制有了更深入的理解。

2. Hopfield 神经网络:1982 年,霍普菲尔德提出了 Hopfield 神经网络(HNN)。这是一种简单的神经网络模型,能够解释神经元系统如何相互作用以产生稳定的记忆。神经元可以处于两种状态(0 表示 “不激发”,1 表示 “以最大速率激发”),神经元之间的连接具有一定的强度。通过类比描述磁性系统的数学方法,霍普菲尔德为该系统定义了一个 “能量” 概念,使得记忆处于系统的最低能量状态。这种网络能够存储多个模式,并且在获得不完整或者有噪声的输入信息时,依然能够重构出最相似的存储模式。 在1984 年,他还设计出该网络的电子线路,为人工神经网络模型的可用性提供了物理证明。

总的来说,霍普菲尔德的研究领域具有很强的跨学科性质,涉及固体物理学、分子生物学、神经科学以及计算机科学等多个领域。他将不同学科的知识和方法进行融合,扩展了统计物理学的边界,使其涵盖生命现象,从分子水平信息传输的动力学校对到神经网络的动力学,创建了一种用于思考大脑计算的新语言,这种跨学科的研究思路和方法不仅对科学研究的发展具有重要的启示意义。而且,“动力学校对” 推动了遗传学的发展, Hopfield 神经网络为人工智能和神经网络的发展奠定了基础,这些研究对神经科学、计算机科学和优化问题等领域产生了深远的影响。

1729389433031.jpg

杰弗里・E・辛顿:Geoffrey Hinton 出生于 1947 年,他的成长环境与普通孩子不同。他的祖父 George Boole 是布尔代数的创立者,而他的家族中也有不少杰出的科学家,Hinton 的家庭充满了对科学和数学的讨论。祖父的布尔代数发明不仅是计算机科学的奠基石,也深深影响了 Hinton 的思维模式。从小,他耳濡目染,科学问题成为日常讨论的话题。这种环境培育了他对科学的好奇心,尤其是对大脑如何处理信息的深切兴趣。作为一个好奇心旺盛的孩子,Hinton 并没有拘泥于单一的学术领域。相比许多学者从一开始便确定自己的研究方向,Hinton 的学术之路是一条多次调整、不断探索的曲折旅程。他对大脑运作的兴趣在早期便已显现,这种好奇心逐渐演变为他一生的学术追求,最终将他引领到人工智能领域。

杰弗里・E・辛顿的主要发现:

1. 误差反向传播算法(Backpropagation Algorithm):1986 年,辛顿与大卫・鲁梅尔哈特(David Rumelhart)等人提出了适用于多层感知机的误差反向传播算法。在此之前,多层神经网络的训练是一个难题,而该算法通过计算输出层的误差,反向传播到各层神经元,调整网络的权重和偏置,使得神经网络能够有效地进行训练,这为后来深度学习的发展奠定了重要基础。

2. 玻尔兹曼机(Boltzmann Machines):1983 年,辛顿发明了玻尔兹曼机。这是一种基于能量的随机神经网络模型,能够学习复杂的概率分布。它为神经网络引入了概率计算的思想,使神经网络能够处理不确定性问题,并且在一些复杂的任务上取得了较好的效果。后来简化后的受限玻尔兹曼机被应用于机器学习,成为深度神经网络的层级结构基础。

3. 深度信念网络(Deep Belief Networks):2006 年,辛顿发现拥有多个隐藏层的神经网络能够具有自动提取特征学习的能力,相比传统的手工提取特征的机器学习更有效果。并且通过逐层预训练的方式可以降低多层神经网络的训练难度,解决了长期以来多层神经网络训练的难题。他将这一研究成果发表,并将该模型命名为 “深度信念网络”。

4. 对卷积神经网络的理论贡献:虽然杨立昆通常被认为是卷积神经网络的发明者,但辛顿也对这一领域有重要贡献,尤其是在理论方面帮助理解卷积神经网络如何以及为何有效工作。

辛顿的这些发现和贡献对人工智能和机器学习领域产生了极其深远的影响,推动了深度学习的发展和广泛应用。他也因此被誉为 “人工智能教父” 和 “深度学习之父”。

总的来说,霍普菲尔德和辛顿的发现,为利用人工神经网络进行机器学习提供了重要的理论基础和方法,对人工智能领域的发展起到了极为重要的推动作用。



https://blog.sciencenet.cn/blog-3612310-1456076.html

上一篇:人工智能在科学研究中的应用:机遇与挑战
下一篇:Nikola Tesla
收藏 IP: 58.249.112.*| 热度|

8 许培扬 王涛 杨锦忠 崔锦华 杨正瓴 池德龙 朱林 施文广

该博文允许注册用户评论 请点击登录 评论 (9 个评论)

IP: 120.231.180.*   回复 | 赞 +1 [7]池德龙   2024-10-27 10:06
  
IP: 122.205.73.*   回复 | 赞 +1 [6]何进   2024-10-20 23:10
Geoffrey的父亲Howard Everest Hinton与韩丁与寒春为堂兄妹,因此韩丁与寒春分别为Geoffrey的堂叔与堂姑。
IP: 122.205.73.*   回复 | 赞 +1 [5]何进   2024-10-20 23:07
布尔(George Boole)长女玛丽·爱伦(Mary Ellen)与数学家Charles Howard Hinton生育四个孩子:George Hinton (1882–1943)、Eric Hinton (1884–?)、William Hinton (1886–1909)和Sebastian Hinton (1887–1923)。
最小的儿子Sebastian Hinton生有两个孩子:William Howard Hinton (1919–2004)和Joan Chase Hinton (1921–2010)。
哥哥William Hinton中文名韩丁,农学家、记者、马克思主义者,1945年来到中国,写过不少关于中国的书,其中最著名的是《翻身》,是他1948年在山西省潞城县张庄村亲历半年土改的经验写成的非纪实小说。韩丁1953年回到美国。
妹妹Joan Hinton中文名寒春,芝加哥大学核物理研究所研究生,杨振宁的同学,曾在美国洛斯阿拉莫斯国家实验室做费米的助手,是参与了曼哈顿计划的极少数的女科学家之一,原子弹的巨大破坏让她放弃核物理,1948年追随丈夫阳早 (Erwin Engst,与韩丁在康奈尔大学读书时同住一室) 来到延安,1949年在瓦窑堡结婚,随丈夫转行从事奶牛养殖工作,长期在北京农业机械化科学研究院工作,是北京第一位中国绿卡获得者。1952年、1954年及1956年他们的长子“和平”、次子“建平”及女儿“及平”相继出生。阳早于2003年12月25日在北京协和医院去世,享年85岁;寒春于2010年6月8日凌晨在北京协和医院逝世,享年89岁。具体见网页https://baijiahao.baidu.com/s?id=1808469009641291541&wfr=spider&for=pc
George Hinton为Geoffrey的祖父,Sebastian Hinton为Geoffrey的叔祖父;Geoffrey的父亲Howard Everest Hinton与韩丁与寒春为同兄妹,因此韩丁与寒春分别为Geoffrey的堂叔与堂姑。
IP: 36.163.158.*   回复 | 赞 1 +1 [4]邹文利   2024-10-20 19:35
根据姓氏,布尔应该是Geoffrey Hinton的外祖父。巧合的是,著名的国际主义战士寒春(Joan Hinton),以及她的哥哥、援华专家韩丁(William Hinton),也都姓Hinton。根据寒春个人传记,兄妹二人父亲Sebastian Hinton的外祖父也是这位英国数学家布尔,所以Sebastian Hinton与本文的主人公Geoffrey Hinton应该是同父同母的亲兄弟。不过Sebastian Hinton早在1923年就去世了,而Geoffrey Hinton在1947年才出生,兄弟二人年龄相差至少45岁,这显然违反常识。所以Geoffrey Hinton应当不是Sebastian Hinton的弟弟,而是他兄弟的儿子甚至孙子。因此布尔应该是Geoffrey Hinton的曾外祖父,或者曾曾外祖父。
IP: 122.205.73.*   回复 | 赞 1 +1 [3]何进   2024-10-20 18:23
George Boole (1815年11月2日-1864年12月8日)不是Geoffrey Everest Hinton的祖父,而是曾曾外祖父。姓都不一样,不是隔三辈,而是隔了五辈。
这么说吧,George Boole布尔有五个女儿,大女婿是数学家兼作家Charles Howard Hinton。
George Boole与小他17岁的Mary Everest于1855年结婚,共育有五个女儿,没有儿子,他的这一支系虽然断了,但五个儿女在Mary Everest的教导下,都有相当大的贡献,后代中更是名人辈出。
大女儿Mary Ellen与数学家兼作家Charles Howard Hinton生育了四个儿子(也有五个孩子的说法)。Charles Howard Hinton为Geoffrey的曾祖父。
1882年出生的老大为儿子George Hinton,是个采矿工程师,管理位于墨西哥的一所银矿。George Hinton为Geoffrey的祖父。
1912年George Hinton生子Howard Everest Hinton。Howard是著名昆虫学家,1961年当选英国皇家学会会士。Howard Everest Hinton为Geoffrey的父亲
1938年,Howard和Margaret Clark结婚,1947年Geoffrey Everest Hinton出生。
Geoffrey Everest Hinton的中间名艾佛斯特是他曾曾外祖母的姓,这是这个家族延续数代的传统。
另外,布尔的贡献应该是:“布尔创立的布尔逻辑和布尔代数,在亚里士多德传统逻辑踏步两千多年后,步入了数理逻辑的快速路,为现代计算机的出现奠定了数学基础”;“由于布尔在符号逻辑运算中的特殊贡献,很多计算机语言中将逻辑运算称为布尔运算,将其结果称为布尔值”。
总之,George Boole是Geoffrey Everest Hinton的曾曾外祖父,或者说George Boole是Geoffrey Everest Hinton曾祖父的岳父,或者说George Boole是Geoffrey Everest Hinton祖父的外公。
回复  感谢您的批评指正。
2024-10-20 19:211 楼(回复楼主) 赞 +1 | 回复
回复  你说的没错,应该是多算了一两辈
2024-10-20 19:352 楼(回复楼主) 赞 +1 | 回复
IP: 120.229.84.*   回复 | 赞 2 +1 [2]xtn   2024-10-20 14:20
辛顿则以其在神经网络领域的开创性工作而闻名,包括误差反向传播算法、玻尔兹曼机、深度信念网络等。他的研究为深度学习的发展奠定了基础,并对人工智能和机器学习领域产生了深远的影响
IP: 120.229.84.*   回复 | 赞 2 +1 [1]xtn   2024-10-20 14:20
霍普菲尔德的主要贡献包括基因表达中的“动力学校对”的发现和Hopfield神经网络模型的提出。他的研究涉及固体物理学、分子生物学、神经科学以及计算机科学等多个领域,展示了跨学科研究的巨大潜力

1/1 | 总计:7 | 首页 | 上一页 | 下一页 | 末页 | 跳转

扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2025-2-13 06:25

Powered by ScienceNet.cn

Copyright © 2007-2025 中国科学报社

返回顶部