博文
[转载]霍普菲尔德的记忆, 辛顿的学习: 为何他们获得诺贝尔物理学奖
|||
从自旋玻璃到深度学习：霍普菲尔德与辛顿如何塑造现代人工智能
2024年10月，约翰·霍普菲尔德（John Hopfield）与杰弗里·辛顿（Geoffrey Hinton）因对人工智能（更具体地说，神经网络）的基础性贡献，共同被授予诺贝尔物理学奖。
这一决定在当时引发了一些争议——不少人最初难以理解，为何物理学奖项会颁给计算机科学家。
现在，让我们一同了解他们的生平、促成此次获奖的人工智能奠基性工作，以及他们的研究与物理学之间的关联。本年度两位物理学诺奖得主借助物理学工具开发出的方法，构成了当今强大机器学习的基石。约翰·霍普菲尔德创造了一种联想记忆模型，能够存储并重构图像及各类数据模式；杰弗里·辛顿则发明了一种可自主发现数据特征的方法，能够完成识别图像中特定元素等任务。
人物简介约翰·J·霍普菲尔德（1933年7月15日生于芝加哥）是美国物理学家。他在康奈尔大学获得博士学位，现任普林斯顿大学名誉教授。
霍普菲尔德的职业生涯具有鲜明的跨学科属性，横跨固态物理、统计力学与神经科学。正是这种独特的专业知识融合，让他对“计算如何从大量简单互联单元（类似人脑神经元）中涌现”这一命题做出了开创性贡献。
他最重要的科学成果发表于1982年，当时他在神经科学领域发表了题为《具有涌现集体计算能力的神经网络与物理系统》的论文，提出了如今广为人知的霍普菲尔德网络——一种可作为内容寻址存储器的新型人工神经网络。
杰弗里·E·辛顿（1947年12月6日生于伦敦）是英裔加拿大认知心理学家与计算机科学家，也是人工智能领域的核心人物，常被称为“AI教父”。
辛顿对人工智能的贡献跨越数十年：他运用统计物理工具创造了玻尔兹曼机，能够从数据集中自主学习识别特征元素，这项发明在图像分类与生成任务中具有重大意义。
他在多伦多的研究团队在深度学习领域取得了重大突破，彻底革新了语音识别与目标分类技术。辛顿在反向传播算法的研发中也发挥了关键作用，该算法帮助神经网络从错误中学习。
2012年，辛顿的学生亚历克斯·克里泽夫斯基（Alex Krizhevsky）与伊利亚·苏茨克维（Ilya Sutskever）开发的深度卷积神经网络在ImageNet竞赛（图像识别领域的基准测试）中取得突破性进展，这一事件被广泛视为转折点，向全世界展示了深度学习的强大能力。
霍普菲尔德网络：像大脑一样“联想”的记忆霍普菲尔德网络是一种递归神经网络，功能等同于联想存储器。
试想一下：你想回忆一首歌，却只记得几个零散的音符，大脑却能通过这些碎片重构出整段旋律——这就是霍普菲尔德网络对模式的处理方式：输入一个存储模式的残缺或含噪版本，它就能“回忆”出完整的原始模式。
我们可以对比传统计算机内存与联想内存的差异：
传统内存是地址寻址：每条数据都有固定地址，必须知道精确地址才能读取数据。例如地址0x1000存储着"Hello World"，若地址出错或丢失，要么读取失败，要么得到乱码。
联想内存则是内容寻址：不需要知道“地址”，只需输入与目标相似的片段，系统就会匹配并返回最相近的已存储模式。例如已存储模式为[+1,-1,+1,-1,+1]，输入查询[+1,-1,?,-1,?]（残缺/损坏版本），最终会返回完整的[+1,-1,+1,-1,+1]。
霍普菲尔德网络以自旋玻璃系统的物理原理为数学蓝图实现存储与检索：它将神经元类比为“自旋”，将记忆类比为低能态，与物理系统的运行机制完全一致。
想象一个充满微小磁性原子的晶格（三维网格），每个原子都可以指向“向上”↑或“向下”↓，这就是其自旋状态。这些微小磁体之间存在相互作用：有的倾向于同向排列（铁磁性），有的倾向于反向排列（反铁磁性），且相互作用可能随机、冲突。
而自旋玻璃的不同之处在于，它是一种无序磁系统，自旋间的相互作用存在“阻挫”（frustration）。举个例子：三个磁体构成三角形，每一对都希望指向相反方向，这种情况下没有任何一种排列能满足所有约束，就产生了阻挫。
由于阻挫的存在，自旋玻璃不存在唯一的完美排列，而是拥有大量不同的、较优的稳定排列，系统会“卡”在其中某一种状态里。每一种稳定排列都是一个低能态，系统会落入其中一个低能谷，但具体落入哪一个很难预测。
霍普菲尔德意识到这个物理概念完美契合记忆的原理，于是创造了一个在数学行为上与自旋玻璃完全一致的神经网络，二者的对应关系如下：
自旋玻璃 | 霍普菲尔德网络 |
|---|---|
磁自旋（↑/↓） | 神经元状态（+1/-1） |
磁相互作用 | 突触权重 |
能量最小化 | 记忆检索 |
稳定自旋构型 | 已存储的记忆模式 |
神经元之间的连接（权重）类似于磁相互作用：两个神经元间权重为正，代表它们“倾向”处于相同状态（同为+1或同为-1）；权重为负则代表它们“倾向”处于相反状态，这模拟了自旋玻璃中相互冲突的相互作用。
霍普菲尔德从物理学中借用了伊辛模型能量函数来描述这一机制：
经典伊辛模型中，每个单元（自旋σi）的取值为+1或-1，与神经元是否激活的状态对应。
系统的能量由哈密顿量H(σ)定义：
H=−i,j∑Jijσiσj+hi∑σi系统会自发演化以最小化H，趋向稳定的低能构型。
只要构建出满足以下条件的能量景观：
已存储的模式对应能量极小值（山谷）
检索过程对应“滚落”至最近极小值的过程
那么物理规律就会自动完成计算过程。
霍普菲尔德的核心洞见在于：
记忆存储可以转化为能量最小化问题
伊辛模型提供了数学框架
哈密顿量给出了动力学演化的能量函数
统计物理提供了分析工具
当然，霍普菲尔德网络也存在一些固有局限：
确定性：总是收敛到同一结果
容量有限
易陷入局部极小值（常卡在虚假状态）
缺乏学习灵活性
杰弗里·辛顿意识到，通过引入统计物理中的概率与温度概念，可以解决上述问题，构建更强大的学习系统。
他的灵感来自统计力学中的玻尔兹曼分布，该分布描述了给定温度下，粒子在不同能级上的分布情况：低能态出现的概率呈指数级更高，温度T则控制随机性的强弱。
在构建玻尔兹曼机时，辛顿将每个神经元的状态设为二进制，网络总能量的定义方式与自旋系统类似，但将神经元的激活规则改为概率性——用随机采样替代了霍普菲尔德网络的确定性更新，允许系统探索更多构型。
霍普菲尔德规则：“始终翻转以降低能量”
辛顿规则：“根据能量差以对应概率翻转”
玻尔兹曼机让人工智能系统能够自主从数据中学习，捕捉复杂模式并生成新样本，更重要的是，它为无监督预训练的发展奠定了基础，直接推动了深度学习的革命。
总结霍普菲尔德与辛顿通过将基础物理学概念转化为强大的学习与记忆工具，深刻塑造了现代人工智能的发展：
霍普菲尔德网络证明了系统即便面对损坏的输入，也能鲁棒地存储和调用结构化数据，是早期基于能量收敛的神经计算范例；
玻尔兹曼机实现了AI系统的自主学习，能够捕捉复杂模式并生成新样本，也为后续深度学习突破铺平了道路。
两人的工作共同支撑了模式识别、语言理解、图像分类等技术的发展，甚至为当今前沿大语言模型提供了底层基础。
本文原载于Stackademic，作者Okan Yenigün，聚焦AI、数据与软件领域。
https://blog.sciencenet.cn/blog-3582667-1541677.html
上一篇：[转载]赫布学习遇见霍普菲尔德网络
下一篇：[转载]注意力=霍普菲尔德检索
