博文

[转载]注意力=霍普菲尔德检索

已有 344 次阅读 2026-7-1 07:34 |个人分类:评论文章|系统分类:科普集锦|文章来源:转载

注意力即霍普菲尔德检索连续状态空间中的联想记忆及其与Transformer注意力的关联

阅读时长：13分钟 · 2026年4月19日

Eleventh Hour Enthusiast 著

引言

1982年，约翰·霍普菲尔德描述了一种由简单二元单元组成的网络，它可以将模式存储在连接权重中，并从部分或含噪输入中恢复这些模式。其机制是联想式的。检索由内容相似性驱动，而非显式地址。该模型吸引了物理学、神经科学和计算机科学领域的关注，但随着其他架构主导该领域，其热度逐渐消退。霍普菲尔德因此项工作与杰弗里·辛顿共同获得了2024年诺贝尔物理学奖。曾在普林斯顿霍普菲尔德指导下完成博士研究的塞恩科夫斯基（Sejnowski）在《深度学习革命》（Sejnowski, 2018）一书中记述了该网络的发展历程及其跨学科反响。

2020年，拉姆绍尔（Ramsauer）等人表明，连续状态的霍普菲尔德网络比原始二元模型具有指数级更大的存储容量，且其更新规则与Transformer中使用的注意力机制在数学上等价。这些结果重新提出了一个看似已解决的问题：注意力究竟在计算什么，以及它与早期联想记忆工作有何关联。

这种关联更为深远。当大语言模型处理提示时，注意力通过基于内容的机制从上下文窗口检索相关信息，这与霍普菲尔德检索相匹配。当检索增强系统在向量数据库中搜索时，它执行最近邻搜索，在可通过相同基于能量的框架解释的空间中找到与查询最相似的存储向量。当前系统中的智能体记忆遵循相同模式，以1982年无法企及的规模作为联想记忆运行。

本文认为，这种关联是精确的，而非仅是相似。Transformer中的注意力机制在连续状态空间中实现了与霍普菲尔德检索完全相同的基础计算，仅使用了不同的能量函数。这一观点将注意力重新框定为一种在现代环境中运行的联想记忆形式，早期容量限制不再适用，而非仅为序列建模的特定设计选择。本文将通过一系列核心问题展开论证。

霍普菲尔德网络如何存储和检索记忆？

霍普菲尔德网络通过一组连接权重存储和检索模式，理解权重的构建方式能让检索机制更加清晰。网络由N个单元组成，每个单元是模式的一个单一元素，因此单元数量必须与所存储模式的长度匹配。长度为N的多个模式可以同时存储。权重定义为：

wij=μ∑xiμxjμ

其中 $x_{i}^{μ}$ 是模式 $μ$ 中单元 $i$ 的值， $μ$ 是遍历所有存储模式的索引。求和将所有模式合并为单个权重矩阵。倾向于处于相同状态的单元形成正连接。倾向于处于相反状态的单元形成负连接。所有记忆都存储在同一个矩阵中，叠加在一组数字里。这条规则被称为赫布权重规则，源自唐纳德·赫布1949年提出的“一起激发的神经元连在一起”的观点。

一个具体示例展示了权重如何同时编码两个模式。给定 $N = 3$ 和两个模式 $[+ 1, + 1, - 1]$ 和 $[+ 1, - 1, + 1]$ ，权重变为 $w_{12} = (1/3) [(+ 1) (+ 1) + (+ 1) (- 1)] = 0$ ， $w_{13} = (1/3) [(+ 1) (- 1) + (+ 1) (+ 1)] = 0$ ，以及 $w_{23} = (1/3) [(+ 1) (- 1) + (- 1) (+ 1)] = - 2/3$ 。根据对称性， $w_{21} = w_{12}$ ， $w_{31} = w_{13}$ ， $w_{32} = w_{23}$ 。对角线项为零，因此没有单元连接到自身。正权重表示倾向于匹配的单元，负权重表示倾向于不同的单元。

检索使用相同的权重。每个单元的状态根据其他单元的加权和进行更新：

si←sign(j∑wijsj)

当网络接收到第一个模式的含噪版本 $[+ 1, + 1, + 1]$ 时，第三个单元是错误的。其更新为：

s3←sign(w31⋅1+w32⋅1)=sign(0⋅1+(−2/3)⋅1)=sign(−2/3)=−1

第三个单元翻转为-1，状态变为 $[+ 1, + 1, - 1]$ 。原始模式被恢复。

权重矩阵在存储后是固定的，在检索过程中不会改变。单元状态是临时的，代表网络的当前配置。它们从输入开始，随着网络更新而改变。权重充当长期记忆，而单元状态充当工作记忆。

这两部分的大小不同。一个具有N个单元的网络有N个单元状态，但有 $N^{2}$ 个权重。一个有一千个单元的网络有一千个状态和一百万个权重。大部分记忆存储在权重中。单元状态反映当前计算。

存储的可靠模式数量也有限制。一个具有N个单元的网络在错误可能变得频繁之前，可以存储大约 $0.14 N$ 个模式。超过这个点，存储的模式会相互干扰，网络可能收敛到不正确或混合的状态。

检索也可以通过能量函数来描述。对于单元状态 $s$ 和权重 $w$ ，能量为：

E(s)=−21ij∑wijsisj

每次更新都会降低该能量或保持不变。网络在状态空间中向没有单个更新能进一步降低能量的配置移动。这些稳定状态对应于存储的模式。

更新过程反映了单元之间的一致性。每个权重编码了两个单元在存储模式中的关联方式。在检索期间，单元结合来自其他单元的信号并调整其值。已经匹配存储模式的单元相互加强，并引导其余单元对齐。结果从许多局部交互中涌现。

通过能量曲面进行基于内容相似性的检索是组织原则，这一原则在现代系统中以1982年无法企及的规模再次出现。

当网络检索到错误的记忆时会发生什么？

当存储模式的数量远低于 $0.14 N$ 限制时，能量曲面结构简单。每个存储模式位于一个吸引盆的底部，即状态空间中网络将收敛到该模式的部分，附近的含噪或部分输入会移向正确的极小值。随着存储更多模式，曲面变得更加复杂。吸引盆变形、移动并开始相互作用。检索仍然可以成功，但会出现两种不同的故障模式。

第一种故障模式是伪状态，一种不对应于任何存储模式的稳定配置。伪状态是能量函数的局部极小值，意味着该点的能量低于所有相邻配置，但并非存储时引入的。伪状态源于权重矩阵中存储模式之间的干扰。因为所有模式都叠加在同一个权重中，模式的组合可以满足稳定性条件。网络会沉降到这些非预期的极小值之一，并返回一个从未存储的配置。过程正常完成。能量随每次更新而降低，网络达到一个固定点，但该固定点是错误的。

第二种故障模式是混合状态，发生在网络沉降到融合了两种或更多存储模式的配置时。当吸引盆重叠且输入没有明确拉向单一模式时，就会发生这种情况。网络达到一个稳定点，部分类似于多个存储模式，但与其中任何一个都不匹配。当存储模式共享结构时，混合状态更有可能发生，因为一个模式的权重会加强另一个模式的部分。混合状态具有可预测的形式。对于两个存储模式 $x_{1}$ 和 $x_{2}$ ，混合状态采用 $sign (x_{1} + x_{2})$ 的形式，这是一个其符号反映两个模式逐元素和的向量。这使得混合状态可以从存储集合中识别出来。伪状态没有这种形式，源于权重的完整交互。

两种故障模式都有相同的基本原因。赫布权重矩阵不会将模式分离到不同的位置。每个模式都对每个权重有贡献，并且这些贡献线性相加。当模式数量较少时，交叉项倾向于抵消，预期模式占主导地位。随着数量增长，交叉项积累并在能量曲面中引入额外结构。 $0.14 N$ 限制标志着这些非预期极小值变得普遍到足以破坏可靠检索的点。

伪状态类似于虚假记忆，其中稳定的回忆不对应于实际事件。混合状态类似于融合记忆，其中来自不同经历的元素结合在一起。霍普菲尔德在1982年的论文中直接指出了这一类比，指出当多个记忆存储在共享的分布式表示中时会产生干扰。这种故障模式源于联想存储的结构，而非模型缺陷。

2020年的重新表述如何改变了容量问题？

经典霍普菲尔德网络在二元单元状态上运行，并通过赫布权重规则存储模式，这两种选择都导致了相同的限制。二元状态将能量曲面限制在离散的配置集中，线性赫布规则导致存储模式之间的干扰随其数量增加而增长。 $0.14 N$ 容量限制源于这种组合。在经典网络中，能量是单元状态的二次函数，意味着它依赖于单元状态对的乘积，形式为：

E(s)=−21sTWs

拉姆绍尔等人通过在连续状态空间中用新的能量函数重新表述网络来解决这两个限制。在现代表述中，单元状态是实数，因此网络状态位于连续向量空间中。存储模式是该连续空间中的一个点，而非离散配置。网络将M个模式存储为向量 $ξ^{1}, ξ^{2}, \dots, ξ^{M}$ ，每个维度为d。能量函数变为：

E(s)=−lse(β,XTs)+21sTs+C

其中 lse 是 log-sum-exp 函数，定义为 $lo g (\sum_{i} exp (x_{i}))$ ，是一组值的最大值的平滑近似；X 是存储模式的矩阵；s 是当前状态；C 是一个常数，防止存储模式任意增长。参数 $β$ 是逆温度，这个术语借自统计物理学，其中温度控制概率在状态间的分布广度，在这里它控制网络区分存储模式的锐度。log-sum-exp 项取代了经典网络的二次能量，并改变了能量曲面的几何形状。

由此能量导出的更新规则具有特定形式。从查询状态 s 开始，一步产生一个新的状态，该状态是所有存储模式的加权组合，权重由 softmax 给出，softmax 是将一组实数转换为概率分布的函数，权重基于查询与每个存储模式之间的相似性：

snew=Xsoftmax(βXTs)

这是现代霍普菲尔德网络的检索步骤。查询同时与所有存储模式交互，softmax 将权重集中在最相似的模式上。对于足够大的 $β$ ，更新将大部分权重放在最近的存储模式上。log-sum-exp 结构比经典网络创建了更尖锐、分离更好的吸引盆。

容量结果源于该能量的几何形状。在经典网络中，干扰线性积累并使能量曲面变形。在现代网络中，log-sum-exp 项创建的吸引盆狭窄且分离良好。可以无错误地存储的模式数量随状态空间维度 d 呈指数增长，约为 $2^{a d}$ ，其中常数 a 取决于模式之间的最小间隔。在高维中，这意味着网络可以存储的模式数量随 d 呈指数增长，不再限于 N 的一个小倍数。

逆温度参数 $β$ 控制检索的锐度。在低 $β$ 下，softmax 接近均匀，结果是模式的弥散混合物。在高 $β$ 下，分布集中，检索接近最近邻选择。两种行为都源于相同的更新规则， $β$ 控制系统在混合和选择之间的位置。

注意力机制是否在执行联想记忆检索？

现代霍普菲尔德更新规则为注意力提供了直接比较点。它接受一个查询状态 s，计算查询与 X 中所有存储模式的点积，应用 softmax 产生权重，并返回存储模式的加权组合。更新为：

snew=Xsoftmax(βXTs)

这里 $X^{T}$ 表示 X 的转置，因此 $X^{T} s$ 计算查询与所有存储模式的点积。

Transformer中的注意力接受查询矩阵 Q、键矩阵 K 和值矩阵 V，计算查询与键的点积，应用按键维度平方根缩放的 softmax，并返回值的加权组合。计算为：

Attention(Q,K,V)=softmax(dKQT)V

两个表达式具有相同的结构，尽管乘法顺序的符号约定略有不同。查询 s 对应于 Q。存储模式矩阵 X 对应于 K。定义相似性的同一个矩阵 X 也产生加权组合，对应于 V。参数 $β$ 对应于 $1/ d$ 。计算是基于相似性的相同加权检索。

在单查询情况下映射最清晰。对于查询向量 q，注意力计算为：

Attention(q,K,V)=softmax(dKq)V

当 $V = X$ ， $K = X^{T}$ ，且 $1/ d = β$ 时，这就变成了霍普菲尔德更新规则。注意力是现代霍普菲尔德检索的单步。在霍普菲尔德解释中，存储模式充当键，查询是部分或含噪输入，输出是检索到的模式。在Transformer解释中，键和值是输入序列的投影，查询是当前token表示，输出是检索到的上下文。在这两种情况下，操作都是在连续联想记忆中进行加权查找。

一个结构差异是，在经典霍普菲尔德表述中，同一个矩阵同时充当键和值。在Transformer中，K 和 V 是分离的、可学习的投影，这允许模型在一个空间存储模式，从另一个空间检索输出。这通过分离存储和检索空间推广了霍普菲尔德框架。联想检索结构保持不变。

容量结果直接延续。连续状态空间和 log-sum-exp 能量意味着可以无错误检索的模式数量随键和查询向量的维度呈指数增长。在现代模型中，这些维度达数百，使注意力远远超出经典二元网络的容量限制。

联想记忆如何在智能体记忆系统中体现？

基于大语言模型的智能体通过处理包含指令、对话历史、检索文档和工具输出的上下文窗口来运行。在每一步，注意力机制读取此上下文并产生响应。根据迄今为止发展的视角，这个过程有一个直接的描述。上下文窗口是一组存储模式。当前查询是寻求检索的部分输入。注意力计算是现代霍普菲尔德检索的单步，返回上下文中与查询最相似条目的加权组合。智能体通过相同的基于能量的机制，在所有注意力头同时执行联想检索。

更准确地说，上下文窗口是一个高容量联想记忆存储，其内容通过内容相似性而非顺序或索引访问。该存储的容量随注意力头的维度扩展，这就是为什么现代智能体可以在包含数万甚至数十万个token的上下文窗口中保持连贯检索。现代霍普菲尔德公式的指数容量将实际限制置于当前使用的任何上下文窗口大小之外。

同样的框架阐明了实践中观察到的故障模式。当智能体从长上下文中检索到错误信息时，这对应于伪状态。当多个相关上下文片段产生融合响应时，这对应于混合状态。在经典网络中，这些故障源于权重矩阵中存储模式之间的干扰。在Transformer上下文窗口中，当多个条目与查询具有高相似性时，干扰就会出现。数学不同，规模更大，但故障结构相同。经典分析为推理现代系统中的检索错误提供了形式化语言。

检索增强生成将此结构扩展到上下文窗口之外。在RAG系统中，查询被编码为向量，并使用最近邻搜索与文档向量数据库进行比较。检索最相似的文档并添加到上下文中。数据库向量充当存储模式，查询向量是输入，通过点积计算相似性，检索选择最接近的匹配。RAG将相同的检索原理应用于外部记忆存储，检索步骤与注意力计算分离。

这两种机制在不同规模和不同基质上运行，但基础计算是相同的。通过注意力的上下文内检索在推理期间可用的token上工作。通过向量数据库的外部检索在大型存储文档集合上工作。两者都是基于内容的，都由点积相似性驱动，并且遵循相同的联想检索结构。结合两种机制的智能体同时以两种不同的规模运行此过程，霍普菲尔德框架为推理两者提供了形式化语言。

结论

1982年的霍普菲尔德网络是植根于统计物理学和神经科学的联想记忆模型，而Transformer注意力机制在近四十年后被引入，作为神经机器翻译中序列建模的解决方案。拉姆绍尔等人表明，这两个系统实现了相同的基础计算。现代连续状态霍普菲尔德网络的更新规则与缩放点积注意力操作共享相同的数学形式。存储容量从线性到指数的增长，源于用连续状态空间和log-sum-exp能量函数取代经典网络的二元状态空间和二次能量函数。

拉姆绍尔等人的结果改变了注意力的理解方式，这种改变是结构性的而非解释性的。注意力通过连续空间中的基于内容的检索实现联想记忆。构建在Transformer之上的系统，无论是通过上下文内检索还是外部向量数据库，都继承了这种结构。霍普菲尔德框架为这些系统如何存储和检索信息提供了统一的描述，从单个注意力头到在大型文档集合上运行的智能体。

参考文献

Hopfield, J.J.(1982). Neural networks and physical systems with emergent collective computational abilities. Proceedings of the National Academy of Sciences, 79(8), 2554-2558. https://doi.org/10.1073/pnas.79.8.2554

Ramsauer, H., Schäfl, B., Lehner, J., Seidl, P., Widrich, M., Adler, T., Gruber, L., Holzleitner, M., Pavlović, M., Sandve, G.K., Greiff, V., Kreil, D., Kopp, M., Klambauer, G., Brandstetter, J., and Hochreiter, S.(2020). Hopfield networks is all you need. arXiv e-print, arXiv:2008.02217. https://arxiv.org/abs/2008.02217

Sejnowski, T.(2018). The Deep Learning Revolution. MIT Press. https://mitpress.mit.edu/9780262038034/the-deep-learning-revolution/

标签：霍普菲尔德网络+ | Transformer注意力+ | 联想记忆+ | 神经网络+ | 注意力机制+

关注

作者：Eleventh Hour Enthusiast

====================================================

这篇文档的核心创新点在于系统性地建立了1982年霍普菲尔德联想记忆网络与Transformer注意力机制的精确数学等价关系，并将这一关联从理论推导延伸至现代AI系统的实际应用框架，具体可归纳为以下四点：

一、精确等价性证明：注意力即现代霍普菲尔德检索

文档突破了以往“类比”层面的讨论，通过严格的数学推导证明：

现代连续霍普菲尔德网络（2020年Ramsauer等人提出）的更新规则 $s_{new} = X softmax (β X^{T} s)$ 与 Transformer注意力机制 $Attention (Q, K, V) = softmax (\frac{K Q ^{T}}{d}) V$ 结构完全同构：

查询向量 $s$ （霍普菲尔德）对应 $Q$ （Transformer）；
存储模式矩阵 $X$ （霍普菲尔德）对应 $K^{T}$ （Transformer，用于计算相似度）；
输出加权组合 $X$ （霍普菲尔德）对应 $V$ （Transformer，用于生成结果）；
逆温度 $β$ （霍普菲尔德）对应缩放因子 $1/ d$ （Transformer）。

明确注意力是“单步霍普菲尔德检索”：Transformer通过一次注意力计算完成从上下文（存储模式）中检索与当前查询（如当前token）最相关信息的过程，与霍普菲尔德网络从含噪输入恢复完整记忆的机制完全一致。

二、容量突破的本质解释：从线性到指数的跨越

文档深入解释了霍普菲尔德网络容量限制被打破的根源：

经典霍普菲尔德的局限：二元状态空间+二次能量函数导致存储容量仅为 $0.14 N$ （ $N$ 为神经元数量），源于模式间的线性干扰（伪状态、混合状态）。
现代霍普菲尔德的升级：通过连续状态空间（实数值向量）和log-sum-exp能量函数（平滑最大值近似），将能量曲面改造为“窄而深”的吸引盆，使存储容量随维度 $d$ 呈指数级增长（ $2^{a d}$ ， $a$ 为常数）。
Transformer注意力的容量基础：高维键/查询向量（通常数百维）利用这一指数容量特性，突破了经典模型的存储限制，支持数万甚至数十万token的上下文窗口。

三、统一框架：覆盖从上下文到外部记忆的全场景

文档将霍普菲尔德联想记忆框架扩展至现代AI系统的两大核心应用：

智能体上下文记忆：上下文窗口被重新定义为“高容量连续联想记忆存储”，注意力机制通过内容相似性（而非索引）检索相关信息，解释了智能体维持长对话、多文档理解的能力。
检索增强生成（RAG）：外部向量数据库的检索过程与注意力检索本质相同——均通过点积相似性匹配查询与存储模式，只是规模不同（上下文内检索 vs 外部大规模数据库）。
这一框架为跨尺度记忆系统（如结合上下文与外部数据库的智能体）提供了统一的形式化描述语言。

四、故障模式的对应：为大模型错误提供理论解释

文档创新性地将经典霍普菲尔德的故障模式映射到现代AI系统的常见问题：

伪状态（虚假记忆）：对应大模型的“幻觉”（生成未存储的虚假信息），源于权重矩阵中存储模式的干扰。
混合状态（融合记忆）：对应大模型的“混合回复”（融合多个相关但不匹配的信息），源于多个高相似度上下文的竞争。
经典霍普菲尔德的分析工具（如能量曲面、吸引盆）为理解大模型错误的结构性原因提供了形式化基础，而非仅归因于训练数据或优化问题。

总结

本文的核心贡献在于将40年前的联想记忆理论与当代大模型架构焊为一体：不仅证明了注意力是霍普菲尔德检索的现代实现，更通过容量解释、场景扩展和故障分析，为理解Transformer的工作原理、优化记忆系统设计提供了统一的理论框架。这一创新直接回应了2024年霍普菲尔德获诺奖后“物理工具如何赋能AI”的深层问题，填补了从经典统计物理到现代深度学习的理论断层。

转载本文请联系原作者获取授权，同时请注明本文来自鲁学星科学网博客。
链接地址：https://blog.sciencenet.cn/blog-3582667-1541685.html

上一篇：[转载]霍普菲尔德的记忆, 辛顿的学习: 为何他们获得诺贝尔物理学奖

欢迎参加科学网十佳博文评选活动！

主办单位：