熵的范畴化历史：从概率不变量到资源范畴

一条暗线：熵最早被当作"一个分布的某种数值"，后来被发现是"一个过程损失了多少信息"，再后来被发现是"一个态/信道离确定性差多远"，最后变成资源理论里"免费操作允许什么、禁止什么"的语法本身。

一、起点：熵不是函数，是"形状不变量"历史细节

香农1948年那篇《A Mathematical Theory of Communication》里，熵的出现方式其实很"工程化"。他不是从公理出发的——他是列出几条他认为任何合理的"不确定性度量"必须满足的性质，然后解出函数形式。那几条性质是：

1. 连续性：概率的微小变化只引起不确定性的微小变化（不能有跳跃）

2. 单调性：等概率时，选项越多越不确定，且严格递增

3. 可分解性（即后来的分组性质）：先选大类再选小类，总不确定性 = 大类的不确定性 + 加权平均的小类不确定性

第三条是他真正的洞察。他用一个具体的例子说明：先掷一个四面骰子选语言字母分组，再在组内选具体字母——总不确定性必须能拆开算。这其实就是链规则的直觉原型。

然后他证明（附录里）满足这三点的函数只能是 $H = -K \sum p_i \log p_i$。

Khinchin 1953–1956 的公理化把这件事做得更干净。他把香农的"可分解性"提炼成后来熟知的 Khinchin 公理组：

• 对称性（排列不变）

• 连续性

• 极值性（均匀分布时取最大值，且随选项数递增）

• 分组性：$H(p_1, \dots, p_n) = H(p_1+p_2, p_3, \dots, p_n) + (p_1+p_2)H(\frac{p_1}{p_1+p_2}, \frac{p_2}{p_1+p_2})$

Fadeev 1956 进一步精简，证明只需要对称性 + 连续性 + 一个弱化版的分组性就足够唯一确定香农熵。这是第一次有人证明"香农熵是满足这些朴素条件的唯一函数"——不是人选了它，是条件逼出了它。

通俗解释

想象你有一袋彩色弹珠，红黄蓝绿各占一定比例。你想用一个数字来概括"这袋弹珠的颜色有多杂"：

• 如果全是红色，数字应该是 0（不杂）

• 如果红黄蓝绿各占 25%，数字应该最大（最杂）

• 如果把弹珠重新排个顺序，数字不变

• 如果概率稍微调一点，数字只变一点点

香农问的是：有没有一个公式，能同时满足所有这些"显然应该成立"的要求？答案是：有，而且只有一个（差个常数倍）。这就是熵。

但注意：这时候熵是贴在"一袋弹珠"上的标签。它描述的是一个状态，不是一次变化。范畴论者会问的那个问题是：如果弹珠从一袋变成另一袋——这个过程本身有没有信息代价？

二、第一次范畴化：从"对象的熵"到"态射的信息损失"历史细节

Baez、Fritz 和 Leinster 2011 年的论文 A Characterization of Entropy in Terms of Information Loss 是这一步的标志性工作。背景值得说：

John Baez 当时在写他的 This Week's Finds 系列博客，试图用范畴论重新理解物理中的各种"量"。Tobias Fritz（当时还是博士生）和 Tom Leinster（范畴论/生态学多样性度量专家）加入。他们注意到一个被忽视的事实：

香农熵从来不只是"分布的性质"——它出现在数据处理不等式、信道编码定理里时，本质上是在衡量"经过一个操作之后丢了多少信息"。

所以他们构造了范畴 FinProb：

• 对象：有限集合 $X$ 配上概率分布 $p$

• 态射 $f: (X,p) \to (Y,q)$：函数 $f: X \to Y$，满足 $q_j = \sum_{i: f(i)=j} p_i$（保测度）

然后他们不定义"分布的熵"，而是定义态射的信息损失​ $F(f)$——即输入分布 $p$ 经过确定性处理 $f$ 后"消失了多少信息"。

三条要求：

1. 函子性：$F(g \circ f) = F(g) + F(f)$ —— 损失可加，就像路程可以分段算

2. 凸线性：如果你以概率 $\lambda$ 使用过程 $f$、以 $1-\lambda$ 使用过程 $g$，总损失是加权平均

3. 连续性：过程连续变化时损失连续变化

定理：满足这三点的 $F$ 必然是 $F(f) = c(H(p) - H(q))$，其中 $c$ 是常数。

换句话说：香农熵差是信息损失函子的唯一可能形式。更妙的是，如果你把 $F$ 作用于恒等态射，得到 $F(\text{id}) = c(H(p) - H(p)) = 0$——恒等过程不损失信息，自洽。如果你取 $f$ 把任意分布压到单点（确定性输出），损失就是 $c \cdot H(p)$——全部熵都丢了，完美对应。

通俗解释

想象你有一叠写了字的卡片，每张卡片上的字按某种概率分布出现。现在你用一个规则把卡片分组——比如"所有以A开头的归为一组"。分组之后，你只知道组名，不知道具体是哪个字。

信息损失就是你"忘掉"了多少。

关键洞察是：这个"忘掉的量"只取决于输入有多随机、输出有多随机，而且如果你分两步分组（先按首字母、再按长度），总忘掉量 = 第一步忘掉的 + 第二步忘掉的。这就是函子性。

Baez 他们证明的是：任何合理的"忘掉信息"的度量方式，都必然归结为香农熵的差。不是我们定义了熵然后发现它能度量损失——而是"度量损失"这个需求本身逼出了熵。

三、Operad 时期：熵是"粘合概率分布的法则"的缺陷历史细节

Tom Leinster 2011–2012 年的工作（后来整理进他的书 Entropy and Diversity: The Axiomatic Approach, 2021）把 Fadeev 定理翻译成了 operad​ 语言。

Operad 是什么？直觉上，它是一个描述"可组合操作"的代数结构。比如：

• 你有 $P = (p_1, \dots, p_n)$ 描述选餐厅的概率

• 对每个餐厅 $i$，你有 $Q_i = (q_{i1}, \dots, q_{im})$ 描述在该餐厅点菜的概率

• 把它们"粘"在一起，得到一个 $n \times m$ 维的新分布 $P \circ (Q_1, \dots, Q_n)$

这个"粘合"操作满足结合律（先选菜系再选餐厅再点菜，跟直接选菜是同一件事），正是 operad 的复合律。

Leinster 观察到：香农熵对粘合的响应是

$$H(P \circ (Q_i)) = H(P) + \sum_i p_i H(Q_i)$$

如果熵是一个真正的 operad 同态（即 $H(P \circ Q_i) = H(P) + H(Q_i)$ 的某种同态版本），右边不应该有 $H(P)$ 这一项。它多出来的这个 $H(P)$ 意味着：熵不是同态，而是同态的"亏损"。

在 operad 语言里，这叫 lax point​ 或 derivation（推导子）。推导子是代数里描述"乘积法则偏差"的东西——就像莱布尼茨法则里的那项额外项。

另一条独立线路：Baudot 和 Bennequin（2015）以及后来的 Vigneaux（2019）把熵解释为 信息范畴中的 1-闭链（1-cocycle）。链规则 $\delta H = 0$ 意味着熵在边界上"闭合"——它不依赖你如何切分过程，只依赖起点和终点。这跟 de Rham 上同调里闭形式不依赖路径的直觉完全平行。

两条线殊途同归：熵是概率语法的微分。

通俗解释

想象你在做分层决策。先选国家，再选城市，再选餐厅。香农熵告诉你：总不确定性 = 选国家的不确定性 + 加权平均的选城市的不确定性 + ……

但注意那个"+"号——它不是免费的。选国家本身就有不确定性，这个不确定性必须被"额外支付"。熵就是那个额外项。

在代数里，如果一个操作完美地"分配"到各部分，我们说它是同态。熵不是同态——它多出来一块。这块多出来的东西不是bug，它是feature：它记录了"粘合"这个动作本身的信息代价。

类比：导数满足莱布尼茨法则 $d(fg) = df \cdot g + f \cdot dg$。如果有一个"量"不满足这种分配性，它多出来的部分就叫推导子。熵就是概率分布粘合操作的推导子。

四、Markov Category：熵变成"离确定性有多远"历史细节

Paolo Perrone 的工作是这条线的核心。她在 2020 年前后系统发展了 Markov category​ 框架（见其 2024 年著作 Markov Categories and Entropy）。

Markov category 是对称幺半范畴，每个对象有：

• copy​ 映射：$X \to X \otimes X$（你可以复制一份随机状态）

• discard​ 映射：$X \to I$（你可以扔掉它，其中 $I$ 是终端对象）

确定性态射 $f$ 满足一个关键方程：

$$\text{copy} \circ f = (f \otimes f) \circ \text{copy}$$

什么意思？如果你先处理数据再复制两份，结果应该跟先复制两份再分别处理一样。确定性操作尊重复制结构。

随机信道（比如有噪声的通信信道）不满足这个等式。它让图"歪了"。

Perrone 定义熵为：

$$H_D(f) = D(\text{copy} \circ f \,\|\, (f \otimes f) \circ \text{copy})$$

其中 $D$ 是任意散度（KL散度、α-散度等）。

这是全文的分水岭。它意味着：

• 香农熵 = KL散度实例化这个图歪斜度

• Rényi 熵 = α-散度实例化

• 互信息 = 联合分布离"独立"有多远（即 copy 图在乘积分布上的歪斜）

• 条件互信息 = 条件独立失败的程度

信息论里那些"看起来各不相关的不等式"，在这个框架里全部变成同一句话：确定性操作不放大非确定性，所以某些图的不交换程度在免费操作下单调不增。

通俗解释

想象你有一个完美的复印机（copy）。如果你对一个文件做处理，然后复印——结果应该跟先复印再分别处理一样。对吧？

但如果你的"处理"本身带有随机性（比如每次处理结果略有不同），那么"先处理再复印"和"先复印再处理"就会给出不同的结果。前者你复印的是同一个随机结果，后者你复印的是两个独立的随机结果。

熵量出了这两种做法差多远。

这就像你让一个厨师做菜。如果厨师是确定性的（每次做一样），你让他做一份然后拍照复制，跟你让他做两份，结果一样。如果厨师是随机的（每次做的不一样），这两种方式就不同了。熵就是"随机厨师"偏离"确定性厨师"的程度。

五、资源理论接入：免费操作决定语义历史细节

资源理论（Resource Theory）的框架最早在量子信息里系统发展（Horodecki 2002 等关于纠缠的 LOCC 框架），后来被抽象化。核心结构是：

• 所有物理允许的操作组成范畴 $C$

• 免费操作（不花资源就能做的）组成子范畴 $C_{\text{free}}$

• 资源预序：$\rho \preceq \sigma$ 当且仅当存在免费操作 $f$ 使得 $f(\rho) = \sigma$

在这个框架下，资源单调量是预序上的下降函数：$f(\rho) \geq f(\sigma)$ 当 $\rho \preceq \sigma$。

关键洞察是：不同类型的资源有不同的单调量，它们共享"下降函数"的语法，但语义完全不同。

熵不是最一般的资源单调量——它只是"信息类资源理论"里衡量随机性的那一个特殊单调量。把它跟自由能、纠缠度量并列看，它们的共同点是"某种结构缺损的度量"，不同点是"哪种结构"。

通俗解释

想象一个游戏。你有一些"资源状态"，还有一些"免费操作"——不花钱就能做的事。如果一个状态能通过免费操作变成另一个，我们就说前者"不比后者差"。

然后你给每个状态打个分，要求：免费操作只能让分降低或不变。这个分就是资源单调量。

熵就是"随机性资源"的单调量。免费操作是确定性处理——确定性处理不能凭空制造随机性，所以熵不会增加。这跟热力学里"免费操作不能凭空制造功，所以自由能不会增加"完全同构。

不同游戏有不同的分，但计分规则一样。

六、时间轴

六又二分之一、"为什么是现在"：一场迟到的统一

1. 范畴论的"物理转向"（2010年代）

2010年前后，范畴论经历了一场从纯数学角落走向物理与计算前沿的"出圈"。几个关键节点：

Bob Coecke 及其 Oxford 团队在 2000 年代后期到 2010 年代初系统发展了 string diagram（弦图）语言用于量子过程。核心洞见是：量子力学的复合结构（张量积、纠缠、测量）天然是范畴论的，而弦图就是它的图形化语法。代表作 Picturing Quantum Processes（Coecke & Kissinger, 2017）把整套量子理论重写成"图论"。这带来一个深刻的认识论转变：

如果一个物理理论的复合律本身就是范畴，那么在这个理论里讨论"信息如何流动""资源如何转换"，最自然的语言就是范畴论。

Samson Abramsky​ 的 game semantics（1990s–2000s）以及后来的 Abstract Scalars, Loops, and Free Traced and Strongly Compact Closed Categories（Abramsky & Coecke 2004）把逻辑、计算、量子放进同一个范畴框架。他的学生（包括后来成为范畴量子信息核心人物的 Dusko Pavlovic、Chris Heunen 等）把这条线延伸到信息流和安全协议的范畴建模。

影响：到 2010 年代中期，范畴论不再只是"数学家的内部语言"——它成了物理、计算、逻辑共同的交汇点。这为"用范畴论重述信息论"准备好了土壤和受众。

2. 信息论自身的瓶颈：不等式的"组合爆炸"

与此同时，信息论内部积累了一个结构性问题。

Shannon 1948 年的核心结果是单信源、单信道的编码定理。但现实世界是网络——多用户、多中继、多跳、反馈、干扰。1970–2000 年代发展出的网络信息论（Ahlswede–Cai–Li–Yeung 2000 的网络编码、Cover–Thomas 的教材体系）产生了一个庞大的不等式集合：

• 数据处理不等式

• 强次可加性（strong subadditivity）

• Han 的不平衡不等式

• 各种形式的互信息链规则

• ……

问题在于：这些不等式之间是什么关系？有没有一个统一的生成规则？​ 传统方法（代数不等式技巧、f-divergence 的凸分析）能证明每一个，但无法回答"为什么它们长这样"。

更进一步，组合信息论（由 Romashchenko、Mushkin、Vereshchagin 等发展）试图用信息图（information diagrams，类似 Venn 图但更严格）来系统化这些关系。但他们自己发现：信息图并不总是能画出（有些信息量关系没有集合论对应），需要更抽象的结构。

这个"方法论危机"的本质是：信息论的不等式不是随机的——它们共享一个深层结构，但这个结构在传统语言里不可见。

3. 三股力量汇合：Markov Category 作为统一语言

2010年代后期，三件事同时成熟：

Markov category​ 恰好落在三者的交点上：

• 它用 copy / discard​ 这对结构刻画"随机性"——这跟弦图里"wire 可以分叉也可以终止"的直观完全吻合

• 它把 数据处理不等式​ 解释为"确定性态射不放大 copy-defect"——一个结构性定理，不是代数技巧

• 它让 经典概率、量子信道、热力学随机过程​ 共享同一个语法——因为它们都是"带 copy/discard 的对称幺半范畴"的实例

Perrone 2024 的著作 Markov Categories and Entropy 把这条线收束成一个完整叙事：熵不是"不确定性函数"，而是确定性图不交换的散度。

通俗总结这一段

想象你在一个巨大的图书馆里，书架上摆满了信息论的不等式——成千上万条，每条都有精妙的人工证明。你问："它们是不是从同一本教科书里抄出来的？" 传统方法给不了答案，因为它没有"教科书"这个概念。

范畴论提供了这本教科书。它告诉你：所有这些不等式都是"确定性操作不放大非确定性"这一个事实的不同投影。就像你知道了勾股定理之后，成千上万个具体直角三角形的边长关系都变成了同一个事实的特例。

为什么是现在？​ 因为范畴论的工具链在 2010 年代成熟了，信息论的痛点积累到临界点了，而 Markov category 恰好是那个能同时解决"语言统一"和"结构揭示"两个问题的框架。

七、收口

熵的范畴化史，是从

"一个概率分布有多少不确定性"

走到

"一个过程在信息语法里破坏了多少结构"

最早它是形状的影子——贴在分布上的一个数字。

后来它是态射的代价——经过一个过程后消失的信息。

再后来它是 operad 的缺损——粘合概率分布时多出来的那块。

最后它是 Markov category 里"确定性图不交换"的测度——一个对称幺半范畴中 copy-structure 的歪斜度。

它和自由能、纠缠度量、magic、coherence 一起，成为资源理论字符串图里不同位置的"不交换项"。它们共享"下降函数"的语法，但各自测量不同结构（复制、功提取、纠缠、稳定子距离、相位相干）的缺损。

熵不是信息的全部。熵只是"随机性"这一类资源在范畴语法中的签名。

八、未来：马尔科夫范畴不是终点，对称张量范畴才是母语

8.1 马尔科夫范畴的"特殊性"需要被说破

前面七节的终点，是马尔科夫范畴里那句分水岭：熵量出了 copy-structure 的歪斜度。但马尔科夫范畴本身是一个特殊的对称幺半范畴——它额外要求每个对象都有 copy 和 discard。

这个"额外"非常关键。它意味着：

• 马尔科夫范畴刻画的是随机性这一类资源

• 但对称幺半范畴（对称张量范畴）本身是更底层的语法——它不预设"可以复制"，也不预设"可以丢弃"

• 一旦你把 copy/discard 这两个结构拿掉，你能描述的就不只是随机过程，而是任意复合系统：量子系统、时空、语言、知识库、计算

换句话说，马尔科夫范畴是对称张量范畴的一个"子方言"，专门用来谈概率和随机性。而熵，是这个子方言里最耀眼的那个词。

真正的问题是：对称张量范畴自己的母语里，熵处在什么位置？

8.2 鲁学星的因果凝聚：对称张量范畴作为"世界语法"

数学家鲁学星提出的因果凝聚（Causal Condensation）框架，恰好把这个问题推到了最前台。

因果凝聚的核心数学事实极其干净：

对称幺半范畴 = 因果网络范畴上的余层

也就是说，任何一个对称张量范畴，都可以被等价地翻译成"在因果网络上定义的一套局部数据，且这些数据能沿因果方向粘合为全局结构"。

这个框架集成了五个基础范畴学构造：

• 米田引理（可表性：局部如何决定全局）

• 粗粒化（合并顶点、合并边、收缩边——都是正经态射）

• Kan 扩张（把局部数据"凝聚"成全局对象的通用机器）

• 格罗滕迪克构造（把知识数据库压缩为对称张量范畴）

• 伴随函子（自由—遗忘的配对）

它的物理动机来自量子引力：贝兹（Baez）的自旋网络构造，本质是"在离散图上定义量子几何，再取投影极限得到连续时空"。因果凝聚把这个构造范畴化、系统化了——粗粒化变成态射，局部—全局问题变成 Kan 扩张问题。

它的智能科学动机来自同一个数学事实：量子引力要处理"无穷维空间上的积分"，人工智能要处理"高维空间上的概率"——两者在数学本质上是同一个问题，都卡在因子化结构上。

8.3 四条路线汇流于同一模板

鲁学星本人梳理过四条通往因果凝聚的路线，它们共用同一个模板：

两条物理路线彼此对偶，两条数学路线互为补充，四方最终共同指向：

对称张量范畴的图形演算，沿因果序施行 Kan 扩张，将局部规则凝聚为全局结构。

而这四条路线里，马尔科夫路线正是我们前面七节讲的那条。也就是说：熵的范畴化史，是因果凝聚这幅更大图景里的一个局部章节——它回答了"随机性资源怎么被度量"，而因果凝聚回答的是"变量本身怎么从属性里被焊出来"。

8.4 属性主义：因果凝聚的哲学语义

如果因果凝聚是"语法"，鲁学星给出的哲学语义是属性主义。

属性主义的核心主张极锋利：世界的基本单元不是实体，不是变量，而是属性。

• 实体 = 属性束的临时绑定

• 变量 = 在特定尺度、特定语境下被挑出来观察的某个属性维度

• 概念 = 属性束在粗粒化下稳定共现的结果

• 因果 = 某些属性束在某个尺度上"焊死"了，焊死的那个尺度就是因果变量诞生的时刻

这跟熵的故事是什么关系？

回想第三节：熵是"粘合概率分布时多出来的那块缺损"。在属性主义视角下，这块缺损有了更深的解释——它度量的是"属性束还没被焊死"的程度。一个分布的熵越大，意味着它的属性因子还越"松"、越可拆；熵越小，意味着属性束越"紧"、越接近被焊成一个刚性实体。

香农熵衡量不确定性，熵的范畴化衡量非确定性结构的缺损，属性主义则告诉我们这个缺损的本体论含义：熵是属性束从"松散"走向"凝聚"的过程中，被遗留在各尺度上的信息税。

8.5 一个统一图景

把整条线压到最扁：

熵站在第五层。它不是一个孤立的量——它是从属性主义一路走下来，在"随机性"这个特定资源上留下的一个签名。

8.6 通俗总结这一段

想象你在玩乐高。

• 属性主义说：世界上没有"成品模型"，只有一堆零件（属性）

• 因子化说：零件可以按颜色、按形状分开

• 斯科拉说：分开之后，零件之间用什么结法绑着，可以单独研究

• DisCo说：拆得开、压得小、拼得回去，这才叫会玩

• 马尔科夫范畴说：拼的过程中，你会"忘掉"一些信息——忘掉的量就是熵

• 因果凝聚说：当某些零件焊死了、再也拆不开，一个新的"部件"就诞生了。这个部件，就是你下一个尺度上的"变量"

熵量的是"还拆得开多少"。因果凝聚描述的是"什么时候再也拆不开了"。

所以熵的范畴化史，最终指向的不是"熵是什么"这个问题的答案，而是"变量从哪里来"这个问题的起点。

支持单位：