熵与信息函数类：高维概率的内蕴几何学

摘要

长久以来，香农熵被当作一个标量统计量——“不确定性有多大”。本文试图说明：熵不是一个数，而是信息类函数的母函数。由它通过整系数线性组合生成的全体信息量，构成一套信息函数类。这套函数类在变量的可逆变换下不变，属于概率分布的内蕴几何。从互信息到高阶交互信息，从条件散度到信息上同调，它们共同构成了高维概率的“de Rham 理论”。DisCo 代数的拆—压—拼操作，本质上是在信息函数类上做谱序列过滤：低阶可因子化信息逐层消失，剩下的高阶项就是分布的拓扑不变量。

补充强调：我们说熵是母函数，指的是它是信息类函数的母函数，生成的对象是互信息、条件熵、KL散度、多元交互信息等全部信息量；它既不是概率论里生成概率序列的“概率母函数”，也不宜直接等同于统计物理里的配分函数。配分函数、群表示论的特征标，仅仅在“作为整套理论基本量的生成元”这一结构地位上，和熵形成跨领域的类比，三者分属不同数学物理分支，不可混同。

一、从“不确定性”到“信息母函数”

香农熵的经典读法是“不确定性”：一个随机变量越难猜，熵越大。

这个读法没错，但它把熵降格成了一个标量。就像把曲率说成“曲面弯不弯”——技术上没错，但完全错过了几何本质。

正确的提问方式不是“熵有多大”，而是：

熵在信息论里扮演什么角色？

答案：熵是信息类函数的母函数（generating function for information quantities）。

在代数与几何当中，一个母函数的意义从来不止自身数值，而在于它作为生成元，繁衍出整个理论的基本量。群表示论里，特征标作为生成元，承载表示全部信息；统计物理当中，配分函数作为生成元，生成全部关联函数、热力学可观测量。这两个例子，为我们理解熵的角色提供了绝佳的跨领域参照：它们都展示了“一个源头母函数，生成一整套可观测量族”的结构模式。

但是必须划清边界：

• 特征标属于群表示论；配分函数属于统计力学；二者都不等于熵。

• 类比仅仅停留在“生成元的结构功能”，不是对象等同。

• 熵的“生成”，产出的是信息类函数；它不生成概率分布序列，因此完全不同于概率母函数 $G(s)=\sum p_k s^k$。

信息论里几乎所有核心概念，都是熵的整系数线性组合：

联合熵：$H(X,Y)=H(X)+H(Y|X)$

条件熵：$H(Y|X)=H(X,Y)-H(X)$

互信息：$I(X;Y)=H(X)+H(Y)-H(X,Y)$

条件互信息：$I(X;Y|Z)=H(X|Z)+H(Y|Z)-H(X,Y|Z)$

三元交互信息：$I(X;Y;Z)=H(X)+H(Y)+H(Z)-H(X,Y)-H(Y,Z)-H(X,Z)+H(X,Y,Z)$

KL散度也可以纳入这个框架：它是两个分布的熵差在极限意义下的推广。

这些量不是零散的公式。它们共同构成一个信息函数类：以熵为生成元，以变量子集的幂集为定义域，以整系数线性组合为运算。

信息函数类 = 所有可由熵的线性组合表达的信息量

这不是一个随意的集合。它有代数结构，有层级，有拓扑解释，有物理对应。而熵，就是这套信息函数类独一无二的母函数。

二、坐标变换下的不变性：为什么它是内蕴的

概率分布也有“坐标变换”。

对随机变量做可逆变换 $Y=f(X)$，联合密度的表达式会变——就像同一个几何对象在不同坐标系下写出来不一样。微分熵 $h(X)$ 在变换下会多出一个 Jacobian 项：

$h(Y) = h(X) + \mathbb{E}[\log|\det J_f(X)|]$

所以微分熵本身不是内蕴的。它像一个“带密度的体积”——依赖你选择的参数化。

但熵的差在可逆变换下严格不变：

互信息 $I(X;Y)$：不变。Jacobian 项在作差时精确相消。

条件互信息 $I(X;Y|Z)$：不变。

KL 散度 $D_{\mathrm{KL}}(P\|Q)$：不变。从定义起就不依赖参数化。

条件散度：不变。

离散情形更特殊：离散熵本身在重标标签（可逆变换）下不变，因为不存在连续参数化的 Jacobian。

由熵的差生成的全部信息函数类，在坐标变换下不变。这就是“内蕴几何”的精确含义：无论你选什么变量、什么参数化、什么坐标系，只要分布本身的拓扑类型没变，信息函数类的值就不变。

密度是坐标表示，CDF 是内蕴坐标，而信息函数类是形状本身。

三、信息函数类的层级：从边缘到拓扑

在 Baudot、Bennequin 和 Vigneaux 建立的信息上同调理论中，信息函数类被赋予了一个惊人的结构：它是一套上同调理论。

第 0 层：熵本身 → 1-上闭链

香农熵是 information structure 上的 1-上闭链。链式法则 $H(X,Y) = H(X) + H(Y|X)$ 不是信息论的“公理”，而是上闭链条件——就像微分形式满足 $d\omega = 0$。熵是概率结构上的“微分 1-形式”，是母函数，也是上闭链。

第 1 层：互信息 → 1-边界

二元互信息是 1-边界：它可以从边缘熵拼出来。它度量的是两变量之间可因子化的共享信息——用低阶项就能完全表达，没有残余。

第 2 层：三元交互信息 → 2-上同调类

$I(X;Y;Z)$ 一般不是边界。它不能写成任何低阶熵的组合来消除。它是 2-上同调类——度量三体不可分解的依赖。

第 k 层：多元交互信息 → k-上同调类

对 k 个变量的交互信息，阶数越高，越难被低阶因子化吸收。非零的高阶交互信息 = 非平凡上同调类 = 分布的拓扑障碍。

低阶层 = 可因子化的边和面（边界）

高阶层 = 不可因子化的拓扑障碍（上同调类）

熵作为母函数，生成了这整个层级。每一层的信息函数都不是孤立的——它们通过上边缘算子连接，构成一条上同调链。

四、DisCo 代数：在函数类上跑谱序列

DisCo 代数（Disintegration + Combination）的核心操作是：

1. 拆：沿变量划分，把联合分布分解为骨架 + 块条件核

2. 压：把块内结构压缩为一维 CDF 摘要

3. 拼：用骨架和摘要重建分布

这个循环如果反复执行，会发生什么？

低阶互信息对应的依赖结构，可以被 CDF 摘要“吸收”——它们因子化后消失。但高阶交互信息对应的依赖，无法被任何块级一维摘要捕获。它们残留在条件散度中，成为拼装误差。

这正是谱序列过滤的概率版本：

• 沿划分拆开：在幂集上展开信息函数类

• CDF 压缩：将可因子化项（边界）置零

• 反复拆—压—拼：逐页计算谱序列

• 残余条件散度：收敛页上的非平凡上同调类

反复拆—压—拼，就是在信息函数类上跑谱序列。低阶项逐层消失，剩下的高阶项就是高维概率的内蕴拓扑相。

五、cosheaf of conditionals：信息函数类的几何实现

在正式写公式之前，先建立 cosheaf 的直觉。

cosheaf 回答的是这样一个问题：一个全局对象，如何由它的局部碎片拼出来？

sheaf 的直觉大家相对熟悉：局部定义的函数，相容地粘成全局函数。而 cosheaf 是反向的：把一个全局东西，沿着某种划分拆成局部碎片；这些碎片不是孤立的，它们沿着划分的包含关系，带有兼容的“粘合数据”。全局对象，就由这套局部碎片 + 粘合规则唯一决定。

放到概率分布上，这个直觉非常直白：

一个高维联合分布，就是那个“全局对象”。

沿着变量子集做划分，就得到一组条件分布——这就是局部碎片。

而条件化本身，就是碎片之间的兼容关系：大子集的条件核，可以限制到小子集上，数据前后一致。

这就是 cosheaf of conditionals​ 的朴素含义：

联合分布 = 一整套沿所有变量子集展开的条件核系统，并且这些条件核在子集的包含关系下相容。

它不是一个抽象的范畴游戏。它说的是：高维分布的本质，不在于那个写在纸上的联合密度 $p(x_1,\dots,x_n)$，而在于——当你任意切分变量时，局部条件结构长什么样，以及它们怎么拼回去。

密度是全局的一个坐标表示，会随着参数化改变；但“沿任意划分的局部条件核系统”是内蕴的。就像一块几何形体，你从外面看它有一个坐标表达，但把它切成小块之后，每一块的形状、以及小块之间怎么对接，这个事实不依赖任何外部坐标系。

现在，熵作为信息函数类的母函数，就作用在这个 cosheaf 上：

• 每个局部碎片（某个划分下的条件核）都有自己的熵——这是母函数在局部纤维上的取值；

• 条件熵 = 局部碎片的信息体积，沿着骨架做平均——是信息函数类里的条件化成员；

• 当你试图用局部碎片重建全局对象时，如果碎片之间的兼容关系出了毛病（即局部条件核拼不回原来的联合分布），这个“拼装失败的量”就是条件散度——信息函数类里的 KL 型成员。

所以 cosheaf of conditionals 给信息函数类提供了一个几何舞台：

信息函数类里的每一个量，都不是凭空定义在联合密度上的，而是定义在“局部条件碎片的相容系统”上的不变量。

平坦的情形：所有高阶交互信息为零，意味着任意划分得到的局部条件核之间完全兼容——cosheaf 的碎片可以无摩擦地拼回全局对象，条件散度处处为零。这就像平坦流形上的局部坐标片可以无缝拼接。

有曲率的情形：高阶交互信息非零，意味着某些局部条件核之间存在不可消除的“错位”——你没法用任何低阶因子化的局部碎片完美重建全局分布。这种错位积分出来，就是非零的条件散度。它量出的不是“密度差了多少”，而是局部条件结构的粘合出现了拓扑障碍。

这正是 cosheaf 视角最深刻的启示：

熵是母函数，生成信息函数类；而信息函数类，就是在 cosheaf of conditionals 这个几何舞台上，测量“局部碎片能否无缝拼成全局”的整套不变量。

在 cosheaf of conditionals 的图景里，联合分布不是孤立的密度函数，而是一整套沿所有划分展开的条件核系统。

• 每个划分给出一组条件核（纤维）

• 纤维的熵 = 该纤维的信息体积（由母函数熵在每个纤维上的取值给出）

• 条件熵 = 纤维体积在骨架上的平均（信息函数类中的条件化成员）

• 条件散度 = 不同 cosheaf 之间纤维形状的差异积分（信息函数类中的 KL 型成员）

信息函数类在这里扮演的角色，类似于微分几何里的曲率积分：

平坦（所有高阶交互信息 = 0）→ cosheaf 的局部碎片可以完美组装

有曲率（高阶交互信息 ≠ 0）→ 组装出现障碍，条件散度非零

条件散度是 cosheaf 的“缺陷测度”。它量出：为了让局部条件核拼成一个全局对象，你必须在多大程度上“撒谎”——即假设不存在的依赖不存在。而这一切的源头，都是熵——那个作为母函数的 1-上闭链。

六、物理类比：从能量到拓扑序

物理里“局域可观测量测不到拓扑序”，对应信息论里“低阶互信息测不到高阶交互信息”。拓扑序是长程纠缠的宏观表现，高阶交互信息是多元依赖的不可因子化残余。二者在数学结构上是同构的。

七、结语：概率论走向内蕴几何

Kolmogorov 让概率论变得严格——用测度论把“概率”定义为测度。

本文想说的是：概率论正在走向内蕴几何——用信息上同调把“高维分布”理解为拓扑对象。

密度是坐标表示，CDF 是内蕴坐标。

熵是信息类函数的母函数，是 1-上闭链，是概率结构的微分形式。再次重申：这个“母函数”头衔，描述的是它作为信息论全部基本量的生成元；它不等同于统计物理的配分函数，也不是概率母函数。配分函数、特征标，仅仅是跨领域当中，同样承担“生成整套可观测量”这一结构角色的同类范例，用来帮助我们直观把握熵在信息论当中的枢纽地位。

信息函数类是上同调，是分布的形状不变量。

高阶交互信息是拓扑不变量。

DisCo 是谱序列，条件散度是曲率积分。

我们不再问“这个分布的概率是多少”。我们问：

这个分布的形状是什么？它的拓扑不变量是什么？哪些信息在任意坐标变换下存活？

熵与信息函数类给出了第一个系统性的答案。它不是一堆不等式，而是一套高维概率的内蕴几何学。

延伸阅读

C. Shannon, A Mathematical Theory of Communication, 1948.

P. Baudot, D. Bennequin, The homological nature of entropy, 2015.

J. P. Vigneaux, Information structures and their cohomology, 2020.

X. Lu, DisCo Algebra: Why Disintegration and Combination Are Not Inverses, arXiv:2610.15006, 2026.

G. Pistone, Information Geometry of Statistical Manifolds, 2013.

© 2026. 本文基于与 Xuexing Lu 的学术讨论写成。

支持单位：