||
从 Sklar 到 DisCo:概率论如何重排自己的底层语法
零、引子:同一把刀,不同的坐标系
1959 年,Abe Sklar 写了一篇短文,里面有一个看起来几乎 trivial 的观察:
任意 $n$ 个随机变量的联合分布,总可以写成:
$$F(x_1,\dots,x_n) = C(F_1(x_1),\dots,F_n(x_n))$$其中 $F_i$ 是边缘分布,$C$ 是 copula。
这就是 Sklar 定理。一句话,一个公式。但它做的事情极其深刻:它把"每个变量自己长什么样"和"变量之间怎么纠缠"彻底分开了。
六十多年后,有人试图把这件事做到最一般——不限于每个变量单独成块,而是允许任意分组、任意粒度。他的框架叫 DisCo 代数。
Sklar 和 DisCo 做的是同一件事。区别只在于:切多细,以及在哪个坐标系下看。
这里有一个几何类比,能一下子把两者的关系说清楚:
Sklar 相当于只在一个固定坐标系下看问题。 最细划分——每变量一块——就像选了一组标准正交基,每个轴单独归一化到 $[0,1]$。在这个坐标系下,copula 是纯粹的依赖形状,干净、可逆、对称。但你被锁死在这组基上。想把相关的变量打包成一个新方向?离开了 Sklar 的框架。
DisCo 相当于在任意坐标系下看同一个问题。 任意划分就像选任意一组坐标——正交的、斜的、分层的、分块的。每一组坐标给你一个不同的视角来观察同一个联合分布。在某个坐标系下,块内结构被"压"进纤维——就像投影变换中某些方向被折叠,剩下的坐标只编码那个方向上的信息。而概率拆解定理保证了:不管你选什么坐标系,拆开再拼回去,得到的还是原来的那个东西。
更深层的事实是:两者都是同一个更根本的定理的推论——概率拆解定理(disintegration theorem)。Sklar 定理是它在最细划分(标准正交基)下的漂亮投影。DisCo 是它在任意划分(任意坐标系)下的完整展开。前者是截面,后者是自然表达。
DisCo 代数本身就是概率拆解定理的"被认出的"代数结构——不是被构造的,是被发现的。 这跟 Grothendieck 把代数几何重写成概形语言是同一类事情:定理一直在那里,只是换了一种语法把它说清楚,然后新语法自动打开了原来够不到的问题。
这就是这篇文章要讲的故事。
一、概率拆解定理:一切的根本
在讲 Sklar 和 DisCo 之前,必须先说清楚它们共同站在什么上面。
概率拆解定理(disintegration theorem)是测度论里的一个基本结果:给定联合测度 $\mu$ 和投影映射 $\pi$,在适当正则条件下,$\mu$ 可以沿 $\pi$ 唯一分解为:
$$\mu = \int \mu_y \, d(\pi_\# \mu)(y)$$
其中 $\mu_y$ 是条件分布(纤维),$\pi_\# \mu$ 是推前测度(骨架)。
直觉:任何联合分布都可以沿着任意投影方向"拆开"——拆成骨架(投影后的粗粒度分布)和纤维(条件分布)。而且这个拆法是唯一的(在零测集意义下)。就像一个坐标无关的量,不管你选什么坐标系去描述它,它本身就是那个东西。
这是整个故事的数学根基。 Sklar 定理和 DisCo 代数都不是凭空发明的——它们都是概率拆解定理在不同划分选择下的推论。划分即选坐标系,拆解即坐标变换。
二、Sklar 定理:标准正交基下的投影
2.1 Copula 是什么
Copula(拉丁语"链接")是定义在 $[0,1]^n$ 上的函数 $C$,满足:
每个边缘都是均匀分布 $U(0,1)$
$C$ 是 $n$-递增的
直觉:copula 是"去量纲的依赖模板"。不管你的变量是身高、温度还是股价,只要把各自的边缘分布拉平到 $[0,1]$,copula 就描述了它们之间纯粹的依赖形状。这就像把每个坐标轴单独归一化——量纲消掉了,剩下的只有几何关系。
2.2 Sklar 定理的两种用法
正向(已知联合分布):反解 $C = F(F_1^{-1}(u_1),\dots,F_n^{-1}(u_n))$
逆向(构造联合分布):选好边缘 $F_i$ 和 copula $C$,拼起来:$F = C(F_1,\dots,F_n)$
2.3 为什么它这么干净——从拆解定理的视角看
Sklar 定理的优雅来自一个选择:最细划分——每变量一块。这就像选了一组标准正交基。
每块只有一个变量,所以边缘分布是一维的。概率积分变换 $X_i \mapsto F_i(X_i)$ 是一一对应(双射)——可逆、信息无损、维数不变(一维到一维)。拉平之后,边缘信息被"消除"了,剩下的 $C$ 编码了纯粹的依赖结构。
从概率拆解定理的视角看:Sklar 定理 = 拆解定理在最细划分下的特例。骨架退化为 copula,纤维退化为均匀边缘的逆变换。整个流程是无损的——因为概率积分变换是双射,信息零损失。就像正交变换保持内积不变,最细划分下的概率积分变换保持依赖结构不变。
2.4 但标准正交基也是它的牢笼
$n$ 维 copula 是 $n$ 元函数,参数空间随维度指数膨胀
Sklar 框架只能处理最细划分——每变量一块,即只能在那组固定的"标准正交基"下工作
如果你想把 $\{X_1,X_2\}$ 打包成一块:块内是高维分布,没法通过一维变换无损拉平到均匀分布而不丢失依赖信息。copula 的均匀边缘假设在粗划分下维持不住——就像你试图在非正交基下用一维投影,信息必然泄漏
这不是 Sklar 定理的 bug——是它的 scope limit。它切到了最细,所以最干净,但也最窄。
三、DisCo 代数:任意坐标系下的完整展开
3.1 不是发明,是发现
DisCo 做的事情不是发明新数学,而是把已经存在的结构认出来、命名、组装成代数。
第一层:概率拆解定理已经"是"代数结构了,只是没人把它写成代数。
拆解定理说:给你一个联合测度,沿任意划分拆开,得到骨架 + 纤维;再沿更细的划分继续拆,余结合律自动成立。这整套东西——对象、映射、结合律、单位元——已经是一个 cooperad 的全部零件了。只是概率论的传统表述把它藏在测度论的定理陈述里,没有显式地"命名"这些结构。
第二层:"自然"这个词是精确的。
不是说"我们可以硬套一个代数框架上去",而是说——你从拆解定理出发,问"它最自然的代数结构是什么",答案就是 cooperad + operad。不是选的,是推出来的。划分的偏序给了组合结构,条件化给了余复合,operadic 组合给了拼回操作。每一步都是拆解定理本身自带的,不是外挂的。
所以 DisCo 代数是概率拆解定理的"被认出的"代数结构——不是被构造的,是被发现的。这跟 Grothendieck 把代数几何重写成概形语言是同一类事情:定理一直在那里,只是换了一种语法把它说清楚,然后新语法自动打开了原来够不到的问题。
3.2 同一哲学,不同坐标系
Sklar 和 DisCo 共享同一个核心哲学:
把依赖结构和边缘结构分开。
区别只在于你选了哪个坐标系来"看"这个问题:
Sklar(标准正交基) | DisCo(任意坐标系) | |
|---|---|---|
根基 | 概率拆解定理 | 概率拆解定理 |
划分粒度 | 最细(每变量一块) | 任意 |
坐标系类比 | 固定正交基,各轴归一化 | 任意基,包括非正交、分块、分层 |
边缘拆到什么程度 | 彻底(拉平到 $U(0,1)$) | 部分保留(块内可有结构) |
拆解定理角色 | 最细划分下的特例 | 完整、自然的表达 |
封闭性 | ❌ copula 类不封闭 | ✅ 测度层封闭 |
DisCo 不是对 Sklar 的否定,也不是简单的"推广"——它是概率拆解定理的充分表达,是拆解定理本身自带的代数结构被显式认出。 Sklar 碰到了最细划分(标准正交基)的情形,DisCo 把整个定理在任意划分(任意坐标系)下的结构显式化了。
3.3 为什么 copula 类走不远——以及为什么退到测度层
在一般划分下,copula 框架遇到两个硬墙:
第一,均匀假设维持不住。 多变量块的边缘是高维分布,无法简单拉平到 $U(0,1)^k$ 而不丢失块内依赖。就像在非正交基下做逐轴归一化,轴间的相关性被你硬生生切断了。
第二,封闭性失败。 Copula 类对 operad 组合不封闭——推前和条件化都推不出 copula。
要走出这个截面,必须退到更底层:概率测度空间。在那里,概率拆解定理天然成立,operadic 组合合法存在——就像退到坐标无关的描述,不再依赖任何特定基的选取。
3.4 拆—压—拼:三步,但"压"不是外挂的
DisCo = Disintegration + Combination。三步。
拆 = Cooperad(概率拆解定理的直接展开)
给定联合测度 $\mu \in \mathcal{P}(X_1,\dots,X_n)$,选一个划分 $I = (A_1,\dots,A_k)$。
Disintegration 给出:
$$\mu = \int \mu_1(\cdot|t_1) \otimes \cdots \otimes \mu_k(\cdot|t_k)\,d\Phi_k(t)$$
其中:
$\Phi_k$ = 块间骨架(即推前测度 $\pi_I\#\mu$)
$\mu_j(\cdot|t_j)$ = 第 $j$ 块的条件分布(纤维)
这就是 cooperad 的余复合 $\Delta_I$。余结合律来自拆解定理的唯一性——就像坐标变换的链式法则,换坐标系的方式可以组合,结果唯一。
压 = 划分自带的天然聚合
这是关键——"压"不是你额外发明的操作。它是划分本身带来的,就像选了一个非正交基之后,某些方向自然被投影折叠。
你选了一个粗划分,把多个变量打包进同一块。这个"打包"本身就是压缩:块内结构被自然聚合成一个纤维。纤维的维度自动低于原始联合分布的维度——这就是天然的降维。
你不需要人为选一个压缩函数往上套。纤维本身就是压缩后的形态。划分即压缩,选坐标系即决定哪些信息被聚合。
拆—拼互逆是无条件成立的。 这是概率拆解定理的直接推论:你沿划分拆开,再按同样的骨架拼回去,得到的就是原来的联合测度。不管划分多粗、纤维多复杂,这个互逆关系都成立——就像任何坐标变换都是可逆的,变换过去再变换回来,还是原来的张量。
拼 = Operad
压缩后的不变量(纤维)通过 operadic 组合拼回:
$$\gamma(\mu; \nu_1,\dots,\nu_k)(A) = \int \prod_{i=1}^k \nu_i(A^{(i)}|t_i)\,d\mu(t)$$
这是测度上的 operad——封闭、结合、有单位元。退到测度层后,operad 结构合法地存在。就像张量在不同坐标系下的分量可以通过变换矩阵重新组装,operadic 组合就是在任意划分下把纤维拼回联合分布的合法操作。
为什么叫"代数"
三步都是结构变换:
拆是 functor(cooperad 余复合 = 坐标变换的代数表达)
压是 functor(划分自带的天然聚合 = 基的选择带来的投影)
拼是 functor(operad 组合 = 分量重组)
整个 DisCo 是一个 functorial pipeline。拆—拼互逆无条件成立——这是概率拆解定理的保证,不是额外假设。DisCo 代数本身就是概率拆解定理的代数化:定理一直在那里,只是换了一种语法把它说清楚。
3.5 极限检验
退回到最细划分(标准正交基):
"压"消失——每变量一块,纤维是一维的,天然聚合退化为恒等变换(就像正交基下不需要额外的投影)
骨架退化为 copula
DisCo 退化为 Sklar 框架
拆解定理退化为 Sklar 定理
拆 + 压 + 拼 三步退化为拉平 + copula 两步
Sklar 是 DisCo 在"最细划分"这个极限点的影子——就像笛卡尔坐标是任意坐标变换群中的单位元。
四、为什么 Sklar 不需要"额外压缩",而 DisCo 天然有"压"
这里有一个极深的对应关系:
划分粒度决定了"压"的形态——就像基的选择决定了投影的方向和程度。
Sklar 取最细划分(标准正交基)。概率积分变换是一一对应(双射)——信息无损,维数不变。所以 Sklar 框架里"压"退化为恒等映射——不需要额外的压缩步骤。
DisCo 允许粗划分(任意基)。当你把 $\{X_1,X_2\}$ 作为一块时:
一维变换的免费午餐在二维以上不存在。
二维正态分布 $(X_1,X_2) \sim N(0,\Sigma)$,$\rho \neq 0$。如果你对 $X_1$ 和 $X_2$ 分别做概率积分变换——$\rho$ 被你拉没了。相关性信息在分别拉平的过程中被销毁了。要保留相关性,必须用二维 copula 再包一层——但那只是把问题递归了一层。
所以粗划分下,块内结构天然地被聚合成纤维。这个聚合本身就是"压"——不是你强加的,是划分的必然结果。就像选了一个斜基之后,沿某个方向的投影必然把其他方向的信息折叠进来。Sklar 之所以没有这一步,不是因为"压"不存在,而是因为最细划分(正交基)下压退化为恒等映射。
划分粒度 | 坐标系类比 | "压"的形态 | 拆—拼互逆 | |
|---|---|---|---|---|
Sklar | 最细 | 标准正交基 | 恒等映射(退化为无) | ✅(Sklar 定理保证) |
DisCo | 任意 | 任意基(含非正交) | 划分自带的天然聚合 | ✅(概率拆解定理保证) |
五、和已有工作的关系
框架 | 做了什么 | DisCo 补了什么 |
|---|---|---|
Sklar (copula) | 最细划分下的边缘-依赖分离 | 推广到任意划分(任意坐标系) |
概率拆解定理 | 测度沿投影的分解 | DisCo 将其显式化为 cooperad + operad 结构(代数化) |
Fritz (Markov categories) | 条件化的范畴公理化 | 加了 operadic 组合层 |
Jacobs/Perrone (probability monad) | 积分的函子化 | 加了高维依赖结构 |
Cho (string diagrams) | 贝叶斯推断的图语言 | 加了拆—压—拼层次 |
Getzler–Jones (little cubes) | 几何 operad | 概率实例化 |
Tishby (Information Bottleneck) | 压缩-预测权衡 | 天然聚合的进一步有损近似(可选工程层) |
DisCo 的位置:概率论 × 范畴论 × 信息论 的三重缝合。根基是概率拆解定理——坐标无关的概率结构,被代数语法显式说出。
六、如果它是对的
概率建模从"选分布"变成"选划分"——选坐标系。划分选定后,拆解定理自动给出拆法和拼法,就像选了基之后变换规则自动确定
高维依赖的组合爆炸变成 operad 的组合枚举
Copula 成为 DisCo 在最细划分下的影子——标准正交基是坐标变换群中的一个点
信息瓶颈等方法成为"天然聚合"之上的可选有损近似层
就像欧几里得几何是黎曼几何的平坦特例,Sklar 定理是概率拆解定理在最细划分下的特例。而 DisCo 是概率拆解定理的完整展开——从固定坐标系走向任意坐标系,从截面走向自然表达。
七、尾声
概率拆解定理说了一件很简单的事:任何联合分布都可以沿着任意投影方向拆开,拆成骨架和纤维,而且拆法是唯一的。联合分布本身是坐标无关的——它不依赖任何特定的划分,就像张量不依赖任何特定的基。
Sklar 无意中碰到了最细划分的情形——每变量一块,边缘拉平,copula 编码依赖。这就像在笛卡尔坐标下看一个几何对象,干净、正交、对称。
DisCo 代数把这件事显式化了:允许任意划分,纤维天然就是压缩后的形态,拆—拼互逆无条件成立。刀法变了,坐标系换了,但精神没变——把依赖和边缘分开,然后在不同的粒度上重新组装。
DisCo 不是新定理,是旧定理的新语法。就像概形语言没有推翻代数几何的基本事实,但它让那些事实第一次能被系统地追问。
一切的根基是概率拆解定理。Sklar 是它在最细处的投影。DisCo 是它在任意划分下的完整表达——是被认出的代数结构,不是被构造的。
同一把刀,不同的切法。同一个几何,不同的坐标系。切多细、选哪个基,取决于你要回答什么问题。
附录
A. 概率拆解定理严格陈述
设 $(X,\mathcal{F},\mu)$ 是 Polish 空间上的概率测度,$Y$ 是另一个 Polish 空间,$\pi:X\to Y$ 是可测映射。则存在唯一的(在 $\pi_\#\mu$-a.e. 意义下)一族条件概率测度 $\{\mu_y\}_{y\in Y}$ 使得:
$$\mu(A) = \int_Y \mu_y(A)\,d(\pi_\#\mu)(y)$$
且对每个 $A\in\mathcal{F}$,$\mu_y(A)$ 是 $y$ 的可测函数。
B. Sklar 定理严格陈述
设 $F$ 是 $\mathbb{R}^n$ 上的联合分布函数,边缘为 $F_1,\dots,F_n$。则存在 copula $C:[0,1]^n\to[0,1]$ 使得 $F(x_1,\dots,x_n)=C(F_1(x_1),\dots,F_n(x_n))$。若边缘连续则 $C$ 唯一。
C. DisCo 余复合定义
$$\Delta_I : \mathcal{P}(X_{[n]}) \to \mathcal{P}(X_I) \otimes \prod_{j=1}^k \mathcal{P}(X_{A_j}|\cdot)$$$$\mu \mapsto \left(\pi_I\#\mu,\; \{\mu(\cdot|\pi_I=t)\}_{t}\right)$$
D. 术语对照
统计 | 范畴论 | 信息论 | 几何类比 | DisCo 步 |
|---|---|---|---|---|
联合分布 | 对象 | 联合信息 | 坐标无关的张量 | 输入 |
概率拆解定理 | 根本定理 | 信息分解基础 | 坐标变换的合法性 | 根基 |
边缘分布 | 投影 | 边缘熵 | 沿某轴的投影 | 拆(骨架) |
条件分布(纤维) | 纤维 | 条件熵 | 投影后的纤维方向 | 拆 + 天然聚合(压) |
Copula | 最细划分下的依赖 | 标准化互信息 | 正交基下的形状 | Sklar 截面 |
Disintegration | 余复合 | 信息分解 | 坐标变换的链式法则 | 拆 |
Operadic 组合 | 复合 | 信息重组 | 分量重组 | 拼 |
全文完。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2026-10-16 10:53
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社