DisCo 与重整化群：为什么物理、概率、深度学习都在做同一件粗粒化的事

物理学家叫它 renormalization group，统计学家叫它 marginalization，信息论者叫它 information bottleneck，深度学习者叫它 pooling / hidden layer / attention，概率代数里叫它 DisCo：拆—压—拼。 名字很多，动作只有一个：把高维联合结构沿某种划分切开，把块内信息压成不变量，再把块间耦合拼成新的有效结构。

一、一台机器：拆 — 压 — 拼

先不谈物理，也不谈神经网络。先看一个高维联合测度 𝜇(𝑥1,…,𝑥𝑛)\mu(x_1,\dots,x_n)。

拆（Disintegration）

选一个划分 𝐼={𝐼1,…,𝐼𝑘}I=\{I_1,\dots,I_k\}，把变量分成块。正则 disintegration 保证：

𝑑𝜇(𝑥1,…,𝑥𝑛)=𝑑Φ𝐼(𝑡)⨂𝑗=1𝑘𝑑𝜇𝐼𝑗|𝑡(𝑥𝐼𝑗)d\mu(x_1,\dots,x_n) = d\Phi_I(t) \bigotimes_{j=1}^k d\mu_{I_j|\,t}(x_{I_j})

其中：

• Φ𝐼\Phi_I 是骨架：块和块之间怎么耦合，𝑡t 是骨架的摘要变量；

• 𝜇𝐼𝑗|𝑡\mu_{I_j|\,t} 是纤维：给定骨架摘要 𝑡t 后，每块内部的条件测度。

这就是核的出生地：块 𝐼𝑎I_a 到块 𝐼𝑏I_b 的耦合，就是某个条件测度 / 转移核。

压（Compression）

块内分布太细，装不下。用不变量替代原始纤维：

• 块内联合 CDF；

• 条件分位数；

• 块内熵、互信息；

• Wasserstein 势；

• 一阶矩、二阶矩（最粗糙的特例）。

压不是”降维技巧”，而是在拼回约束下选最小足够统计量。

拼（Combination）

用 operad 式组合把局部零件焊回去：

𝜇approx=∫(⨂𝑗=1𝑘fiber𝑗(𝑡))𝑑Φ𝐼(𝑡)\mu_{\text{approx}} = \int \Bigl(\bigotimes_{j=1}^k \text{fiber}_j(t)\Bigr)\, d\Phi_I(t)

当假设”给定骨架 𝑡t 后各纤维条件独立”时，上式是 𝜇\mu 的近似；否则需要额外保留纤维间的残余耦合项。

如果拼的时候假设”给定摘要后块间独立”，就会丢信息；真实 DisCo 的厉害处在于：允许非独立纤维、允许换划分、允许在任意尺度上重拼。

所以 DisCo 不是”概率降维方法”，而是粗粒化本身的代数。

二、物理：重整化群（RG）就是拆—压—拼

Wilson 的 RG 做的是什么？

1. 把场 / 自旋系统按尺度划分：紫外（UV）小尺度、红外（IR）大尺度；

2. 对小块做平均 / 积分掉高频模式： 𝑒−𝐻eff(𝑣)=∫𝑒−𝐻(𝑣,ℎ)𝑑ℎe^{-H_{\text{eff}}(v)} = \int e^{-H(v,h)}\, dh （离散自旋系统中用 ∑ℎ\sum_h，连续场论中用 ∫𝑑ℎ\int dh。）这就是”压”：隐藏自由度被边际化；

3. 得到新的有效哈密顿量、新的耦合常数 𝐾′=𝑅(𝐾)K' = R(K)；

4. 重复，得到 RG 流；不动点对应相变、标度不变、普适类。

翻成 DisCo 语言：

RG 的”损失”也不是bug：

压必然有损。你丢掉的是”给定宏观摘要后，微观块间还残存的那点依赖”。Zamolodchikov 𝑐c-定理、纠缠熵单调下降，本质上都在说：

沿 RG 方向走，块内细节被压掉，块间有效耦合被保留并重组。

三、概率：链式法则、贝叶斯、信息瓶颈，全是 DisCo 的特例

1. 链式法则 / 全概率公式

按顺序拆：

𝑝(𝑥1,…,𝑥𝑛)=𝑝(𝑥1)𝑝(𝑥2|𝑥1)⋯𝑝(𝑥𝑛|𝑥<𝑛)p(x_1,\dots,x_n)=p(x_1)p(x_2|x_1)\cdots p(x_n|x_{<n})

其中 𝑥<𝑛x_{<n} 表示 (𝑥1,…,𝑥𝑛−1)(x_1,\dots,x_{n-1})。这只是”按坐标顺序投影”的 DisCo。通用 DisCo 不要求顺序，不要求离散。

2. 贝叶斯更新

𝑝(𝑥|𝑦)∝𝑝(𝑦|𝑥)𝑝(𝑥)p(x|y)\propto p(y|x)p(x)

这是：拆 + 压（观测即约束） + 拼（后验重组）。

3. 信息瓶颈（IB）

IB 要学一个压缩变量 𝑇T：

max𝑝(𝑡|𝑥)𝐼(𝑇;𝑌)−𝛽𝐼(𝑇;𝑋)\max_{p(t|x)} I(T;Y)-\beta I(T;X)

其中 𝑇T 是 𝑋X 的随机压缩映射 𝑝(𝑡|𝑥)p(t|x) 的输出。翻成 DisCo：

• 把 (𝑋,𝑌)(X,Y) 联合测度拆开；

• 压 𝑋→𝑇X\to T，保留与 𝑌Y 相关的块间耦合；

• 丢掉的块内细节由 𝛽\beta 控制。

有工作把高斯信息瓶颈和非微扰 RG 精确对应：

IB 就是”由任务相关性定义的人类版 RG”。

RG 问：哪些自由度对大尺度物理重要？ IB 问：哪些自由度对任务 𝑌Y 重要？ 答案形式完全一样：在划分格上最小化”块内冗余 + β × 块间相关损失”。

四、Copula operad：只敢停在最细划分上的 DisCo

Copula 的想法很漂亮：

𝐹(𝑥1,…,𝑥𝑛)=𝐶(𝐹1(𝑥1),…,𝐹𝑛(𝑥𝑛))F(x_1,\dots,x_n)=C\bigl(F_1(x_1),\dots,F_n(x_n)\bigr)

其中 𝐶C 是 copula（当边缘连续时唯一确定）。边缘归边缘，依赖归依赖。

但 DisCo 视角下，copula 只是最细划分下的特殊快照：

• 每个变量单独 Uniform 化；

• 只在”逐分量”这张坐标卡上焊死；

• 条件化、前推、换块、粗粒化之后，copula 不封闭。

而 DisCo 把”划分”本身当一等公民：

• cooperad 侧：沿任意划分拆；

• operad 侧：用条件 CDF / 条件测度拼；

• 压：块内 CDF、分位数、熵，不靠人为选 encoder。

所以 copula operad 是 DisCo 的子语言：

会拼依赖，但不会自由换尺度。

五、深度学习：每一层都是一次不完美的 DisCo

1. RBM / 深度信念网络

RBM 里：

𝑝(𝑣)=1𝑍∑ℎ𝑒−𝐸(𝑣,ℎ)p(v)=\frac{1}{Z}\sum_h e^{-E(v,h)}

对隐藏层求和 = 对微观自由度边际化 = RG 一步。变分 RG 和 RBM 有严格映射：可见层是微观自旋，隐藏层是块自旋。

2. CNN / ResNet

卷积 + 池化：

• 卷积：局部纤维观测；

• 池化：块内压缩；

• 残差：拼回时保留旧尺度信息，防止 RG 流塌掉。

像素 → 边缘 → 纹理 → 部件 → 物体，这条抽象阶梯，就是 RG 流。

3. Transformer / 注意力

Attention(𝑄,𝐾,𝑉)=softmax(𝑄𝐾⊤𝑑)𝑉\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{QK^\top}{\sqrt{d}}\right)V

别只看成”相似度”。更 DisCo 的说法：

• Query/Key 在定义”怎么分块 / 怎么对齐”；

• 𝑄𝐾⊤QK^\top 是块间骨架核；

• softmax 是归一化后的条件测度；

• V 是被拼回去的纤维内容。

多头注意力 = 多套划分并行拆—压—拼，再拼成上下文表示。

六、NTK：尺度行为里藏着 RG 不动点

神经正切核（NTK）：

Θ(𝑥,𝑥′)=⟨∂𝑓(𝜃,𝑥)∂𝜃,∂𝑓(𝜃,𝑥′)∂𝜃⟩\Theta(x,x')=\left\langle \frac{\partial f(\theta,x)}{\partial\theta},\frac{\partial f(\theta,x')}{\partial\theta}\right\rangle

宽网络训练时 Θ\Theta 几乎不变，模型行为退化为核方法。这恰好有 RG 味道：

• 网络宽度 / 深度 → 尺度参数；

• 特征学习 → 块间耦合随层演化；

• NTK regime → 耦合”冻住”，系统被吸到某个不动点；

• 富特征学习（feature learning）regime → 骨架随训练继续粗粒化、重组。

换句话说：

NTK 是”训练动力学 RG 流”在无限宽极限处的不动点核。 有限宽网络还在流；无限宽网络流到 NTK 就停了。

七、统一公式：所有粗粒化都是同一条流水线

拆压拼𝜇→拆(Φskeleton, {𝜇fiber})→压(Φskeleton, {invariants𝑗})→拼𝜇effective\boxed{ \mu \xrightarrow{\text{拆}} (\Phi_{\text{skeleton}},\ \{\mu_{\text{fiber}}\}) \xrightarrow{\text{压}} (\Phi_{\text{skeleton}},\ \{\text{invariants}_j\}) \xrightarrow{\text{拼}} \mu_{\text{effective}} }

它们不是”互相像”。

它们就是同一台机器在不同承载集上的实例化。

八、最反直觉的一点：拆和拼不是互逆

你以为：

拆开 → 压 → 拼回去 = 原样。

概率不是积木。

• 拆：可选划分，理论上可不丢信息；

• 压：块内压成不变量，必然有损；

• 拼：用压缩件重组，丢掉的”给定摘要后块间残余依赖”回不来。

所以：

RG 不可逆，信息瓶颈不可逆，深度学习表征不可逆，DisCo 也不承诺互逆。

真正优雅的不是”能还原”，而是：

在给定尺度上，知道什么被留、什么被压、什么被拼错。

九、结语：宇宙在跑一台 DisCo 机器

格林函数说：源和场通过核耦合。 马尔可夫核说：现在和未来通过核耦合。 RKHS 说：样本之间通过核耦合。 量子传播子说：测量之间通过核耦合。 RG 说：尺度之间通过核流耦合。 深度学习说：表示之间通过注意力核耦合。

而 DisCo 说：

别把核当天赐函数。 核是某次”拆—压—拼”之后，块与块之间剩下的耦合。

物理在做 DisCo，概率在做 DisCo，信息论在做 DisCo，神经网络在做 DisCo。

世界不是由对象组成的，也不是由关系组成的，而是由”关系被如何分块、被如何压缩、被如何重组”这件事组成的。

RG 是不动点里的 DisCo。 IB 是任务里的 DisCo。 copula 是最细尺度的 DisCo。 NTK 是无限宽极限里冻住的 DisCo。 你的大脑，是几十亿次不完美 DisCo 拼出来的 DisCo。

粗粒化不是人类的妥协。 粗粒化是存在本身的计算方式。

支持单位：