文起

十年前，正值香农百年诞辰，我写了关于Copula熵的博客文章以示纪念，介绍了Copula熵作为一种新的概念对信息论的理论意义。我在文章中简单的展望了由Copula熵带来的新的问题，比如Copula熵用于因果分析的可能性等。我还断言，Copula熵“扩展了信息论的理论和应用边界”，会“在其他学科交叉领域具有广泛的应用”。十年后的今天，回望这篇文章，我发现当初的想法都已成为理论成果，Copula熵理论已经成为了成熟的理论，发展远超当初的设想。在理论方面，我提出了Copula熵因果分析方法，证明了传递熵的Copula熵表示，成为了传递熵领域的重要内容，提出的估计算法被广泛应用；在应用方面，我当初展望了Copula熵的交叉学科应用潜力，如今其已经成为了各个学科研究广泛采用的基本工具，其理论优势在各种交叉学科问题的实际应用中得到认可和验证。与十年前相比，如今的Copula熵理论体系已经发展的非常完善，对经典信息论的理论框架进行重构，由我本人发展的基于Copula熵数理统计方法论体系也已相当完备，并在全球学者的共同努力下形成了基于Copula熵的数学概念体系。Copula熵理论已经确立了其在概率统计领域的历史地位，成为学科体系的重要组成部分。

回望

回望清华读博期间，我提出了Copula熵理论，给出了Copula熵的定义，证明了其与信息论的互信息概念是等价的，同时给出了其非参数估计方法，最先于2008年在arXiv发了一篇一页半的论文（arXiv:0808.0845），后在清华学报扩展成四页于2011年发表。Copula熵理论因此初具规模。

【图1】Copula熵理论最初的arXiv论文 

提出此理论的背景是这样的：当时我在做一个医学的自然基金项目，需要分析核磁共振谱数据中各种代谢物含量之间的关系，用于判断脑瘤性质。为了分析数据，我调研大量文献，发现了Copula理论这个数学工具，同时我也在用信息论的互信息分析数据。按照当时的理解，Copula函数包含了全部的随机变量依赖关系信息，而互信息则度量了全部的依赖关系信息。因此，我认为这二者之间应该有什么理论联系，研究的结果就是提出了Copula熵理论。Copula熵理论的诞生就是源于这样一个简单的观察和好奇而生发的问题。 

近十年来，我继续博士论文的研究，给出了条件独立性度量——条件互信息的Copula熵数学表示形式，从而给出了一个基于Copula熵的统计独立性理论框架。同时我还得到的是基于Copula熵的传递熵（Transfer Entropy）的数学表示和估计方法，因为作为一种信息论的因果度量，传递熵的本质是条件互信息。我又基于Copula熵理论提出了一系列的统计方法论，解决了诸如正态性检验、双样本检验、变点检测、对称性检验、copula假设检验等重要问题。与此同时，国际学界给出很多Copula熵概念的扩展定义，如Tsallis Copula熵、Copula Renyi熵等等。Copula熵理论体系因此得以发展成熟。 

去年，我将这些研究工作整理成了一部学术专著“Copula Entropy：Theory and Applications”，系统总结了Copula熵理论体系和实际应用，并将其发在arXiv上（ arXiv:2512.18168），专著发表标志着Copula熵理论已经基本确立了其学术史地位。

【图2】专著封面

该专著得到了斯坦福大学的alphaXiv的高度评价，其书评认为Copula熵理论代表了“统计学方法论的根本性进步，具有巨大的理论和实践意义”。 

“This monograph establishes CE as a fundamental advancement in statistical methodology with profound theoretical and practical implications. By unifying copula theory and information theory, it provides both deep mathematical insights and powerful practical tools for analyzing complex data relationships. The comprehensive system of CE-based methodologies offers researchers and practitioners robust, distribution-free alternatives to traditional methods, particularly valuable in our era of increasingly complex and high-dimensional data.”

——摘自alphaXiv书评

意义

关于Copula熵的学术意义，我认为有以下五点： 

第一，Copula熵理论发展了概率论中的Copula理论，给出了一个满足各种公理属性的、完美的独立性度量，成为了Copula理论体系和概率论中重要的组成部分；在整个Copula理论中，Copula函数表示了随机变量的依赖关系，而Copula熵则是对依赖关系的信息量进行了度量。作为一种度量，Copula熵满足很多公理属性，如多变量、对称性、连续性、单调变换不变性、非正性、与相关系数具有某种等价性等。这些公理属性是对匈牙利数学家Renyi提出的相关性度量公理属性体系的发展和完善。相关性度量是伴随概率统计学科发展的具有上百年历史的问题，百年来，历代数学家不断探索，给出了各种度量方法。而Copula熵可以说是一种完美的相关性度量，给出了这个概率统计学核心问题的终极答案。 

第二，Copula熵理论从底层上重塑了信息论的基础理论框架，增进了学界对信息论基本概念的理解。我不仅证明了Copula熵是数学完善的多变量互信息概念，还证明了其与条件互信息的理论联系，使得这两个信息论的基本概念都统一在Copula熵概念框架中。这是对传统的经典信息论底层概念框架的重构，使得我们的理解更加的深入和彻底。这是信息论提出几十年来，对其理论基础部分的一次根本性革新。 

第三，Copula熵概念也在Copula理论和信息论之间建立了桥梁，使这两个原本不同的数学领域联系在一起，从而使数学各学科更加成为一个紧密联系的整体。Copula理论作为概念论领域的理论，其研究仅限于概率和数理统计，研究的内容都是传统的参数函数族的设计和参数估计、函数族假设检验等，理论中的相关性度量也是限于传统的统计学相关系数、如Spearman相关系数和Kendall相关系数等。通过Copula熵概念这个桥梁，Copula理论与信息论建立了联系，使得互信息/条件互信息等概念与Copula函数发生了关系，使这两个领域浑然一体，并很自然地衍生出如最大Copula熵、Vector Copula熵、基于Copula熵的假设检验等新的理论方向，促进了本领域理论的进一步发展。概率论、信息论和数理统计应该是一个整体，这个观点被很多著名数学家提出过，如柯尔莫哥洛夫等。如今，Copula熵理论使得这样三位一体的数学体系鲜活地呈现在我们面前。 

第四，Copula熵系列统计方法论丰富且成体系，经仿真实验证明优于同类传统统计方法论，在它们之外提供了新的统计分析工具选择，从而促进了数理统计学的学科进步。基于copula熵的方法论体系涉及很多重要的统计学问题，如变量选择、因果分析、假设检验等。由于Copula熵理论坚实，基于此信息论概念的统计方法论具有传统方法不具有的理论优势，为各个领域的数据分析提供了丰富的数学工具箱。 

第五，Copula熵本质是一种香农熵，因此他不仅是一个数学概念，还是一个具有理论物理意义的热力学概念。Copula熵衡量了随机变量之间的相关性，它本身是一个非正的量，这在热力学和统计物理中十分重要。一个热力学系统如果存在相关性，那么它的有序性就会增加，进而导致熵减，而非正的Copula熵正是度量了由于相关性导致的有序性增加而引起的熵减。这就是Copula熵的热力学含义，也是它在整个熵概念体系中相对于其他熵概念扩展的独特之处。也正是这种兼具数学严谨和物理意义明确的双重理论优势，使得Copula熵及其派生方法具有普适性和真理性，可以应用到任何自然、社会、生命和人工系统。

影响

十年来，Copula熵理论的国际影响越来越大，得到了国际学界的认可和广泛研究。俄罗斯科学院数值数学研究所在顶级国际会议发表论文 （ arXiv:2506.04053 ） 肯定了其理论价值，比较了各种独立性度量，认为Copula熵是其中最好的，并以示意图加以说明。

【图3】俄罗斯科学院论文中对比图

牛津大学量子研究组在此概念的基础上提出了量子Copula熵的概念，在量子计算和量子信息领域具有重要意义，得到了量子计算之父David Deutsch教授的关注和建议。剑桥大学机器学习实验室在NIPS上发文 （ arXiv:2510.20968 ） 对此理论进行扩展，提出了Vector Copula熵理论方法。哈佛大学Kempner研究所基于此提出新的互信息估计方法（arXiv:2605.03061）。索邦大学应用其提出新的统计分析方法（HAL:tel-03647090）。 

Copula熵系列算法目前已被哈佛大学等国际国内研究机构广泛应用，涉及数理化天地生医工等67个学科领域，应用实例近300个，我在Copula熵专著中进行了概要介绍。特别是，基于Copula熵的传递熵估计算法被包括国际理论物理中心（ICTP）等国际机构应用于各自的学科问题之中，用于分析各种物理系统中的因果关系。Copula熵理论作为成熟的理论，展现了其普适的真理性，大到宇宙星体、中到地球外层空间和地表大气层，再到人类社会的经济政治社会问题、到生命复杂的大脑和免疫系统，直至微观的量子系统，都可以是Copula熵应用的对象。 

Copula熵理论在我国的国家建设中发挥了关键的理论支撑作用。比如，南水北调工程基于Copula熵建立了丹江口水库入库径流量预报模型；我国的核潜艇研究骨干单位基于其研究了核反应堆安全技术；北京交通大学基于其研究了高铁动车组关键部件的健康检测技术；国家电网的各个研究单位和地方分公司广泛地基于Copula熵开发了电网智能化技术；国防科技大学和南航开发了卫星健康检测技术；北航基于其开发了飞行器操纵品质估计技术，南航基于其开发了上海浦东机场航班到达时间预测技术，大连理工大学开发了广州白云机场的室内温度控制算法；中国科学院等单位利用其研发国防用的特殊材料；武汉大学等单位利用其预测长江的洪水和黄河流域干旱等等。

余论

Copula熵理论源于一个清华博士生简单却深刻的观察，历经十余年不懈探索，如今已经成为数学体系中的成熟理论。它不仅重构了经典信息论本身，还将概率论、数理统计和信息论的不同领域联系成一个有机的数学整体。作为一个完美的数学概念，Copula熵给出了一个满足公理属性的随机变量依赖关系的熵度量，它不仅具有完美的数学性质，同时还具有明确理论物理的热力学含义。它的真理性在各个学科的普适应用中得到了检验，无论是宇宙星体、天地万物、社会生活、生命组织，以及微观世界，Copula熵理论均适用。十年前，我在文章中对Copula熵的展望，如今已经成为了现实，甚至其发展超出了当初的预期，实在是人生乐事。幸甚至哉，著文以记之。