Lad 等人在其 2015 年的论文《Extropy：熵的互补对偶》【1】中提出了负熵（extropy）的概念，作为熵（entropy）的互补对偶。对于离散随机变量X，概率质量函数为P(X)，Lad 等人定义离散负熵为【1】：

对于连续随机变量Y，概率密度函数为p(Y)，Lad 等人定义连续负熵为【1】：

显然，连续负熵的定义与离散负熵的定义不一致。笔者在【2】中指出了负熵从离散形式向连续形式过渡时的逻辑缺陷，这里不再赘述。

Lad等人（2015）声称负熵是熵的一种互补对偶，指出：“熵与负熵所刻画的正是许多人眼中的‘阴’与‘阳’，也是艺术家们通常所说的‘正空间’与‘负空间’（第53页）。这种“阴与阳”的类比暗示：与熵所度量的概率分布蕴含的“不确定性”（即“阴”）相对立，负熵所度量的是概率分布蕴含的“确定性” （即“阳”）。然而，笔者在仔细研读该论文后，认为这一观点自相矛盾，且具有误导性【2】。 

首先，Lad等人对负熵的解释充满矛盾。一方面，他们将负熵呈现为熵的一种“互补对偶”，并将两者之间的关系类比为“阴与阳”（即“不确定性与确定性”）。另一方面，他们又指出：“正如熵一样，负熵也被解读为衡量随机变量X的分布所蕴含的不确定性程度的指标”（第41页）；这一说法直接与其此前关于“确定性”的暗示相悖。这种矛盾在二元情境（例如抛硬币）中表现得尤为明显：在这种情境下，Lad等人指出负熵与熵的数值相等，即 J(X) = H(X)。这种等式关系表明，负熵度量的与熵度量的相同：“不确定性”，而非 “确定性”。因此，Lad等人提出的“阴与阳”类比具有误导性，因为它夸大了负熵与熵之间的对立关系，从而导致人们对“负熵”的本意产生严重的混淆。

负熵的可解释性因其连续形式的构建方式而进一步受损。根据连续负熵的定义： J(Y) = -1/2 ∫ p(y)² dy，其取值恒为负数。对于一个旨在度量概率分布蕴含的“确定性”的指标而言，这一结果显然是极不符合直觉的。人们通常预期，衡量概率分布蕴含的确定性的指标应当产生正数值，且该数值应随概率分布集中程度的提高而增大。然而，该公式中内嵌的负号却颠覆了这种直觉。连续负熵的推导过程依赖于一种缺乏理论依据的“特设性”极限运算，这进一步模糊了负熵与熵之间在解释层面的关联【2】。由于缺乏一个自洽的解释框架，Lad等人关于“负熵可作为熵之互补对偶”的主张显得苍白无力。

因此，负熵不是熵的互补对偶。那么，是否存在熵的互补对偶？回答是肯定的。

笔者认为，信息度才是熵的真正的互补对偶，因为信息度是概率分布蕴含的“确定性“的度量【3】。其数值越大，表明概率分布的集中度越高。这一变化规律恰好与熵的变化规律相反，从而使信息度在概念上扮演了“阳”的角色（而熵则对应于“阴”的角色）。

对于离散随机变量X，离散信息度定义为【3】：

对于连续随机变量Y，连续信息度定义为【3】：

与负熵不同，信息度在其离散形式与连续形式之间保持了一致性，这恰好与离散熵与连续（微分）熵之间的关系相对应。无论是离散信息度还是连续信息度，其取值始终为正，这与人们对于衡量确定性（或信息含量）的直观预期相吻合。

图1显示了抛硬币二元系统的信息度、熵（以及负熵）作为P(head)=p的函数（取自【2】）。在这个系统中，熵与负熵是相等的。图1清晰地表明了信息度与熵的互补对偶关系。

通过以信息度作为熵的互补对偶，研究人员将能够在信息论语境下对确定性与不确定性之间相互作用的内在机理形成更为清晰且更为一致的深刻认知。

图1 抛硬币二元系统的信息度、熵（以及负熵）作为P(head)=p的函数（取自【2】）

备注：“Extropy”译为“负熵”是科学网博主胡泽春教授建议的，在此致谢。

参考文献 

【1】   Lad, F., Sanfilippo, G., & Agrò, G. (2015). Extropy: Complementary Dual of Entropy. Statistical Science, 30(1), 40–58. https://doi.org/10.1214/14-STS430

【2】   Huang, H. (2025). Extropy’s Limitations as a Complementary Dual of Entropy and the Role of Informity.（负熵作为熵的互补对偶的局限性以及信息度的角色）Qeios. doi:10.32388/8B52PG.

【3】   Huang, H. (2025). The theory of informity: a novel probability framework.  Bulletin of Taras Shevchenko National University of Kyiv, Physics and Mathematics, 80(1), 53-59.  DOI: https://doi.org/10.17721/1812-5409.2025/1.7