从约束条件和拉格朗日乘数法的实质来看

关于最大信息熵原理的“三悖论”

美国归侨冯向军博士，2017年7月22日写于美丽家乡

【摘要】人们很容易把曾经被国际科学界所公认过的知识作为神圣不可侵犯的教条。我本人也是如此。不到万不得已，对詹尼斯【1】所创立的最大信息熵原理绝对没有一丝一毫的怀疑。直到最近，由最大信息熵原理所引发的疑惑在我心中已经大到非解决不可的地步。于是决定放下一切，专门破迷开悟，以到达离苦得乐的彼岸。已公开发表的关于最大信息熵原理的“三悖论”是对我的研究成果的初步总结。我预感到了这或许是一项推动群山的进展。因此有必要尽一切努力对关于最大信息熵原理的“三悖论”的实质作出详细解释。本文就是一种初步尝试。

（一）对约束条件的解读

 所谓约束条件就是所有可能的分布所共同遵守或承受的一种制约。或者说只要有一种可能的分布受到这种制约，所有可能的分布必须共同遵守或承受这种制约。

（二）对拉格朗日乘数法的解读【3】

 所谓拉格郎日乘数法，就是求目标函数在给定自然约束条件和非自然约束条件下的最值点或极值点的数学方法。所谓自然约束条件就是指对概率分布p1，p2，...，pn而言：p1 + p2 + ...+ pn =1。

（三）对“悖论1”的解读

定理1【1】【4】（“悖论1”）：假设概率pi = f(xi)，i = 1，2，...，n。按最大信息熵原理，在这个唯一的非自然约束条件以及自然约束条件下，可得出一般而言概率pi不等于f(xi)的结论，i = 1，2，...，n。

【解读】

有因就有果，有果就有因，因就是果，果就是因。这里约束条件是因，而分布函数是果。但是一旦分布函数这个果已被确定，它本身也就成为一种因：约束条件。得以实现了的分布函数所遵守或承受的制约，所有可能的分布都必须遵守或承受。因为：pi = f(xi)，i = 1，2，...，n，所以有最真实的非自然约束条件：

p1/f(x1) + p2/f(x2) +...+ pn/f(xn) = 常数C3 = n(这其中x1，x2，...，xn是与概率分布p1，p2，...，pn相对应的n个离散变量值）

按最大信息熵原理和拉格朗日乘数法，在这个唯一的非自然约束条件以及自然约束条件下，可得出一般而言概率pi不等于f(xi)的结论，i = 1，2，...，n。这显然是最大信息熵原理的一种重大缺陷。

（四）对“悖论2”的解读

 定理2【2】【5】（“悖论2”）：对于负指数分布而言，如果最大信息熵原理赖以推出负指数分布的“变量的统计平均值是常量”成立，那么，信息熵本身就是常量。

 【解读】

 对于负指数分布aexp(-λx)而言，变量的统计平均值 = 1/λ*（log（a) + 信息熵），一旦已经成为现实结果的负指数分布遵守或承受的一种制约：变量的统计平均值=常量C，那就意味着：已经成为现实结果的负指数分布遵守或承受的一种制约：信息熵 = 常数。既然如此，我们应该可以以信息熵 = 常数这个果为因得到负指数分布aexp(-λx)。这也就是说：应该可以允许信息熵=常数这个约束条件不依赖于分布而存在并且以此为因得到负指数分布aexp(-λx)，而这显然是不可能的。这个“悖论”和“悖论1”一样都是说明：以果为因而得果在最大信息熵原理中行不通。

（五）对“悖论3”的解读

定理3【2】【6】（“悖论3”）：对于幂律分布而言，如果最大信息熵原理赖以推出幂律分布的“变量的对数的统计平均值是常量”成立，那么，信息熵本身就是常量。

 【解读】

 对于幂律分布ax^-λ而言，变量的对数的统计平均值 = 1/λ*（log（a) + 信息熵），一旦已经成为现实结果的幂律分布遵守或承受的一种制约：变量的对数的统计平均值=常量C，那就意味着：已经成为现实结果的幂律分布遵守或承受的一种制约：信息熵 = 常数。既然如此，我们应该可以以信息熵 = 常数这个果为因得到幂律分布ax^-λ。这也就是说：应该可以允许信息熵=常数这个约束条件不依赖于分布而存在并且以此为因得到幂律分布ax^-λ，而这显然是不可能的。这个“悖论”和“悖论1”一样都是说明：以果为因而得果在最大信息熵原理中行不通。

参考文献

【1】 Jaynes, E. T. (1957). "Information Theory and Statistical Mechanics"， Physical Review，Vol. 106，No. 4，620-630，May 15，1957. http://www.doc88.com/p-9942714807822.html

【2】冯向军，万悖痴梦：最大信息熵原理配合约束条件求分布，科学网，2017年7月22日。http://blog.sciencenet.cn/blog-1968-1067571.html

【3】Lagrange multiplier，wikipedia。whttps://en.wikipedia.org/wiki/Lagrange_multiplier

【4】冯向军，最大信息熵原理“悖论”，科学网，2017年7月21日。http://blog.sciencenet.cn/blog-1968-1067512.html

【5】冯向军，最大信息熵原理的“幂律分布悖论“，2017年7月22日。http://blog.sciencenet.cn/blog-1968-1067568.html

转载本文请联系原作者获取授权，同时请注明本文来自冯向军科学网博客。
链接地址：https://blog.sciencenet.cn/blog-1968-1067610.html

上一篇：万悖痴梦：最大信息熵原理配合约束条件求分布
下一篇：准备包容最大信息熵原理和其他一切现有极值原理