万悖痴梦：最大信息熵原理配合约束条件求分布

美国归侨冯向军博士，2017年月22日写于美丽家乡

万悖痴梦信息熵

催生新皇帝登场

英雄豪杰俱往矣

风流人物看今朝

定理1【1】（“悖论1”）：假设概率pi = f(xi)，i = 1，2，...，n。按最大信息熵原理，在这个唯一的非自然约束条件以及自然约束条件下，可得出一般而言概率pi不等于f(xi)的结论，i = 1，2，...，n。

定理2【2】（“悖论2”）：对于负指数分布而言，如果最大信息熵原理赖以推出负指数分布的“变量的统计平均值是常量”成立，那么，信息熵本身就是常量。

定理3【3】（“悖论3”）：对于幂律分布而言，如果最大信息熵原理赖以推出幂律分布的“变量的对数的统计平均值是常量”成立，那么，信息熵本身就是常量。

【备考与后记】

（1）在相同的约束条件下，相同的自然约束条件除外，最大熵和其他极值原理给出的一般都不是狭义发生概率最大的分布，正是这个底线，让我过去一时无法接受最大熵和其他极值原理，现在想通了，狭义发生概率是不是最高标准还在未定之天，又怎能因此排斥其他呢。

（2）容我把”悖论1“的背景说细些：当概率分布为不均匀常数：

p1 = c1, p2 = c2, ..., pn = cn。

最大熵原理直接以上述约束条件 可得出唯一确定的
p1 = c1， p2 = c2， ...， pn = cn。
这就说明以结果分布为约束，得到不变结果是件正常的事。
但是，当结果分布是：
p1 = f(x1)，p2 = f(x2)...，pn = f(xn)
以上述分布为约束条件，最大熵原理一般是给不出
pi = f(xi)的结果的，而只能给出
pi = a exp(b/f(xi))
aexp (b/f(xi)) 和 f(xi) 不可能总相等。
因此最大熵原理有因果不一致之弊。
参考文献

【1】冯向军，最大信息熵原理“悖论”，科学网，2017年7月21日。http://blog.sciencenet.cn/blog-1968-1067512.html

【2】冯向军，最大信息熵原理的“负指数分布悖论”，2017年7月22日。http://blog.sciencenet.cn/blog-1968-1067548.html

【3】冯向军，最大信息熵原理的“幂律分布悖论“，2017年7月22日。http://blog.sciencenet.cn/blog-1968-1067568.html

关于最大信息熵所导出的负指数分布不具最大发生概率的证明

美国归侨冯向军博士，2017年月23日写于美丽家乡

【摘要】最大发生概率是不是最高标准尚在未定之天。但是这并不妨碍我指出一个数学事实：最大信息熵原理所导出的负指数分布不具最大发生概率。负指数分布本来就是另一种形式的基于二项分布的最大发生概率。这增强了我对我的创新的信心和底气。

（一）作为崭新信息测度的发生概率

对于概率分布p₁，p₂，...，p_n,作为崭新信息测度的发生概率P为

P = p₁p₂...p_{n    (1-1)}

0<=P<=(1/n)ⁿ

当且仅当概率分布p₁，p₂，...，p_n为均匀分布或

p1 = p2 = ... = pn 时，发生概率才取最大值，或

P = (1/n)ⁿ    (1-2)

(二）最大发生概率原理

在任何约束条件下，得以发生的概率分布都必须具备约束条件下的最大发生概率或极大发生概率。或者换句话说：在任何约束条件下，得以发生的概率分布都必须令其发生概率最大限度地逼近可达最大值P = (1/n)ⁿ 并在这个意义上最大限度地逼近均匀分布。

(三）发生概率的极值目标函数

发生概率的极值目标函数是发生概率P的自然对数

log（P） = log（p1) + log(p2) + ...+ log(pn)    (1-3)

(四）统一约束条件

对于任意给定的分布f(x1)，f(x2)，...，f(xn)，通过最大发生概率原理求分布的统一约束条件是：

p1/f(x1) + p2/f(x2) +...+ pn/f(xn) = 常数 = n    (1-4)

为表达pi完全由xi来决定的特性，又有统一约束条件：

pi/f（xi) = 常数= 1 ，i = 1，2，...,n       （1-5）

上述简洁的统一约束条件的重要意义在于：对于任意给定的概率分布，存在一个形式统一的约束条件，在这个约束条件下，给定分布的发生概率最大或极大。或者说一切发生了的分布都是某种意义上的发生概率最大的分布。一切其它极值原理所推导的分布在相应约束条件下，一般而言，均不具最大发生概率。

（四)负指数分布所对应的具有最大发生概率的约束条件：

定理：根据（1-4）式和（1-5）式，假设概率分布为负指数分布aexp(-bx),则所对应的具有最大发生概率的约束条件为：

p1/a*exp(+bx1) + p2/a*exp(+bx2) +...+ pn/a*exp(+bxn)  = 常数 = n  (1-6)

显然对于负指数分布，变量的统计平均值不变或

p1x1 + p2x2  +...+ pnxn = 常量   (1-6)

一般而言不可能导致发生概率最大。而最大熵原理必须依赖变量的统计平均值不变或（1-6）式才推得出负指数分布pi = aexp(-b*xi)。因此最大信息熵原理所导出的负指数分布，一般而言，不具最大发生概率。

证明：对于非自然约束条件：

p1/a*exp(+bx1) + p2/a*exp(+bx2) +...+ pn/a*exp(+bxn) = 常数C3 = n (这其中x1，x2，...，xn是与广义系统概率分布p1，p2，...，pn相对应的n个离散变量值），命由目标函数发生概率的对数log(P)，自然约束条件和上述非自然约束条件所决定的拉格朗日算子为L。有：

log(p1) + log(p2)+...+log(pn) + C1(p1 + p2 +...+ pn - 1)

+  C2( p1/a*exp(+bx1) + p2/a*exp(+bx2) +...+ pn/a*exp(+bxn)- C3)

对于拉格朗日算子L求一阶偏导数dL/dpi(i=1，2，...,n)并令之为零。有：

dL/dpi = 1 /pi + C1 + C2/a*exp(+bxi) = 0，i = 1，2，...，n。

pi = -1/(C1 + C2/a*exp(+bxi))，i = 1，2，...，n。        

当C1 = 0, C2 = -1，有：

pi = aexp(-b*xi)，i = 1，2，...，n。        

但是拉格朗日算子L的二阶偏导数矩阵为一主对角线上元素恒负而其余元素全为零的负定对称矩阵，因此令拉格朗日算子L一阶偏导数为零的上述分布pi = aexp(-b*xi)也必定是令拉格朗日算子L或约束条件下的目标函数发生概率的对数log(P)取得最大值或极大值的概率分布。这也就是说令拉格朗日算子L一阶偏导数为零的上述分布pi = aexp(-b*xi)也必定是令约束条件下的发生概率P取得最大值或极大值的概率分布，这种分布pi =aexp(-b*xi)符合最大发生概率原理。

对于负指数分布，既然导致具有最大发生概率的负指数分布pi = aexp(-b*xi)所对应的约束条件是p1/a*exp(+bx1) + p2/a*exp(+bx2) +...+ pn/a*exp(+bxn) = 常数C3 = n

那么约束条件:变量的统计平均值不变或

p1x1 + p2x2  +...+ pnxn = 常量   (1-6)

一般而言不可能导致发生概率最大。而最大熵原理必须依赖变量的统计平均值不变或（1-6）式才推得出负指数分布pi = aexp(-b*xi)。因此最大信息熵原理所导出的负指数分布，一般而言，不具最大发生概率。

证毕。