关于最大信息熵所导出的负指数分布不具最大发生概率的证明

美国归侨冯向军博士，2017年月23日写于美丽家乡

【摘要】最大发生概率是不是最高标准尚在未定之天。但是这并不妨碍我指出一个数学事实：最大信息熵原理所导出的负指数分布不具最大发生概率。负指数分布本来就是另一种形式的基于二项分布的最大发生概率。这增强了我对我的创新的信心和底气。

（一）作为崭新信息测度的发生概率

对于概率分布p₁，p₂，...，p_n,作为崭新信息测度的发生概率P为

P = p₁p₂...p_{n    (1-1)}

0<=P<=(1/n)ⁿ

当且仅当概率分布p₁，p₂，...，p_n为均匀分布或

p1 = p2 = ... = pn 时，发生概率才取最大值，或

P = (1/n)ⁿ    (1-2)

(二）最大发生概率原理

在任何约束条件下，得以发生的概率分布都必须具备约束条件下的最大发生概率或极大发生概率。或者换句话说：在任何约束条件下，得以发生的概率分布都必须令其发生概率最大限度地逼近可达最大值P = (1/n)ⁿ 并在这个意义上最大限度地逼近均匀分布。

(三）发生概率的极值目标函数

发生概率的极值目标函数是发生概率P的自然对数

log（P） = log（p1) + log(p2) + ...+ log(pn)    (1-3)

(四）统一约束条件

对于任意给定的分布f(x1)，f(x2)，...，f(xn)，通过最大发生概率原理求分布的统一约束条件是：

p1/f(x1) + p2/f(x2) +...+ pn/f(xn) = 常数 = n    (1-4)

为表达pi完全由xi来决定的特性，又有统一约束条件：

pi/f（xi) = 常数= 1 ，i = 1，2，...,n       （1-5）

上述简洁的统一约束条件的重要意义在于：对于任意给定的概率分布，存在一个形式统一的约束条件，在这个约束条件下，给定分布的发生概率最大或极大。或者说一切发生了的分布都是某种意义上的发生概率最大的分布。一切其它极值原理所推导的分布在相应约束条件下，一般而言，均不具最大发生概率。

（四)负指数分布所对应的具有最大发生概率的约束条件：

定理：根据（1-4）式和（1-5）式，假设概率分布为负指数分布aexp(-bx),则所对应的具有最大发生概率的约束条件为：

p1/a*exp(+bx1) + p2/a*exp(+bx2) +...+ pn/a*exp(+bxn)  = 常数 = n  (1-6)

显然对于负指数分布，变量的统计平均值不变或

p1x1 + p2x2  +...+ pnxn = 常量    (1-6)

一般而言不可能导致发生概率最大。而最大熵原理必须依赖变量的统计平均值不变或（1-6）式才推得出负指数分布pi = aexp(-b*xi)。因此最大信息熵原理所导出的负指数分布，一般而言，不具最大发生概率。

证明：对于非自然约束条件：

p1/a*exp(+bx1) + p2/a*exp(+bx2) +...+ pn/a*exp(+bxn) = 常数C3 = n (这其中x1，x2，...，xn是与广义系统概率分布p1，p2，...，pn相对应的n个离散变量值），命由目标函数发生概率的对数log(P)，自然约束条件和上述非自然约束条件所决定的拉格朗日算子为L。有：

log(p1) + log(p2)+...+log(pn) + C1(p1 + p2 +...+ pn - 1)

+  C2( p1/a*exp(+bx1) + p2/a*exp(+bx2) +...+ pn/a*exp(+bxn)- C3)

对于拉格朗日算子L求一阶偏导数dL/dpi(i=1，2，...,n)并令之为零。有：

dL/dpi = 1 /pi + C1 + C2/a*exp(+bxi) = 0，i = 1，2，...，n。

pi = -1/(C1 + C2/a*exp(+bxi))，i = 1，2，...，n。        

当C1 = 0, C2 = -1，有：

pi = aexp(-b*xi)，i = 1，2，...，n。        

但是拉格朗日算子L的二阶偏导数矩阵为一主对角线上元素恒负而其余元素全为零的负定对称矩阵，因此令拉格朗日算子L一阶偏导数为零的上述分布pi = aexp(-b*xi)也必定是令拉格朗日算子L或约束条件下的目标函数发生概率的对数log(P)取得最大值或极大值的概率分布。这也就是说令拉格朗日算子L一阶偏导数为零的上述分布pi = aexp(-b*xi)也必定是令约束条件下的发生概率P取得最大值或极大值的概率分布，这种分布pi = aexp(-b*xi)符合最大发生概率原理。

对于负指数分布，既然导致具有最大发生概率的负指数分布pi = aexp(-b*xi)所对应的约束条件是p1/a*exp(+bx1) + p2/a*exp(+bx2) +...+ pn/a*exp(+bxn) = 常数C3 = n

那么约束条件:变量的统计平均值不变或

p1x1 + p2x2  +...+ pnxn = 常量    (1-6)

一般而言不可能导致发生概率最大。而最大熵原理必须依赖变量的统计平均值不变或（1-6）式才推得出负指数分布pi = aexp(-b*xi)。因此最大信息熵原理所导出的负指数分布，一般而言，不具最大发生概率。

证毕。