最大信息熵原理“悖论”

美国归侨冯向军博士，2017年7月21日写于美丽家乡

 定理：假设概率pi = f(xi)，i = 1，2，...，n。按最大信息熵原理，在这个唯一的非自然约束条件以及自然约束条件下，可得出一般而言概率pi不等于f(xi)的结论，i = 1，2，...，n。

证明：因为：pi = f(xi)，i = 1，2，...，n，所以有非自然约束条件： p1/f(x1) + p2/f(x2) +...+ pn/f(xn) = 常数C3 = n(这其中x1，x2，...，xn是与概率分布p1，p2，...，pn相对应的n个离散变量值），命由目标函数信息熵，自然约束条件和上述非自然约束条件所决定的拉格朗日算子为L。有：

L = -p1log(p1) -p2log(p2)-...-pnlog(pn) + C1(p1 + p2 +...+ pn - 1)

+  C2(（p1/f(x1) + p2/f(x2) +...+ pn/f(xn) - C3)

对于拉格朗日算子L求一阶偏导数dL/dpi(i=1，2，...,n)并令之为零。有：

dL/dpi = -log（pi) - 1 + C1 + C2/f(xi) = 0，i = 1，2，...，n。

pi = exp(-1+C1)*exp( C2/f(xi))，i = 1，2，...，n。

显而易见，一般而言：

exp(-1+C1)*exp( C2/f(xi)) 不等于 f(xi)。所以，一般而言

pi 不等于 f(xi)，i = 1，2，...，n。        

但是拉格朗日算子L的二阶偏导数矩阵为一主对角线上元素恒负而其余元素全为零的负定对称矩阵，因此令拉格朗日算子L一阶偏导数为零的上述一般而言不等 f(xi)的分布pi也必定是令拉格朗日算子L或约束条件下的目标函数信息熵取得最大值或极大值的概率分布。这种一般而言不等于 f(xi)的分布pi符合最大信息熵原理。

证毕。