最大信息熵原理的“负指数分布悖论”

美国归侨冯向军博士，2017年7月22日写于美丽家乡

定理：对于负指数分布而言，如果最大信息熵原理赖以推出负指数分布的“变量的统计平均值是常量”成立，那么，信息熵本身就是常量。

证明：对于有限样本负指数分布aexp(-λx)，因为

pi = aexp(-λxi)

xi =1/λlog(a/pi)

变量的统计平均值 = p1x1 + p2x2 +...+pnxn

= 1/λ*(p1log(a/p1) + p2log(a/p2) +...+pnlog(a/pn)）

= 1/λ*（log（a) - p1log(p1)-p2log(p2)-...-pnlog(pn))

= 1/λ*（log（a) + 信息熵）。

如果说“变量的统计平均值是一与概率分布无关的常量”，那么信息熵本身就是与概率分布无关的常量。

注：张学文快刀斩乱麻实验中，n = 15，与无穷大样本空间实在是没关系。

如果变量的统计平均值不是与概率分布无关的常量，那么，用信息熵最大配合变量的统计平均值为常量来推导负指数分布，对于有限样本而言，一般就是凑数据。