最大信息熵原理的“幂律分布悖论”

美国归侨冯向军博士，2017年7月22日写于美丽家乡

定理：对于幂律分布而言，如果最大信息熵原理赖以推出幂律分布的“变量的对数的统计平均值是常量”成立，那么，信息熵本身就是常量。

证明：对于有限样本幂律分布ax^-λ，因为

pi = axi^-λ

log（xi） =1/λlog(a/pi)

变量的对数的统计平均值 = p1log(x1） + p2log(x2） +...+pnlog(xn）

= 1/λ*(p1log(a/p1) + p2log(a/p2) +...+pnlog(a/pn)）

= 1/λ*（log（a) - p1log(p1)-p2log(p2)-...-pnlog(pn))

= 1/λ*（log（a) + 信息熵）。

如果说“变量的对数的统计平均值是一与概率分布无关的常量”，那么信息熵本身就是与概率分布无关的常量。

如果变量的对数的统计平均值不是与概率分布无关的常量，那么，用信息熵最大配合变量的对数的统计平均值为常量来推导幂律分布，对于有限样本而言，一般就是凑数据。