由概率的调和平均值引出的一种熵

2008-7-2张学文

1.         热力学熵所联系的玻尔兹曼熵、申农熵本质上对应着系统（集合）的概率的几何平均值（以致它的函数）。最近20年发展起来的Tsallis 熵则对应于该系统中的代数平均值所对应的熵（我们这里的表达式与Tsallis有区别，这里用了对数，没有了那里的“1”，并且是q=2的情况）。其实，调和平均值也是一种重要的平均值。现在可以在申农熵、Tsallis 熵之外再提出与概率的调和平均值联系着的第三种熵。

2.         基本模型

我们把由N个个体组成的系统称为“个体集”【参考《组成论》一书里的广义集合概念和http://www.sciencenet.cn/blog/user_content.aspx?id=29861】。设每个个体就某变量（我们称为标志）x，在确定时刻有唯一确定的值x_i（我们称为标志值）。这里i＝1，2，…，p （p≤N）。这个系统自然存在一个分布函数值n,  [n＝f(x_i)],它给出不同的x值所对应的个体数量n。在离散情况下这些可以用下表表示。

 

 

个体集合的标志值和它们对应的个体数量、百分比表

例如：某托儿所有150儿童，他们被分到大、中、小三个班的儿童分别有60、50、40个。于是有下表

托儿所的例子表

 

这里f(x_i /N)是变量取值为x_i个个体占的百分比。另外，显然有

N=∑n_i

       如果我们对这个个体集合进行一次随机抽样，那么标志值为x_i的个体被抽中的概率显然，依古典概率定义为fi,所以，还有

       ∑fi＝1

       我们就在这个系统（个体集合，广义集合，个体集）的 基础上讨论对应的信息熵（它对应的复杂程度）和新的熵。

3.         三种平均值

对应上表中的第3行（含义是各个标志值所占有的个体数量），我们可以依定义求其代数平均值n_a、几何平均值n_g和调和平均值n_h:

       代数：n_a=(1/N)( n₁²+ n₂²+…+ n _p²), 

－－－－

几何：(n_g)^N= n₁ ⁿ¹ n₂ ⁿ²_…n _p ^{n p}

^－－－－

       调和：(1/n_h)=(1/N)( n₁/ n₁+ n₂/ n₂+…+n _p/n _p)=p/N

－－－－

       这三种平均值都是数学中承认的平均值。它们是平均值三个一般公式在变量为n_i的特殊情况的特解。

       对于给的例子，其对应的三种平均值分别为n_a =51.3,  n_g =50.6,  n_h=50

－－－

4.         依据过去给的复杂程度公式计算的复杂程度是根据变量的几何平均值而得到的复杂程度C_g

_－－

C_g＝NlogN - n₁log n₁- n₂log n₂-…-n _plogn _p

_－－

C_g=NlogN-Nlog(n_g)=Nlog(N/n_g)

－－

它说明了不同标志值的数量的几何平均值，N与复杂程度C_g的关系。它对应统计力学里的熵，是信息熵的N倍，我们称为第二种熵。对于前面例子，C_g＝150log(150/50.6)=70.79

5.         类似地，我们定义与代数平均值（对不同标志值的个体数量的代数平均值）n_a的如下公式为复杂程度C_a:

－－

C_a=NlogN-Nlogn_a

_－－

C_a=NlogN-Nlog[(1/N)( n₁²+ n₂²+…+ n _p²)]

－－

       它显然与q=2的Tsallis 所谓的熵十分类似，我们把它称为第一种熵。对于前面例子，C_a＝150log150-150log(51.3)=326.4-256.5=69.9

6.         类似地，我们定义与调和平均值（对不同标志值的个体数量的调和平均值）n_h联系的如下公式为对应的复杂程度C_h

_－－

C_h=NlogN-Nlogn_h＝NlogN- Nlog(N /p)= Nlogp

－－

于是现在引入了第三种熵（第三种复杂程度）。对于前面例子，C_h＝150log(3)=71.56

7.         对例子的说明

对于大、中、小班各为40、50、90的儿童的托儿所，儿童的班级复杂程度在三种复杂程度公式面前的计算结果见于下表，其中的信息熵（申农熵）是复杂程度除以个体总量150的值，它的物理意义是在托儿所里任意抽一个儿童，他（她）究竟是大、中、小班的不确定程度。于是我们就从大家比较生疏的复杂程度还原为比较熟悉的信息熵。这里以比特为单位的值是10为底对数值乘3.321928。

 

 

 

8.         初步小结;数学里经提到的平均值有代数、几何、调和平均值三种。信息熵（连同统计力学的熵）联系的是关于概率的几何平均值，1988年以来又发展出联系者概率的代数平均值的Tsallis 熵。这里引入了与调和平均值对应的新的熵（复杂程度）。我们是给了基本公式和一个例子（体现调和熵的值最大），但是关于它的性质和应用还没有来得及讨论。

 

转载本文请联系原作者获取授权，同时请注明本文来自张学文科学网博客。
链接地址：https://blog.sciencenet.cn/blog-2024-31154.html

上一篇：领导直接开飞机，你敢坐吗？
下一篇：<个体-标志值-集合>和它的复杂程度之六