信息化的本质分享 http://blog.sciencenet.cn/u/Babituo

博文

几种熵的概念模型的统一(自转)

已有 566 次阅读 2023-11-9 11:00 |个人分类:信息探索|系统分类:科研笔记

今天和朋友聊起熵概念和最优传输的关系,发现我以前在畅享网的博客已经年久失修,被拆除了。有一篇文章被网友转帖,真是幸运。赶紧转到科学网来。

[原创]几种熵的概念模型的统一

对于一个孤立的热力学系统,K个宏观状态;

对于其中的每一个宏观状态,Mi个微观状态(i=1..K);

对上述模型,玻尔兹曼熵概念为:

对于某一个宏观状态i,""的大小为: k * lnMi.


对于一个统计模型,K种事件可以发生;

对于其中的每一种事件i,发生的概率是Pi (i=1..K).

对于上述模型,仙农熵概念为:

对整个模型,""的大小为: -总计(Pi * lnPi)

仙农熵模型中的"事件对应 玻尔兹曼熵模型中的"宏观状态".

仙农熵模型中的"概率对应 玻尔兹曼熵模型中的"某宏观状态中的微观状态的个数占系统总微观状态个数总和的比例".

因为在系统的一个宏观状态下,可以出现多个微观的状态。

反过来说,只要系统在微观上出现了某个微观的状态,那么,在宏观上就一定处于相应的宏观状态上。

而系统每个宏观状态所包含的微观状态个数的总和是一定的,所以,系统表现出宏观状态的概率,就是宏观状态中微观状态的个数占系统总的微观状态个数的比率。

例如:假设有100个苹果,按照质量等级分成了10个等级,其中每个等级有10个苹果。这就是一个有效的两种熵统一的概念模型的实例。

其中:

100个苹果,是总体系统,

10个等级,就是系统的10种宏观状态,或者是抽中一个某等级的苹果的事件类型的标识。

每个等级有10个苹果,就是每种宏观状态都由10个微观状态组成,或者是抽出10个中的任一个,就代表抽出了相应等级的苹果的事件发生了。可见每种抽出某等级苹果事件发生的概率都是:10/100,即0.1

这个模型中,将10个等级的10个苹果分别放入了10个箱子和全部100个苹果放在1个箱子中,是两种不同的整体情况。前一种情况区分了10种宏观状态,后一种就不区分,只是1种宏观状态。

对于前一种情况可以分别求出10个每一种宏观状态的玻尔兹曼熵,都是k * ln10

对于后一种情况则只能求1玻尔兹曼熵K * ln 100

对于整体,仙农熵为: - (0.1 * ln0.1 + 0.1 * ln0.1+... + 0.1 * ln0.1)  =  -10 * 0.1 * ln0.1  

玻尔兹曼熵和仙农熵的概念模型本质是相同的,可以统一为一个模型。

玻尔兹曼熵和仙农熵的概念模型统一后,可见两种熵是描述同一模型的不同方面的性质的,必定可推导出两种熵的计算关系。

:

N为系统总微观状态的个数,

为宏观状态数;

Mi为某宏观状态下的微观状态的个数,


那么

N = 总加(Mi) (i=1..K)

某宏观状态的玻尔兹曼熵: Sbi = k * ln Mi 


某宏观状态出现的概率为:Pi = Mi / N

系统的仙农熵为:Sx = - 总加( Pi ln Pi)

Sx  = - 总加[(Mi/N) * ln(Mi/N)]

    = - 总加[Mi * (lnMi - lnN)]/N  

= - 总加[Mi * lnMi - Mi * lnN)]/N


两边同时乘以N

N*Sx  = 总加(Mi * lnN) - 总加(Mi * lnMi)

       = 总加(Mi) * ln N - 总加(Mi * lnMi)

       =  N * lnN - 总加(Mi * lnMi)

即如下得到了玻尔兹曼熵与仙农熵的关系表达式

N*Sx  =  N * lnN - 总加(Mi * lnMi)

如果把M * lnM 看成是总微观状态为M的一个状态的玻尔兹曼熵那么,上式右边表达的是两种状态下的玻尔兹曼熵的差,这两种状态分别是:不分宏观状态和区分宏观状态。

N*lnN为不区分宏观状态时的系统总的 玻尔兹曼熵

而“总加(Mi * lnMi)”为区分宏观状态时的系统总的玻尔兹曼熵

可见,二者的差值是仙农熵的N倍。

也就是说,仙农熵与玻尔兹曼熵的确切概念关系是:仙农熵是系统从没有宏观状态区分(总只显示一个宏观状态)到有宏观状态区分(可随机显示多个宏观状态)的变化时,所产生的平均的玻尔兹曼熵变化量。


用本文前面所述的苹果实例可计算说明如下:

100个苹果所处的宏观状况不分等级放在1个箱子中,1箱100个。分10个等级分别放到10个箱中,每箱10个宏观状态数110微观状态数1001_0x10玻尔兹曼熵100*ln100 = 460.510 * 10 *ln10 = 230.3仙农熵(100*ln100 - 10 * 10 *ln10)/100 = (460.5-230.3)/100 = 2.302

可见,如果说玻尔兹曼熵描述的是系统结构的状态特征,那么,仙农熵描述的则是系统结构的状态变化的特征。

这首先是一个乘法表达式,

乘法的基本含义:份数 每份数 总数

显然,N是份数

那么,LnN就是每份数,也就是平均每一份有多少的一个量,是什么含义的量呢?.

LnN是一个对数,

其确切可取的含义是:用指定边长(对数底数)的标识空间来标识N个不同事物,所需标识空间的维数(幂指数)。

定性理解含义是:用一个较小的数(lnN)来评价一个较大的数(N)的大小规模。

考虑到是一个平均数的概念,所以,可以理解为就是“平均数量规模”的含义。

也就是说,一个集合中的所有元数个数的大小规模,平均分摊到每个元素上,有多大的规模。

如果一个系统中内部不同事物的个数多少,可以用来代表系统内部的“复杂程度”大小的话,LnN就可以理解为是由N个事物组成的系统的“平均复杂度”,也就是“单位的玻尔兹曼熵”的含义。

于是:

N * lnN的含义就是“数量规模总量”的含义,用复杂性的语言来说,就是由N个事物组成的系统的“总复杂量”。


张学文“复杂程度”计算公式

无独有偶,张学文在“组成论”中,对其所定义的“广义集合”模型给出了一个度量公式,正是:

C = N * lnN - 总加(Mi * lnMi)

从形式上看,wq和上述的玻尔兹曼熵与仙农熵的关系表达式的右侧相同。

张学文从复杂性角度定义这个概念为“广义集合”的“复杂程度”的度量。

这个概念和玻尔兹曼熵与仙农熵的关系中的概念有微妙的区别,在玻尔兹曼熵与仙农熵的关系的概念中,是系统在两种状态之间变化时所产生的系统总的复杂量的变化量的概念。

相同形式的公式,理解的含义有细微的差异,到底原因何在?

为追究上述概念差异造成的原因,有必要仔细检查张学文概念引出所用的概念模型与之前统一的熵模型到底有什么异同和联系。

张学文广义集合其实就是一个统计模型,定义是:元素为K种不同的个体,每种个体有Mi个,共有N个个体组成的集合。如果不仔细分辨,初一看和上述统一的熵概念模型wq相同,但仔细分析,就会发现概念上的微妙区别。

区别如下:

1.如果把广义集合中的K种不同个体,对应理解为统一熵模型中的K种宏观状态,那么,每种个体有Mi个,就应该对应某宏观状态下的微观状态有Mi个。但是,在统一熵模型中的各种微观状态之间的差异是不容忽视的,这与广义集合中Mi个个体之间的差异是被忽视的有区别。

2.如果把广义集合中的每种个体有Mi个的Mi全部指定为1个,那么,一个广义集合就只能对应统一熵模型中的1个宏观状态,相应的每种个体1各1个,就可以表示1种宏观状态下的N种微观状态。要多个这样的广义集合聚合起来才能形成一个统一熵模型。

可见,张学文的广义集合模型与严格意义上的统一熵模型之间是存在语义上的差异的,所以,即使我们可以针对广义集合模型写出与统一熵模型同样的度量公式,也不能断定:这同一个公式在不同的模型中语义是相同的。



我的求知信念:求同存异,求异存同;--- 我的空间观念:见宏知微,见微知宏;--- 我的历史观念:无往不来,无来不往;--- 我的运动观念:痛则不通,通则不痛;--- 我的状态观念:居危思安,居安思危;--- 我的生命观念: 吐故纳新,吐新纳故; --- 我的道德人事信念:道理事,德处人;人脉和,事脉顺。--- 我的Blog:http:///Smarthings/--- 我的圈子:跟我学UML业务建模,http:///BizClub.aspx?id=288--- UML系统建模实战讲解,http:///BizClub.aspx?id=777

今日的体会是:最优传输或许就是计算用最少的组织能团结更多的自由能的变换演进方法的。



https://blog.sciencenet.cn/blog-33982-1409037.html

上一篇:广义相互作用——涉及信息动力学的讨论
收藏 IP: 113.74.127.*| 热度|

1 张学文

该博文允许注册用户评论 请点击登录 评论 (9 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-2-28 13:15

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部