气象.水.熵.复杂性分享 http://blog.sciencenet.cn/u/zhangxw 张学文的文章,涉及气象、水分、熵、统计、复杂性、一般科学等

博文

最大熵原理的浅显解释

已有 5831 次阅读 2007-6-13 21:37 |个人分类:统计、概率、熵、信息、复杂性.1.| 熵原理

最大熵理论浅显解释

 
(这里的文字是我的《组成论》中的,现在被人们传为佚名作者,并且取了另外的标题。我把它拾回来,放到这里。张学文2007.6.13)

副标题: 
作者:佚名 文章来源:摘录 

 
 
我们得到最复杂原理的思路并不深奥,但它毕竟抽象一些。现在暂时停止这些抽象思维,而去用一些生活中的定性的例子说明最复杂原理几乎在每个人的身边。希望这可以加深对最复杂原理的感性认识。

你今天出门遇到了很多人,但是具体遇到谁就有随机性。他们都是办喜事的吗?不,办喜事的人可能有,但是也有买东西的、放学回家的、出游的、做生意的、出差的、看病的等等。把遇到的人看成是一个广义集合,根据最复杂原理,这个广义集合内的人的活动特点(标志值)会自动最复杂化。----你遇到了很多从事不同活动的人,这件事本身就说明最复杂原理是对的。

你看看从百货商店出来的人:他们都仅买一种相同的商品的事件的出现概率就非常小,最容易出现的情况是买什么东西的人都有。所以最容易出现的也正是复杂程度最大的。这里也体现着最复杂原理,人买的东西是自动地最复杂化。

你把一个玻璃杯摔碎了,碎玻璃的大小都相同?根据最复杂原理,它们是尽量地不相同----使碎玻璃的大小尽量复杂化。

你坐火车,车上的旅客的目的地都相同?不,根据最复杂原理,他们的目的地各不相同的情况最容易出现,而这恰好体现了最复杂原理。为什么东去的火车和西去的火车都有人坐?因为旅客的目的地不同(复杂程度大),我们可以说正是最复杂原理的作用使得东去和西去的火车都有旅客。

你昨天干了一些什么?仅是忙于应付考试?不,你得起床、吃饭、处理个人卫生环境卫生、与周围的人谈东谈西、看报纸听广播、得看这个电视节目或者哪个…根据最复杂原理我就知道你一天不可能仅只做一样事。你做的事会自动地最复杂化。另外根据最复杂原理,我也知道你那仅有两岁的儿子的活动也是自动地最复杂化:他一会儿高兴一会儿生气一会儿…他一天忙个不停,他用自己的行动体现着最复杂原理!

一场排球比赛赢了,这都是依靠扣球得的分?不会,有的是对方送的有的是发球就得了分…由于随机性的存在,根据最复杂原理,所以得分的方式的复杂程度自动地最大化。

一道难题20个学生都没有答对,根据最复杂原理,他们的答案应当自动地最复杂化(五花八门)。“20人都出现相同的错误”这种事件的出现概率非常小(倒是串通作弊的可能性很大)。他们出错的地方各不相同的(最复杂)的局面的出现的机会就很高。



只要理解了最复杂原理的含义,每个人都可以轻易地从生活中的事物里举出很多个例子以说明原理经常是对的。

“允许一部分人先富起来”的政策意味着约束(最复杂原理中指的限制条件)的放宽。仅仅根据这个政策人们都依靠劳动致富?不会,根据最复杂原理,人们致富富的方式会自动地最复杂化。结果是有的人靠多出力致富;也有的是靠以权谋私、靠欺诈、靠剥削、靠偶然的机会等等等等。

几十年来中国社会经常为一时兴起的新政策所左右。制定政策的初衷可能都很好。但是政策一执行,其典型的社会表现就是出现了很多政策制定人没有预想到的情况。为什么会是这样?人们可能找很多具体原因。但是从总体上看对客观事物的复杂性的认识不足是重要原因。而客观事物都是自动把自己的复杂性依照最复杂原理而最大化的。

是的,人们经常抱怨情况太复杂!这个抱怨本身就说明最复杂原理处处在显示自己的作用。谁忽视它就自讨其苦。

最复杂原理也象其他的客观规律一样它自动地在客观事物中体现自己的存在,而不管你喜欢它或者反对它。我们仅有承认它利用或者限制它的能力没有取消它的权利。

人们过去对最复杂原理的体现或者是司空见惯、熟视无睹或者是对它的理解停留在局部的就事论事的感性认识的水平上。最复杂原理是一大批客观现象的普遍事理的一个集中点。一旦我们认识了它,我们对很多现象的认识也就从感性阶段提高到理性阶段。从被动承受到主动利用。

牛顿之前谁都知道苹果熟了要落地,谁都被动承受这个事实,但是牛顿把它概括为万有引力以后我们对事物的规律的认识就进了一大步,以致20世纪人们主动利用它登上了月球。把很多司空见惯的事理概括为最复杂原理就为定量、主动地应用它打开了新局面。
ォォォォォォォォォォァ?nbsp;              
 
 
 

作者: 没事少抽烟  2006-11-23 23:05   回复此发言  

2 最大熵理论浅显解释

我们沿着自己的思路说明了广义集合、分布函数和复杂程度的含义。在本篇又利用新提出的概率公理证明复杂程度最大的事物最容易出现,并且把它称为最复杂原理。这个原理与其他领域的知识有什么关系?本节就说明从信息论中发展起来的最大熵方法等价于最复杂原理。

复杂程度与信息论中定义的信息熵是成正比例的物理量。现在最复杂原理强调的是复杂程度的自动的最大化,由于复杂程度对应信息熵,所以最复杂原理用信息论的语言讲就是信息熵的自动的最大化。在信息论的文献中我们会看到最大熵原理或者最大熵方法这样的词。它们表达的含义实际上与最复杂原理是对应的。所以我们可以说信息论中介绍的最大熵方法(原理)也就是最复杂原理在该领域的体现。

早期的信息论其中心任务就是从理论上认识一个通信的设备(手段)的通信能力应当如何去计量以及分析该通信能力的规律性。但是信息论研究很快就发现利用信息熵最大再附加上一些约束,就可以得到例如著名的统计学中的高斯分布(即正态分布)。这件事提示我们高斯分布又多了一种论证的方法,也提示了把信息熵最大化是认识客观事物的规律性的新角度。

把熵最大(对应我们的复杂程度最大)做为一种原则或者方法应用于各个科技领域的旗手是杰尼斯E.T.Jaynes 。他从1957年就在这个方向做了开创性的工作。他给出了利用最大熵方法定量求解问题的一般技术途径;论证了统计力学中的一些著名的分布函数从信息熵最大的角度也可以得到证明。这不仅使信息论知识与统计物理知识实现了连通,也使熵概念和熵原理走出了热力学的领域。

20世纪60年代Burg在时间序列的分析中提出了用信息熵最大求频谱的技术。用这种方法得到的谱的准确性比过去的方法好,人们把它称为最大熵谱。80年代这个方法在我国也得到了广泛应用。40多年以来,尽管“利用最大熵的方法解决科技问题”在信息论的理论中不是主流,但是利用信息熵最大帮助解决很多科技问题已经形成了独立的一股学术和技术力量,而且是硕果累累了。80年代以来在美国等地每年都召开一次讨论最大熵方法应用的学术会议,并且有一册会议文集出版。这成为他们的重要学术活动形式。

最大熵方法的特点是在研究的问题中,尽量把问题与信息熵联系起来,再把信息熵最大做为一个有益的假设(原理),用于所研究的问题中。由于这个方法得到的结果或者公式往往(更)符合实际,它就推动这个知识在前进和曼延。我国学者(后来去了加拿大)吴乃龙、袁素云在本领域有成就,而且也在所著的《最大熵方法》(湖南科学技术出版社1991年出版)一书中向国人就这个方法做了很全面的介绍。

把最复杂原理与信息论中的最大熵方法联系起来,既是自然的逻辑推论也显示最复杂原理并不孤立。这样,最大熵方法过去取得的一切成就都在帮助人们理解最复杂原理的合理性。而最复杂原理的引入也使人们摆脱对神秘的熵概念和熵原理的敬畏。在理解了最复杂原理来源于概率公理以后,我们终于明白,神秘的熵原理本质上仅是“高概率的事物容易出现”这个再朴素不过的公理的一个推论。

不可否认一些场合有人要把科学概念和科学原理说得深而又玄,使很多人望而生畏。我们主张用“复杂程度”这个词代替“熵(信息熵)”这个词,主张用“最复杂原理”这个词代替“最大熵方法(原理)”这个词。我们认为这没有曲解其意而有利其普及和推广。
 
作者: 没事少抽烟  2006-11-23 23:05   回复此发言  

3 回复:最大熵理论浅显解释
dd
作者: 脉陌  2006-11-24 19:09   回复此发言  

4 回复:最大熵理论浅显解释
作者: 59.67.33.*  2007-3-29 17:16   回复此发言  

5 回复:最大熵理论浅显解释
神秘的熵原理本质上仅是“高概率的事物容易出现”这个再朴素不过的公理的一个推论。 
------------------------------------
喜欢这个作者,合我口味,一针见血,不拖泥带水。很多看似高深的理论,其实都能回归到朴素的公理上来。不像老rui先生,一个问题说的连自己都弄不清了(他自己的话)。
作者: dapplehou  2007-3-30 11:52   回复此发言  

6 回复:最大熵理论浅显解释
这个站点已经没有了,好多东西没来得及搬出来~~可惜
作者: 没事少抽烟  2007-3-30 20:42   回复此发言  

7 回复:最大熵理论浅显解释
熵对应复杂,还是负熵对应复杂?我总在疑问.
作者: 宇宙全模统一论  2007-3-30 22:24   回复此发言  

8 回复:最大熵理论浅显解释
一头是绝对的秩序(负熵),一头是绝对的无序(熵),混沌在他们中间。
作者: 没事少抽烟  2007-3-31 18:20   回复此发言  


https://blog.sciencenet.cn/blog-2024-3206.html

上一篇:蒋春暄联系全息生物学谈伪科学等问题
下一篇:雷(电)和雨是什么关系?
收藏 IP: .*| 热度|

0

发表评论 评论 (2 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-17 03:10

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部