闵应骅的博客分享 http://blog.sciencenet.cn/u/ymin 一位IEEE终身Fellow对信息科学及其发展的看法

博文

信息论应该创新了(110209)

已有 6059 次阅读 2011-2-9 18:06 |个人分类:学术导航|系统分类:科研笔记| 信息论

信息论应该创新了(110209)
闵应骅

    大家知道,信息论的祖师爷是申农(Claude Elwood Shannon (1916-2001,享年85岁)),被誉为“信息论之父”。他这个“XX之父”可不是媒体封的,也不是某一个国家封的,而是全世界公认的,好像没有人提出过异议。到老年,他在麻省的老家养老,从不过问美国的科技战略,似乎每年接受一次IEEE或ACM的记着访问。1948年他是贝尔实验室的电气工程师,发表“通信的数学理论”一文,定量地给出了数据压缩、存储和传递的限制;他为高速通信、文件压缩和数据转换,直至现在的因特网铺平了道路。所以他不愧为信息论之父。但是,信息论需要原创性的发展。据今年2月CACM报道,美国自然科学基金委列了一个五年的2500万美元大题目,研究后申农时代的信息论。这个题目的领导人是普渡大学的计算机科学教授Wojciech Szpankowski,在普渡大学建立了一个信息科学中心,包括美国9所大学的40名研究人员。

    他们要研究些什么?在什么地方创新信息论呢?据该文报道,大概有几方面,略述如下。

1。信息是什么?

    申农的信息论认为信息包含一些信息位,以减少从信息源通过信道传给接收者的统计不确定性。它让工程师能够去定义无损和有损信道的能力,以及数据压缩的上限。申农信息论忽略消息的意义,只关心这些0,1码子是否能正确传输,不关心信道的物理性质。从信息论的观点看,在电话线上和在纤维光缆上的信息是一样的。接收者允许无限的时间延迟,去接收和识别一个信号。60多年过去了,信息的定义需要创新。信息应该可以测度它是否有助于接收者完成某一个目的。因此,必须考虑语意、空间和时间因素。譬如一个等火车的人在下午2:00收到一个消息,说火车已经在下午1:00开走了。这个消息本质上不包含信息。在无线网上,信息随传输时间而变,因为接收者已经移动了。譬如汽车已经过了交叉路口,你再让它左拐,已经没有意义了。我们根本不理解因特网网上传输着多少信息,因为我们不懂得信息的时间特性。

2。压缩和数据传送的极限

    谈到信噪比,有一大堆数学。但是,对声音和图像,没有保真度的最好测度。一般来说,人脑能够容允视觉噪声,但对于某些类型的噪声却很敏感。譬如,识别图像时,清晰的边缘比颜色更重要。问题不在于用多少0,1位,而在于在有损压缩中,哪些位是保真的关键。所以,有些位是容差错的,而另一些位却不能。

3。结构信息的压缩极限

    有多少信息是包含在结构中?蛋白质的运动很不相同,传递不同的信息,决定于它的形状。科学家希望建立计算机模型,来帮助理解结构是如何影响细胞发育和疾病产生的。这时,在数学上,结构元素,像顶点和边,需要增加若干维。就是因为我们不知道结构中包含的信息,我们说不清楚,为什么一个汽车远比一辆自行车复杂。

4。多发送和多接收

    申农的信息论对点对点的通信,或者多发送、单接收是有效的。但是,要是有两个发送、两个接收,就有串扰的问题。接收者可能收到不该由他接收的信号。在Mesh网络和移动通信,以及小型天线的高频传输中都不是点对点的。我们并不知道,在噪声情况下,能够可靠传输多少信息的最终的上限是多少。

5。量子信息和量子计算

    经典的信息是0和1的集合,而量子信息是一个连续统。量子计算中的量子位可以取0和1,以及它们之间无穷可能的值。经典信息可以复制,而量子信息不能。在这种情况下,信息是什么?怎么弄懂这样的信息?它怎么来,怎么处理?

6。信息论在经济领域有用吗?

    经济学家关心,信息论是否可以在经济上有所应用。理论上,中央银行改变利率或现金储备,价格应该很快变化。但实际上不一定。为什么?因为人们处理数据的能力有限,如果信息不超过某一个限度,他们不会对信息做出反应。人们要权衡减少不确定性和处理信息的代价。譬如,增息太少,就不值得去费那劲。有人说这叫“有理疏忽”。经济学与信息论紧密相关。

    说这些空洞的设想并不难,也许还可以列出许多。但是,基于一个理论,就这些问题推导出某些结论,绝非易事。这就是科学大家要做的事,就像当年申农所做的那样。对于年青的学者们,要想研究这个问题,我建议还是先去读读申农的原著,然后去思考,他是怎么引人新概念、得出新结论的。不要乞求全解决,解决一个小问题就很好。最好不要夸夸其谈,大谈感想性的东西,没有科学结论。

https://blog.sciencenet.cn/blog-290937-411440.html

上一篇:科研成果转化与产业化(110126)
下一篇:一个新词Crowdsourcing(110212)

23 章成志 杨华磊 张学文 陈安 武夷山 许培扬 陈辉 唐常杰 刘天亮 马磊 洪昆辉 齐霁 朱志敏 彭海杰 刘立 王勇 何振峰 刘钢 张利华 俞立 yinglu 理论思维 nipy

发表评论 评论 (48 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2022-5-22 20:11

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部