鲁晨光的科学和哲学研究分享 http://blog.sciencenet.cn/u/lcguang 兴趣:色觉, 哲学, 美学, 进化论,广义信息,投资组合

博文

[转载]转王育民:信息学科发展简史——纪念香农和维纳大师

已有 940 次阅读 2020-9-9 01:53 |个人分类:信息的数学和哲学|系统分类:科普集锦| 信息论, 香农, 维纳, 西电 |文章来源:转载

西安电子科技大学  王育民  (2020-08-28至31)

二次大战期间,战争的需求大大促进了科技的发展,特别是美国参战后更凸现了这一趋势。20世纪四十年代出现了老三论:系统论、控制论和信息论,信息走上了人类社会发展的历史舞台,成为了构建宇宙中一切系统(含天、地、生以及人类所创建的社会中的方方面面事物)的三要素之一

image.png

诺伯特·维纳

神童诺伯特·维纳Norbert Wiener1948 年发表了著名的《控制论——关于在动物和机器中控制和通讯的科学》控制论是一门研究一切系统在信息的调控下如何保持动态平衡和稳定的科学,他特意创造“Cybernetics”这个英语新词来命名这门科学,他在此书中还明确指出信息就是信息,不是物质也不是能量”,这是第一次将信息的重要性提到了空前未有的高度,与物质和能量并列的重要地位,这对于我们认识世界具有划时代意义。

在一切系统中,信息的地位和作用已定,但信息概念很泛,有形形色色不同类别、性质不同的信息,很多信息可以感知,但并不是所有的信息都可以定量计数的。信息概念的广义性、主观性和定量研究的困难性(如情感信息、美学信息),如何将信息提升为科学定量地描述? 维纳和香农对此做出了突出的贡献。

通信的目的就是要获取所关注事件的信息。事件的发生是随机的,具有不确定性,观测和通信的目的就是要获取信息,以解除其中不确定性。这是信息的最基本的属性。Shannon和Wiener利用概率论给出了这唯一一类可以定量描述和用逻辑思维研究,并形成一门科学理论——不确定性信息论

 

 

他们将概率论和随机过程引入到人类如何接收信息解惑认知过程。提出了不确定性信息的概念,给出了它的数学模型,用熵差(信源先验、或无条件熵减去观察或接收到信号后的条件不确定性的熵)定义了它的量纲。已知不确定性信息是惟一可定量描述的信息。

掷一枚硬币,其正面或反面出现的概率都是1/2,是等可能的,其熵H(X)为1-比特(采用对数函数),称之为先验(无条件)不确定性。当我们观察掷硬币的结果后,就知道是正(或)反面,完全解除了不确定性,即条件不确定性H(X/Y)=0。所得到的信息量为1-比特。熵不是信息量度,熵差(H(X)- H(X/Y))才是得到的信息量

image.png

克劳德·艾尔伍德·香农Claude Elwood Shannon

1948年C. E. Shannon发表了他的划时代文章,即《通信的数学理论》,宣告了一门崭新的学科──信息论的诞生。文章中明确地指出,实现有效而可靠通信的必由之路是数字化和编码采样定理)。这是通信技术领域革命的数学或理论基础,而半导体技术则是这一革命的物理或物质基础。值得指出的是,信息论和晶体管都同时诞生在贝尔(Bell)电话实验室,贝尔堪称信息科学和技术的摇篮

image.png

青年时代的香农

香农1940同时获MIT的工程硕士和数学博士学位,早在学生时代香农就参与了贝尔的研究项目。他的硕士论文中论述了如何用布尔代数分析和综合数字开关电路,获奖硕士论文发表后大获赞赏,获Alfred Nobel奖,他自豪地称:这是他一生中从做这件事所获得的乐趣超过了其他任何事

    应当指出,香农1948和1949年发表的两篇重要文章正是20世纪40年代在贝尔参与数学、信息传输和保密电话研究时的产物,《通信的数学理论》历经8年思索定稿发表,这使他成为信息论之父,时年仅32岁;1949年公开发表的《保密系统的通信理论》开辟了用信息论研究密码学的新方向,使他成为近代密码理论的奠基人先驱。这篇文章是他在1945年为贝尔实验室所完成的一篇机密报告《A Mathematical Theory of Cryptograph》,本文发表后促使他被聘为美国政府密码事务顾问。

香农在贝尔连续工作了15年期间创建了信息论、现代密码理论、人工智能等。1956年当选为美国科学院院士,时年40岁。1966年美国国家科学奖章1985年获有日本诺奖之称的京都(KyotoPrize)奖,奖金50万美元。他获得的奖和各种荣誉称号难以计数。

香农给出的通信系统的数学模型,由信源(发信者)、编码器、信道、译码器、信宿(接收者),信道总是有扰的,由噪声源表征,每个框都是随机的,用概率分布或概率过程描述。通信的基本问题是在彼地(或彼时,贮存器)精确地或近似地重现此地(或此时,贮存器)揭示了所选的消息”,这句话将通信的本质表述得多么清晰!从这个模型出发香农揭示出信息论核心思想,即编码定理。

对于给定的信源,最有效的传信就是选用的源编码尽力实现率失真函数的下确界;对于给定的信道,最有效的传信就是选用的信道编码尽力实现信道转移函数的上确界,即信道容量。这两类界统称为香农限。这是求泛函极值问题。

信息的传输、存储和处理的通信体统数学模型中的编码器涵盖了丰富的内容,编码可达成各种不同的需求,概括地说主要有如下几点:

可靠性,抗干扰性;通过增加冗余度的信道编码实现

有效性,通过去冗余度的信源编码实现

时齐性、同步能力,用数据反馈、频率和相位跟踪技术实现

认证性,通过增加冗余度的认证编码实现

保密性,通过利用密码、信使或公钥算法递送或协商秘密钥实现;

防伪装,通过认证编码,增加冗余度实现

完整性,防信息伪造、防重复使用,通过增加冗余度的检错码或数据压缩编码,如Hush函数

隐私性,尚无有效方法。现代所有信息技术都在尽力剥夺人们的隐私,迫使人们在虚拟的“赛伯空间”中无奈地“裸奔”,不仅如此,新的技术还将要直接窥测人的所想、追溯人们的久远的深层记忆、甚至人的内心世界,这更是令人胆寒的!。

除了前面提过的1948和1949的两篇文章外,香农还有几篇很重的文章值得提出。

    1. 1959年发表的《Coding theorems for a discrete source with fidelity criterion》文章,创建了率失真理论,在连续消息和离散消息之间架上了一座桥梁,从而给数字化提供了一个基础和有效的工具。

2. 1960年发表的《Two-way communication channel》文章,创建了多用户信息论

3. 香农曾提出将信息论用在生物系统,在他看来,机器的和生命的事物是有共同性的,当你问他机器是否能思考时,他会回答说;我是一个机器,你是一个机器,我们都能思考,对吗?今天,生命信息论Living information theory)已有不少研究了。

4. 香农还做过将信息论用于最佳投资策略问题的研究,他认为股票市场是一种“受扰信号”,与时间序相关联,问题是要通过适当选择和调整证劵投资组合,使效用函数达到极大值。

image.png

香农照片

香农于2001年2月26日去世,享年84岁。

香农是一位可与牛顿、爱因斯坦比肩的学术大师,他对人类信息化社会的发展的影响将是深远。正如他的“信息论”巨著刚一面世时,美国《财富》(Fortune)杂志立即称此理论为:一个人的最杰出和最令人为之骄傲的创造,一个伟大的、能够迅速而深刻地改变人们对于世界看法的科学理论。Shannon为通信工程师们点亮了灯塔,为他们的探索指明了工作的方向。

2016年是香农诞辰百周年,世界多地都举办了纪念活动,我校举办了系列学术报告,并在当年陈治亚书记支持下在南校区图书馆东侧设了香农小广场,立了香农的塑像。这在国内高校校园可算是“唯一”吧!

image.png

摄于西电南校区图书馆东侧Shannon塑像(2017年9月14日)

香农是使我们从事信息科技事业热的楷模,他的光辉一生可用下图概括。

image.png




http://blog.sciencenet.cn/blog-2056-1249804.html

上一篇:关于确证和乌鸦悖论的英文终于发表了
下一篇:[转载]转王育民 :西电信息学科发展简史——献给母校九十华诞

1 张学文

该博文允许注册用户评论 请点击登录 评论 (1 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2020-10-20 00:27

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部