全信息理论诞生背后的故事

 1948年，美国数学家，贝尔（Bell）实验室的科学家Claude E.Shannon发表论文“通信的数学理论”（Mathematical Theory of Communication）,简称“通信论”。该理论用概率统计的方法对通信系统中信源信息、信道容量进行了度量，同时还给出了确保通信系统信息传输有效性和可靠性的编码定理。对于这一具有划时代意义的伟大贡献，人们期望应用推广到更多领域，逐渐便将其称为“信息论”。

到了20世纪下半叶，伴随着通信、计算机、控制这些信息技术分支的发展，随着新的数学工具的陆续问世，智能理论的研究被提上日程。更多领域研究者对“信息论”寄予厚望。作为一位治学严谨、实事求是的科学家，Shannon本人也在IEEE Transactions on Information Theory第二卷头版头条发布专门文章“The Bandwagon”清晰阐述了自己的观点：“近几年，信息论变成了一个时尚的学科，其实它本来只是通信工程师的一种技术工具，现在却无论在普通杂志还是科学刊物都占据重要地位…结果，它已经名过其实…这种声誉孕育着一种危险。诚然，在理解和探讨通信问题的本质方面，信息论是一种有力的工具，而且它的重要意义还将与日俱增。但它肯定不是通信工作者的万灵药；而且对于其他人，则更是如此。应道认识到，一次就能打开全部自然奥秘这种事情是不可能的。否则，一旦人们发现仅仅使用几个像信息、熵、冗余度这样一些动人词汇并不能解决问题的时候，就会灰心失望，那种人为的繁荣就会在一夜之间崩溃…信息论的基本结果都针对某些非常特殊的问题……信息论的核心本质是一个数学分支，是一个严密的演绎系统。因此，透彻地理解它地数学基础及其在通信方面的应用，是在其它领域应用信息论的先决条件。”

我国信息科学家钟义信先生在系统研究了Shannon理论之后认为：将Shannon的“通信论”称为“信息论”是不妥当的。因为在他看来“信息论”应当可以适用于信息的各个分支领域：比如信息的获取（感测）、信息的传递（通信）、信息的处理（认知）、信息的再生（决策）、信息的执行（控制）。Shannon理论虽然在通信领域效用卓著，但在其它领域，比如信息的处理和再生，即认知和决策领域，并不能普遍适用。为了弥补Shannon理论的不足，钟义信先生在系统研究Shannon理论的基础上提出了“全信息理论”。命名为全信息理论的根本原因在于，通信问题需要考虑的是白噪声背景下波形（语法因素）的复制，不需要考虑波形的内容（语义因素）和价值（语用因素）。因此，Shannon理论研究的仅仅是统计型的语法信息，而没有对其它类型的语法信息，以及语义信息和语用信息进行研究。为了研究适用于整个信息（特别是智能）过程的信息理论，钟义信提出全信息理论，对语法、语义和语用信息进行了全面研究。有了这个基础研究，之前相对独立发展的信息的获取（感测）理论、信息的传递（通信）理论、信息的处理（认知）理论、信息的再生（决策）理论、信息的执行（控制）理论被自然地统合成为一个系统地、综合地学科体系。

拓展阅读：钟义信《信息科学原理》第5版 北京邮电大学出版社，2013