[笔记，数学文化] 用清晰的思想代替盲目的计算：香农的信息熵

香农： Claude Elwood Shannon

信息熵： information entropy

信息论： information theory

香农 Claude Elwood Shannon, 1916-04-30 ~ 2001-01-24

https://www.bostonreview.net/wp-content/uploads/2022/10/shannonfinal2.jpg

https://www.bostonreview.net/articles/just-add-meaning-claude-shannons-information-theory-rubric-good-communication/

   阅读丁玖老师《数学与理工 —— 纪念信息论之父香农诞辰一百周年》一文笔记与感受。

一、[笔记] 香农的信息熵

   第 12 页：

   他（注：香农）的求学经历对中国的工科大学生和研究生很有启发：如果你想成长为杰出的工程师，年轻时多学点数学思想，多读些数学书籍，而不要急于沉湎于琐碎的工程细节。

   第 14 页：

   香农并未用上述原理来推导熵公式，而只给出如下“三项基本原则”就本质上确定了熵的漂亮式子。第一项基本原则是：H(1/n, 1/n, …,1/n) 是自然数n的严格递增函数。

   第二项基本原则是：如果一个不确定事件分解成几个持续事件，则原先事件的不确定度等于持续事件不确定度的加权和。

   剩下的基本原则只属于数学：对固定的自然数n，不确定度函数H 是(p₁, p₂, …, p_n) 的连续函数。

二、[感受] 用清晰的思想代替盲目的计算

   狄利克雷（Peter Gustav Lejeune Dirichlet, 1805-02-13 ~ 1859-05-05）：

   “用清晰的思想代替盲目的计算。 Replacing blind calculations by clear ideas.”

   当初拜读周炯槃院士《信息理论基础》里的信息熵“公理化推导”，感到一阵震撼：

   原来是从“思想”推导出来的“具体数学公式”！

   周老师《信息理论基础》里面的上的数学推导，应该和读丁老师《数学与理工 —— 纪念信息论之父香农诞辰一百周年》里讲的，大体一致。

三、最大熵概率分布（Maximum entropy probability distribution）

   搜索到（23+1）种可以用最大熵原理（principle of maximum entropy）推导出的概率分布。

https://handwiki.org/wiki/Maximum_entropy_probability_distribution

参考资料：

[1] 丁玖. 数学与理工 —— 纪念信息论之父香农诞辰一百周年[J]. 数学文化, 2017, 8(1): 10-19.

https://www.global-sci.org/intro/article_detail/mc/11962.html

https://www.global-sci.org/intro/articles_list/mc/1337.html

[2] 周炯槃. 信息理论基础[M]. 北京:人民邮电出版社,1983.

https://www.bupt.edu.cn/info/1079/71311.htm

[3] 周炯槃, 中国工程院院士

https://ysg.ckcest.cn/html/details/649/index.html

[4] 2023-08-15，信息论/information theory/蔡长年，中国大百科全书，第三版网络版[DB/OL]

https://www.zgbk.com/ecph/words?SiteID=1&ID=145298&Type=bkzyb&SubID=98378

   香农最初的贡献可以概括为：①从准公理的观点对信息量做出定义；②研究了在无噪声和有噪声信道中传输离散消息时的信息流量；③建立了信道容量的概念，并阐明了它的实际意义；④建立了某些基本的编码定理；⑤研究了在有噪声情况下传输连续信号时的信息流量。

[5] 2023-06-21，信息熵/information entropy/吴伟陵，中国大百科全书，第三版网络版[DB/OL]

https://www.zgbk.com/ecph/words?SiteID=1&ID=145325&Type=bkzyb&SubID=98379

   可以用数学证明，只要H(X)满足下列3个条件：①连续性。

   ②对称性。

   ③可加性。

[6] 2022-01-20，信息熵/information entropy/崔恒建，中国大百科全书，第三版网络版[DB/OL]

https://www.zgbk.com/ecph/words?SiteID=1&ID=199135&Type=bkzyb&SubID=61706

相关链接：

[1] 2024-03-23，[P vs NP，讨论，交作业] 郑波尽老师：P vs NP 的本质，及其研究方法

https://blog.sciencenet.cn/blog-107667-1426579.html

[2] 2024-03-24，[打听，P vs NP] 柯尔莫哥洛夫 Kolmogorov 老师为什么没有研究“ P vs NP”？

https://blog.sciencenet.cn/blog-107667-1426719.html

[3] 2014-03-04，[请教] 相关系数和互信息之间的解析关系

https://blog.sciencenet.cn/blog-107667-773091.html

[4] 2016-01-04，熵很傻：居然分不清楚“噪声”和“条纹”！

https://blog.sciencenet.cn/blog-107667-948035.html

[5] 2021-07-27，[苦啊！] 到底为什么“正态分布随机数不能被预报？”

https://blog.sciencenet.cn/blog-107667-1297235.html

[6] 2020-03-26，现实中常见的概率分布

https://m.sciencenet.cn/blog-107667-1225390.html

感谢您的指教！

感谢您指正以上任何错误！

感谢您提供更多的相关资料！