[数学文化，P vs NP] 正态分布的四种推导

概率论： probability theory

正态分布： normal distribution

中心极限定理： central limit theorem

一、正态分布的四种推导

https://www.global-sci.org/intro/article_detail/mc/11616.html

https://ieeexplore.ieee.org/document/4472249

   著名的物理学家杰恩斯（Edwin Thompson Jaynes, 1922-1998）在他的名著《概率论沉思录》（Probability Theory: the Logic of Science）中，描绘了四条通往正态分布的小径

1. 高斯的推导（1809） Derivation of Gauss (1809)

   误差分布导出的极大似然估计 ＝ 算术平均值

2. 赫歇尔(1850) 和麦克斯韦(1860) 的推导 Derivation of Herschel (1850) and Maxwell (1860)

   * x 轴和y 轴的误差是相互独立的，即误差的概率在正交的方向上相互独立；

   * 误差的概率分布在空间上具有旋转对称性，即误差的概率分布和角度没有关系。

3. 兰登(1941) 的推导 Derivation of Landon (1941)

   * 随机噪声具有稳定的分布模式。

   * 累加一个微小的随机噪声，不改变其稳定的分布模式，只改变分布的层级（用方差度量）。

4. 基于最大熵的推导

   如果给定一个分布函数p(x) 的均值μ和方差σ²（给定均值和方差这个条件，也可以描述为给定一阶原点矩和二阶原点矩，这两个条件是等价的）则在所有满足这两个限制的概率分布中，熵最大的概率分布p(x|μ, σ²) 就是正态分布N(μ, σ²)。

二、通向“P对NP, P vs NP”答案：途径不止一条

   历史上，通向重要结论的途径，往往不止一条。正态分布，至少有上面4条途径。

   第一个“正确的证明”完成后，往往后面有多如牛毛的其他证明接踵而来。

   所以，

   关键是“首次解决成功”，

   这往往来自对问题的某种深层次认识。

PS附言（1）：

   在“P对NP, P vs NP”上，我就有“1+3”种证明。

   请看：

   [请教] P对NP（二）：结果的相对性与“1+3”种证明

https://blog.sciencenet.cn/blog-107667-1342404.html

PS附言（2）：

   搜索到（23+1）种可以用最大熵原理（principle of maximum entropy）推导出的概率分布。

https://handwiki.org/wiki/Maximum_entropy_probability_distribution  

推荐阅读：

[1] 郑波尽，2024-03-16 22:48，杨正瓴的PvsNP证明

https://blog.sciencenet.cn/blog-241229-1425614.html  

参考资料：

[1] 2024-03-01，正态分布/normal distribution/严士健，中国大百科全书，第三版网络版[DB/OL]

https://www.zgbk.com/ecph/words?SiteID=1&ID=231925&Type=bkzyb&SubID=59833

[2] 2024-01-31，中心极限定理/central limit theorem/崔霞，中国大百科全书，第三版网络版[DB/OL]

https://www.zgbk.com/ecph/words?SiteID=1&ID=234673&Type=bkzyb&SubID=59859

[3] 2022-12-23，渐近正态性/asymptotic normality/黄振生，中国大百科全书，第三版网络版[DB/OL]

https://www.zgbk.com/ecph/words?SiteID=1&ID=51312&Type=bkzyb&SubID=59834

[4] 2022-12-23，大样本统计/large sample statistics/熊世峰，中国大百科全书，第三版网络版[DB/OL]

https://www.zgbk.com/ecph/words?SiteID=1&ID=466213&Type=bkzyb&SubID=104242

[5] 2024-04-10，埃奇沃思展开/Edgeworth expansion/何凯，中国大百科全书，第三版网络版[DB/OL]

https://www.zgbk.com/ecph/words?SiteID=1&ID=234675&Type=bkzyb&SubID=59859

[6] 2024-04-11，数理统计/mathematical statistics/陈希孺 撰，周勇修订，中国大百科全书，第三版网络版[DB/OL]

https://www.zgbk.com/ecph/words?SiteID=1&ID=149136&Type=bkzyb&SubID=59827

[7] Normal distribution. Encyclopedia of Mathematics.

https://encyclopediaofmath.org/wiki/Normal_distribution

[8] Central limit theorem. Encyclopedia of Mathematics.

https://encyclopediaofmath.org/wiki/Central_limit_theorem

[9] Weisstein, Eric W. "Normal Distribution." From MathWorld--A Wolfram Web Resource.

https://mathworld.wolfram.com/NormalDistribution.html

[10] Weisstein, Eric W. "Central Limit Theorem." From MathWorld--A Wolfram Web Resource.

https://mathworld.wolfram.com/CentralLimitTheorem.html

[11] 靳志辉. 正态分布的前世今生（上）[J]. 数学文化, 2013, 4(1): 36-47.

https://www.global-sci.org/intro/article_detail/mc/11616.html

https://www.global-sci.org/intro/articles_list/mc/1411.html

[12] 靳志辉. 正态分布的前世今生（下）[J]. 数学文化, 2013, 4(2): 54-62.

https://www.global-sci.org/intro/article_detail/mc/11639.html

https://www.global-sci.org/intro/articles_list/mc/1412.html  

[13] Kiseon Kim, Georgy Shevlyakov. Why Gaussianity?[J]. IEEE Signal Processing Magazine, 2008, 25(2): 102 - 113.

doi:  10.1109/MSP.2007.913700

https://ieeexplore.ieee.org/document/4472249

https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=4472249  

[14] 2022-01-20，最大熵准则/principle of maximum entropy/黎德元，中国大百科全书，第三版网络版[DB/OL]

https://www.zgbk.com/ecph/words?SiteID=1&ID=237602&Type=bkzyb&SubID=59842

   美国物理学家E.T.杰尼斯于1957年提出了最大熵原理，其主要思想是：在只掌握关于未知分布的部分知识时，应该选取符合这些知识但熵值最大的概率分布。

[15] 2023-06-12，最大熵原理/principle of maximum entropy/王子龙，中国大百科全书，第三版网络版[DB/OL]

https://www.zgbk.com/ecph/words?SiteID=1&ID=127598&Type=bkzyb&SubID=98400

   在实际应用中，随机变量的概率分布是很难测定的，一般只能测得其相关的数学特征（如数学期望和方差等）或已知某些限定条件下的值（如峰值和取值个数等），符合测得这些值的分布可有多种，以至无穷多种。通常，其中有一种分布的熵最大。选用具有最大熵的分布作为该随机变量的分布，是一种有效的处理方法和准则。

[16] 2022-11-05，最大熵方法/maximum entropy method/沈红斌，中国大百科全书，第三版网络版[DB/OL]

https://www.zgbk.com/ecph/words?SiteID=1&ID=138535&Type=bkzyb&SubID=62079

   用来处理未知随机分布使其随机变量统计特性最可能符合客观情况准则的一种方法。面对未知随机分布，在所有可能的解中选择熵最大的那一个，其中熵指的是信息熵。

[17] 2022-01-20，最大熵原理/Principle of maximum entropy/张利军，中国大百科全书，第三版网络版[DB/OL]

https://www.zgbk.com/ecph/words?SiteID=1&ID=217099&Type=bkzyb&SubID=81542

   直观地讲，最大熵原理认为要选择的概率模型首先必须满足已有的事实，即约束条件。在没有更多信息的情况下，不确定的部分都是等可能的。最大熵原理通过最大化来表示等可能性。一般的即使在满足所有约束条件的情况下，模型仍然可能存在无穷多个，因此学习的目的是在可能的模型集合中选择最优模型，而最大熵原理则给出最优模型选择的一个准则。

相关链接：

[1] 2024-04-12，[P vs NP，数学文化] “排序 sorting”的信息论下界与“P对NP, P vs NP”答案的相对性

https://blog.sciencenet.cn/blog-107667-1429437.html

[2] 2024-04-11，[请教，P vs NP] 从前（4）：从“排序 sorting”到“P对NP, P vs NP”

https://blog.sciencenet.cn/blog-107667-1429261.html

[3] 2024-01-25，[优先权？] “P对NP”已经解决。 The P vs NP (P versus NP) has been solved

https://blog.sciencenet.cn/blog-107667-1419345.html

[4] 2023-12-02，[重复就是力量] “P对NP, P vs NP, P versus NP”问题的情况汇报

https://blog.sciencenet.cn/blog-107667-1412189.html

[5] 2023-12-25，[原创有多难] 饺子汤 （关联"P对NP, P vs NP, P versus NP"的答案）

https://blog.sciencenet.cn/blog-107667-1415335.html

[6] 2023-07-10，[请教，讨论] P对NP（九）：请您看看，您还有哪些批评或疑问？

https://blog.sciencenet.cn/blog-107667-1394865.html

[7] 2024-03-23，[P vs NP，讨论，交作业] 郑波尽老师：P vs NP 的本质，及其研究方法

https://blog.sciencenet.cn/blog-107667-1426579.html

[8] 2013-09-18，矩阵乘法需要O(n^3)的时间，不能再减少

https://blog.sciencenet.cn/blog-107667-725846.html

[9] 2023-06-29，[请教] P对NP（三）：“NP完全性, NP-completeness”之后

https://blog.sciencenet.cn/blog-107667-1393466.html

[10] 2023-07-04，[请教] P对NP（四）：相关要点小结（问答式）

https://blog.sciencenet.cn/blog-107667-1394027.html  

[11] 2021-07-25，[阅读笔记] 神奇的正态分布与中心极限定理

https://blog.sciencenet.cn/blog-107667-1296916.html

[12] 2021-07-27，[苦啊！] 到底为什么“正态分布随机数不能被预报？”

https://blog.sciencenet.cn/blog-107667-1297235.html

[13] 2024-03-30，[笔记，数学文化] 用清晰的思想代替盲目的计算：香农的信息熵

https://blog.sciencenet.cn/blog-107667-1427605.html

感谢您的指教！

感谢您指正以上任何错误！

感谢您提供更多的相关资料！