||
(答黄河宁博主)+(最大熵导出的概率分布函数们)
张学文,2021 01 29
最近黄河宁博主在http://blog.sciencenet.cn/home.php?mod=space&uid=3427112&do=blog&id=1269013 中问我“张老研究过从最大熵配合某种约束条件获得学生氏t分布吗?”
现在我回答如下
1. 我在《组成论》一书(2003,中国科学技术大学出版社)里对(熵最大加上各个不同的统计约束,可以推导出很多的概率分布函数来的过程)做了概括。可惜其中不包括学生氏分布。遗憾了。自然我也乐见有这方面的介绍。
2. 组成论一书,概括了我学习,探索重要的概率分布如何从更基本的道理出发引出对应的分布函数问题。它要求概率分布对应的熵最大(我称为最复杂原理),并且配合该问题中特有的约束条件。这体现了更基础的原理在概率论统计分布中的应用。
3. 该书第17、18章对此有个小结,列出了在最大熵(复杂程度最大)的统一要求下,导出不同的概率密度分布函数要求的约束条件。现在附于下面。
-----------------
l 概率论和统计学中广泛应用着十多种重要的概率(或者概率密度)分布函数。但是没有统一说明它们形成的原因。本章用最复杂原理配合不同的约束条件推导出5种概率分布。这为它们的形成给出统一的物理解释,也推进了概率论知识的系统化。
l 用最复杂原理推导这几种概率分布时所利用的约束条件列于下表17-3中。
表17-3 几种概率分布的形成背景
(概率的合计值等于1的约束对每个分布都需要,表中都省略了)
名称 | 约束条件 | 分布函数的公式 | 说明 |
等权分布(离散) | 变量仅是界于a,b的整数 | pi=1/k (i=1,2,…,k) (17.5) | 概率pi是常数 |
均匀分布(连续) | 变量仅能是界于a,b的实数 | f=1/(b-a) (17.9a) | 概率密度f是常数 |
负指数分布(连续) | 变量要大于零,a固定 |
| a是变量的平均值,概率密度是f |
几何分布(离散) | 平均值a为固定值, a=[bn0+(b+1)n1+(b+2)n2 +(b+3)n3+…]/N | ni=n0qi (i=0,1,2,3,…) (17.17) | i是变量,为正整数,n0,q是常数 |
幂分布(连续) | 几何平均值m为固定值, | 变量x的下限是1,概率密度是f | |
? | 变量是正整数,其几何平均值为确定值 | 请读者自己推导 |
l 对应5种分布,我们明确了对应的约束条件,它们都是非常简单的约束,每个约束在概率公式中体现为物理意义清楚的参数。最复杂原理不仅帮助得到了这些对应的分布,它也意味着:只要该系统满足而且仅仅满足给定是约束条件,那么你就不可能再找到另外一个概率分布函数,其复杂程度比这里给的分布函数所对应的复杂程度更大。理解这层含意会使我们对得到的结果有深刻的物理认识,而不把这些看作是数学游戏。
l 这5个不同的分布让我们认识到约束条件不同,与最复杂原理相伴的分布函数也不同。它说明具体准确分析约束条件是我们研究问题的非常重要的一个环节。不具体解决约束条件究竟是什么,就没有办法定量应用最复杂原理(熵原理)。
l 最复杂原理配合代数平均值不变的约束对应着负指数分布,配合几何平均值不变就对应幂分布,这是前面得到的结论。于是人们问如何判断一个物理系统(广义集合)中其平均值不变是指代数平均值还是指几何平均值?
一般而言,代数平均值不变都与总量不变等价。斩乱麻问题中原线的总长度不变是很明显的约束条件。在那里你无法推断该事物具有几何平均值(各个变量相乘后再开方)不变的特点。在统计物理学中,平均值不变常常对应着总能量或者总质量不变。
对于几何平均值,首先要求变量必须是大于零的量。如果一个变量的值是0,或者是负的,就造成了无法开方,或者无法取对数的问题。变量要大于0是个有深刻物理意义的要求。所以当你假设一个变量的几何平均值不变时,最低的要求是它仅能取正值。另外,分型研究提出的自相似性质(见上节)也是帮助判断问题的一个角度。
我们已经用最复杂原理配合不同的约束条件借助拉格朗日方法得到了很多概率论中常用到的概率函数。但是这不是全部。在《熵气象学》[16]一书中还列了逻辑斯蒂(logistic)、柯西(cauchy)这两个概率密度分布函数,并且也给出了对应的约束条件。这是90年代初由马力同志从数学的推导的角度得到的。在这里我本应当像前面那样把对应问题的物理含义做说明。但是现在翻看马力的那些推导,我感到对这两个分布做物理说明是有困难的。所以这里不再展开分析和讨论了。我们仅在后面的表中把它们列入供读者进一步研究时参考。也由于我对其数学方面不大放心,在表里加了问号。
本章仅是第17章的延续。从那些约束条件配合最复杂原理具体得到那些新分布函数我们统一列在表18-2中。本章的一般讨论与第17章是一致,故不赘述。
表18-2 几种概率分布的形成背景(概率的合计值等于1的约束全都省略了)
名 称 | 约束条件 | 分布函数的公式 | 说 明 |
正态 | 标准差(方差)为固定值 | ||
正态(二维) | 变量x,y的标准差sx,sy为固定值,它们的相关系数r 也是固定值。 | 见公式(18.10) | 相关系数不能等于1,变量有平均值存在 |
对数正态 | x>0,变量x几何平均值和变量对数的标准差固定 | ||
Gamma | x>0,变量代数平均值和几何平均值固定 | ||
贝塔(b) | , 0<x<1, p>0, q>0 | 变量x和(1-x)的几何平均值固定 | |
韦伯 | x>0,n的值已知道时几何平均值固定的约束就不需要了 | ||
瑞利分布 | 关于约束的讨论见18.7节 | 是n=2时的韦伯分布 | |
极值分布 | 第二个约束和参数的含义见(18.8)节 | ||
柯西 (cauchy) | 的平均值为固定值? | 疑问点:约束含义不清楚 | |
逻辑斯蒂 (logistic) | 变量的平均值=a 的平均值为固定值? | 从数值实验看其固定值恒等于1,似乎无法用它确定b 值 |
第17和18章介绍了十多种概率分布是如何从最复杂原理推导出来的。它们有的来自文献也有我们自己推导的。这个总体认识形成于80年代末,在90年代初期我们做了努力。当时马力同志(现在重庆气象局工作)负责了不少数学公式的推导工作,并且汇集到《熵气象学》一书中。这里汇集的认识又有进步和深化。另外崔旭(国外在读博士)也帮助做了一些工作。这里对马力和崔旭的工作一并表示感谢。
收集更多的概率分布、全部用最复杂原理推导出来(也许不可能或者思路很笨)、给出每个分布的全部推导公式、给出其物理含义的一般说明、给出对应的应用事例、给出对应的数值模拟实验的步骤与说明、给出在电脑上的应用程序,这应当是一件非常有意义的工作。它应当由数学工作者、统计学工作者、电脑工作者联合完成,并且形成对应的报告、论文、专著、软件和光盘。本书是在这个方向做了努力,但是与这个目标有距离。欢迎有兴趣的人士继续这个工作。
笔者也期待早日把这个认识统一写入统计学教科书,把对应软件汇入流行的统计软件功能中。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-9-24 00:05
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社