JohnXie的个人博客分享 http://blog.sciencenet.cn/u/JohnXie

博文

统计学界至今无法在概率的定义这个基本问题上达成共识

已有 4741 次阅读 2022-1-16 13:43 |个人分类:数理统计的基本概念|系统分类:观点评述

概率是统计理论与统计数据分析所依赖的基本概念与基础构建单元。很多人可能还不知道这样一个事实:统计学界至今无法在概率的定义这个基本问题上达成共识。

不错,概率论的数学理论基础(probability calculus)由以柯尔莫哥洛夫(A.N. Kolmogorov, 1903-1987)为主的理论统计学家们在1950年代前就建立完善了。从概念上说,概率代表了一个具有不确定性的事件发生的度量。例如,如何一个概率的值必须在01之间(包括01);概率=0的事件是不可能发生的事件,概率=1的事件是一定会发生的事件;以及用集合代数表示的概率运算的定理公式。但如何从现实生活人们能感知描述理解的角度来定义概率却成了一个统计学家和科学哲学家们至今无法达成共识的难题。

例如,David Salsburg 在他的“The Lady Tasting Tea”(中国统计出版社译本“女士品茶”)14中这样写道 :“假设我们进行一项临床实验,以检验一种艾滋病新疗法的功效。假定统计分析显示,旧的疗法和新的疗法之间的功效差异是显著的。那么这是否意味着,医学界可以确信这一新的疗法能治愈下一个艾滋病病人呢?或者是否意味着,这个新疗法对一定百分比的艾滋病病人有效?或者仅仅是表示,只有对实验中经过高度筛选的这群艾滋病病人,新的疗法才会有效?” 在该书的最后一章,作者继续就这个问题发问:“柯尔莫哥洛夫建立了概率的数学定义:概率是一个抽象空间里对一事件集合的一种测量。所有概率的数学特征都可由这个定义导出。当我们希望在现实中使用概率时,我们需要确定眼前特定问题事件的抽象空间。当气象播音员说明天降雨的概率为 95%时,什么是所测量的抽象事件的集合?是指明天要外出的所有的人吗?其中有 95%的人会淋雨?还是指可能逗留在外面的时间?其中有 95%的时间我会淋雨?或是说在一个 1平方英寸大的地方,有 95%的面积会下雨?当然这些解释都不对,那么到底是什么意思呢?”

目前,学者们对现实生活意义下的概率的定义主要有这么三种:相对频率relative frequency;个人主观信念度the subjective degree of belief a person has);以及倾向度propensity)。大家可能对“相对频率”定义的概率最为熟悉和直观容易理解接受。但以“相对频率”来定义“概率”需要这些前提条件:确定所测量的抽象事件的集合(即所谓的“参考事件的集合”);可多次重复并观察到同样的事件。“个人主观信念度”所定义的“概率”最为被人诟病的一点是不同的人对同一个事件可以给出不同的概率的量值。“倾向度(propensity)”的概率定义可能对很多人都不熟悉。它指的是形成一个事件的相关系统的内在固有的设计或特性所决定的促使该事件发生的“倾向性”。比如,抛掷一枚正常的硬币得到正面的概率是0.5因为该硬币的物理构造决定了它的正反面的对称性形成的“倾向性”;类似的,抛掷一枚正六面体的色子,其某一面朝上的概率是六分之一因为其物理构造的六面对称性所带来的事件发生的“倾向性”。

绝大部分的统计教科书都只提到概率的“相对频率”定义及“个人主观信念度”定义。其实,“倾向度(propensity)”的概率定义早在1930年代就由科学哲学家Karl Popper在他的德文文章中提出,1950年代又进一步用英文发表了改进后的“倾向度(propensity)”的概率定义(见Popper, K. R. 'The propensity interpretation of the calculus of probability and the quantum theory'. In S. KSrner (ed.), 'Observation and interpretation'. Butterworths, London, 1957)。科学哲学家Mario Bunge1981年这样总结到:“Four concepts of probability are examined: the mathematical concept and its personalist, frequentist, and propensity interpretations. The first two interpretations are shown to be at variance with the standard calculus of probability. The personalist concept is invalid because the probability function makes no room for any persons; and the frequency interpretation in mathematically incorrect because the axioms that define the probability measure do not contain the (semiempirical) notion of frequency. On the other hand the propensity interpretation of probability is found to be mathematically unobjectionable and the one actually employed in science and technology and compatible with both a possibilist ontology and a realist epistemology.  ”(文章摘要,Appl. Math. Modelling, 1981, Vol. 5, pages 306-312。)Mario Bunge这篇文章摘要的大意是:‘相对频率’的概率定义因概率测度定义的公理不包含‘频率’所以在数学上是不正确的;‘个人主观信念度’的概率定义从概率函数的角度不成立;‘倾向性(propensity)’的概率定义在数学上无懈可击,在科学技术的应用上与本体论的可能性及认识论的现实性兼容。结论是,‘倾向性(propensity)’的概率定义应该被确认为正确的现实生活意义上的概率概念的定义。在Mario Bunge的文章中,他进一步说明,‘相对频率’虽然不能作为概率定义来理解,的确可以在实际统计数据分析时用来近似估算概率的大小。另一方面,‘个人主观信念度’的概率定义在Mario Bunge看来是一无可取。我是赞成Mario Bunge的立场的

让我们通过一个更现实的例子来进一步理解‘倾向性(propensity)’的概率定义与相对频率之间的关系。假定某型号的火箭发射了94次其中成功了91次,但相关的工程师却告诉我们这型火箭的发射成功的概率是99.6%。这里该工程师得出的99.6%的概率是依据整个火箭系统的可靠性分析,即按‘倾向性(propensity)’的概率定义的方法计算得出的。我们所观察到的相对频率91/94 = 96.8%仅仅是一个近似估计值。我们可以想象,倘若同样的火箭系统不断执行发射任务,最终其发射成功的相对频率应该收敛到99.6%

遗憾的是,至今统计界却无法在如此重要及根本性的问题达成一致,甚至是有意回避这个问题。不止一次当我有机会向著名资深的统计学家或我的同行统计学家们请教此问题时,他们要么误解了我对概率定义的理解,要么直接回避回答我的问题(这个问题太蠢不值得回答还是这个问题太难不知如何回答?)。

David Salsburg 在他的“The Lady Tasting Tea”(中国统计出版社译本“女士品茶”)最后一章中这样认为,如果我们不能最终对‘在现实生活意义上如何定义及解释概率’这个构筑统计学理论及统计分析实践的基石问题给出一个满意的答案,统计学理论及统计分析实践这个现在看上去貌似强大的宏伟大厦就会像旧约圣经‘但以理书’中描述的那个泥足的偶像在未来什么时候顷刻崩塌。正因为如此,我实在是觉得很有讽刺意味当我在The ASA Presidents Task Force Statement on Statistical Significance and Replicability20217月)的中文版本中读到这个句子:“事实上,P值和显著性检验是统计文献中研究最多和最深入理解的统计方法之一”。


各位同仁,你是否注意到了这个关乎统计学理论及统计分析实践的重大基本问题呢?欢迎您的思考与高见。




https://blog.sciencenet.cn/blog-3503579-1321302.html

上一篇:我对‘统计推断分析’究竟是要做什么的一个总结
下一篇:关于统计数据分析的未来发展方向的一点看法
收藏 IP: 1.40.97.*| 热度|

10 张鹰 黄河宁 高宏 王安良 李宏翰 张伟 应行仁 张学文 刘全慧 刘志平

该博文允许注册用户评论 请点击登录 评论 (21 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-12-21 21:58

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部