heninghuang的个人博客分享 http://blog.sciencenet.cn/u/heninghuang

博文

贝叶斯定理的一个悖论

已有 762 次阅读 2024-4-9 06:50 |个人分类:统计推断与概率|系统分类:科研笔记

原始贝叶斯定理建立在条件概率的基础之上。它本质上是条件概率的计算法则。对于连续随机变量,贝叶斯定理的表达式为:

后验概率分布 ∝ 先验概率分布 × 似然函数                 (1)

在测量学领域,式(1)被称为reformulated贝叶斯定理,以区别于原始贝叶斯定理。

在式(1)中,先验概率分布表征未知参数的先验信息似然函数表征当前信息(测量数据),后验概率分布表征后验信息。

如果没有先验信息,原则上先验概率分布不存在,统计推断只能依赖于当前信息(测量数据),也就没有必要采用贝叶斯定理来进行统计推断。这很直观并且符合逻辑。但是贝叶斯统计学要求人们必须采用贝叶斯定理,否则就不成为贝叶斯统计推断。那么问题就来了:在没有先验信息的情况下,如何确定先验概率分布?这时的先验概率分布被称为non-informative prior (a prior that has minimal influence on the inference)

根据Jaynes的最大熵原理均匀分布是在没有任何先验信息情况下的最大熵分布。因此,我们应该采用均匀分布作为non-informative先验概率分布。然而均匀分布对后验概率分布没有任何影响,式(1)退化为:

后验概率分布 = 归一化的似然函数                              (2)

式(2)显然是错误的,因为似然函数不是概率分布。关于这一点, Fisher (1921) 1】  Edwards (1992) 【2】  都特别强调过。

产生这个悖论的原因是reformulated贝叶斯定理,即式(1),违反了“自洽运算原则” (the principle of self-consistent operation) 3】

根据概率分布合成定律” (即“信息谱合成定律”) 和“贝叶斯-频率转换规则”,笔者推导出连续随机变量的修正的贝叶斯定理为【3】:

后验概率分布 ∝ 先验概率分布 × 当前概率分布     (3)

如果没有先验信息,先验概率分布不存在,我们可以采用均匀分布作为non-informative先验概率分布,式(3)退化为:

后验概率分布 = 当前概率分布                    (4)

当前概率分布可以利用当前信息(测量数据)得到。式(3)遵循“自洽运算原则”。因此,修正的贝叶斯定理不会产生悖论。

参考文献

1】Fisher R A 1921  On the ‘Probable Error’ of a coefficient of correlation deduced from a small sample  Metron I part 4, 3-32

2】Edwards, A W F 1992  Likelihood (expanded edition) Johns Hopkins University Press Baltimore

3Huang H 2022  A new modified Bayesian method for measurement uncertainty analysis and the unification of frequentist and Bayesian inference  Journal of Probability and Statistical Science 20(1) 52-79 https://journals.uregina.ca/jpss/article/view/515



https://blog.sciencenet.cn/blog-3427112-1428810.html

上一篇:“一个衡量概率分布峰度的新指标”论文预印本上线
下一篇:引用参考文献的若干“潜规则”
收藏 IP: 104.63.253.*| 热度|

10 郑永军 刘进平 宁利中 尤明庆 杨正瓴 孙颉 刘跃 钱大鹏 李毅伟 朱晓刚

该博文允许注册用户评论 请点击登录 评论 (10 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-6-23 20:32

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部