原始贝叶斯定理建立在条件概率的基础之上。它本质上是条件概率的计算法则。对于连续随机变量，贝叶斯定理的表达式为：

后验概率分布 ∝ 先验概率分布 × 似然函数                 (1)

在测量学领域，式（1）被称为reformulated贝叶斯定理，以区别于原始贝叶斯定理。

在式（1）中，先验概率分布表征未知参数的先验信息，似然函数表征当前信息（测量数据），后验概率分布表征后验信息。

如果没有先验信息，原则上先验概率分布不存在，统计推断只能依赖于当前信息（测量数据），也就没有必要采用贝叶斯定理来进行统计推断。这很直观并且符合逻辑。但是贝叶斯统计学要求人们必须采用贝叶斯定理，否则就不成为贝叶斯统计推断。那么问题就来了：在没有先验信息的情况下，如何确定先验概率分布？这时的先验概率分布被称为non-informative prior (a prior that has minimal influence on the inference) 。

根据Jaynes的最大熵原理，均匀分布是在没有任何先验信息情况下的最大熵分布。因此，我们应该采用均匀分布作为non-informative先验概率分布。然而均匀分布对后验概率分布没有任何影响，式（1）退化为：

后验概率分布 = 归一化的似然函数                              (2)

式（2）显然是错误的，因为似然函数不是概率分布。关于这一点， Fisher (1921) 【1】  和 Edwards (1992) 【2】  都特别强调过。

产生这个悖论的原因是reformulated贝叶斯定理，即式（1），违反了“自洽运算原则” (the principle of self-consistent operation) 【3】。

根据“概率分布合成定律” (即“信息谱合成定律”) 和“贝叶斯-频率转换规则”，笔者推导出连续随机变量的修正的贝叶斯定理为【3】：

后验概率分布 ∝ 先验概率分布 × 当前概率分布     (3)

如果没有先验信息，先验概率分布不存在，我们可以采用均匀分布作为non-informative先验概率分布，式（3）退化为：

后验概率分布 = 当前概率分布                    (4)

当前概率分布可以利用当前信息（测量数据）得到。式（3）遵循“自洽运算原则”。因此，修正的贝叶斯定理不会产生悖论。

参考文献

【1】Fisher R A 1921  On the ‘Probable Error’ of a coefficient of correlation deduced from a small sample  Metron I part 4, 3-32

【2】Edwards, A W F 1992  Likelihood (expanded edition) Johns Hopkins University Press Baltimore

【3】Huang H 2022  A new modified Bayesian method for measurement uncertainty analysis and the unification of frequentist and Bayesian inference  Journal of Probability and Statistical Science 20(1) 52-79 https://journals.uregina.ca/jpss/article/view/515