heninghuang的个人博客分享 http://blog.sciencenet.cn/u/heninghuang

博文

结合先验信息和当前测量数据进行统计推断的方法(更新版)

已有 5110 次阅读 2020-10-15 10:09 |个人分类:统计推断与概率|系统分类:论文交流

在统计学界,人们通常认为只有应用贝叶斯定理才能够结合先验信息与当前测量数据进行统计推断。科学网博客曾经就一个概率问题进行了关于贝叶斯定理的大讨论(见:http://news.sciencenet.cn/news/sub26.aspx?id=2958)。

笔者最近发现,频率学派可以提供两种简单和实用的方法结合先验信息与当前测量数据进行统计推断【1】。第一种方法基于“概率分布合成定律” (the law of combination of distributions (LCD))。第二种方法基于最小二乘原理。

论文1】要点如下

1)在第一种方法(LCD)中, 关于被测量X的先验信息由一个先验分布来表征,当前测量信息由X的采样分布来表征。先验分布的参数值是已知的,采样分布的参数值由频率学派经典的点估计法和数据算出。然后根据“概率分布合成定律”可以得到X的后验分布。

2)在第二种方法中, 关于被测量X的先验信息由先验样本的均值和方差来表征,当前测量信息由当前样本的均值和方差来表征。然后根据最小二乘原理可以得到后验样本的均值和方差。

3)第一种方法(LCD)与传统的贝叶斯方法有五点不同。A:LCD方法将未知参数处理为常数;而贝叶斯方法将未知参数处理为随机变量。B:在LCD方法中,只有一个随机变量X,只需给出X的后验分布;而在贝叶斯方法中,所有的未知参数都是随机变量,需要给出所有未知参数的后验分布。C:在LCD方法中,先验分布与后验分布可以交换,因为它们是相互独立的“采样”分布;而在贝叶斯方法中,先验分布与后验分布不可以交换,因为当前测量信息由似然函数来表达,而似然函数不是概率分布。D:如果没有先验信息,LCD方法简化为只依赖于当前测量信息的方法;而贝叶斯方法需要假定一个“无信息”(noninformative) 先验分布。E:LCD方法非常容易使用,其离散形式就是一维“概率域模拟”(probability domain simulation (PDS)),在Excel上就可以实施;而贝叶斯方法不容易使用,特别对于多维问题,通常需要采用复杂的马尔可夫链蒙特卡罗算法MCMC)。

(4)“概率分布合成定律”可以用香农的信息理论来解释,从而得到“信息汇总定律”(the law of aggregation of information (LAI)),即来源于不同信息源的相同信息可以叠加汇总。一些学者认为“信息量”是一个物理量,因此可以认为“信息汇总定律”是一个物理定律。“信息汇总定律”将是一个普遍适用的定律。

5)结合先验信息和当前测量数据进行统计推断的前提是先验信息和当前测量数据都是有效的。通常我们假定当前测量数据是有效的,而先验信息(比如历史数据)可能有效也能无效。如果将无效的先验信息与当前测量数据结合,统计推断结果就会无效。文中提出了一个简单的检验方法来确定先验信息的有效性。

论文1】全文可以通过下面的链接下载 。

【1】 Huang, H. (2020).  Two simple and practical frequentist methods for combining prior information with current measurement in uncertainty analysis. Cal Lab the International Journal of Metrology, 27(3), 22-32.  ResearchGate 链接:https://www.researchgate.net/publication/344502279_Two_simple_and_practical_methods_for_combining_prior_information_with_current_measurement_in_uncertainty_analysis




https://blog.sciencenet.cn/blog-3427112-1254451.html

上一篇:应用ResearchGate的几点体会(续)
下一篇:一种替代马尔可夫链蒙特卡罗算法(MCMC)的数值方法
收藏 IP: 104.63.253.*| 热度|

4 张鹰 尤明庆 李焰东 陆泽橼

发表评论 评论 (4 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-12-22 20:26

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部