|
p-值是什么事件发生的概率?
黄河宁;科学网链接地址:https://blog.sciencenet.cn/blog-3427112-1446121.html
2024-08-12
所有的零假设显著性检验(NHST)(例如t-检验)都给出了一个概率值,称之为p-值。即然p-值是一个概率值,那么p-值是什么事件发生的概率呢?谢钢老师最近的一篇博文讨论了“如何正确解读p-值”【1】。谢老师在博文中列举了文献中常见的几种对p-值的误解及其澄清。这些对p-值误解的澄清概要如下:
(1)p-值不是给定数据下原假设成立的概率。
(2)p-值不是错误地拒绝了原假设的概率。
(3)p-值不是在给定原假设成立的情况下观察到我们数据样本的概率。
(4)小p-值不表明原假设不太可能成立,也不表明在原假设下发生了罕见事件。
读者可能已经注意到,上述对p-值的解读(误解)都是在零假设显著性检验的语境下进行的。p-值本身只是一个概率值,没有对与错的问题。但是因为p-值是零假设显著性检验(NHST)的成果,而NHST存在逻辑缺陷,所以在零假设显著性检验语境下根本不可能正确解读p-值。换句话说,对p-值的所谓“误解”其实是零假设显著性检验的必然结果。只有放弃零假设显著性检验,才能够消除对p-值的“误解”。
那么,p-值到底是什么事件发生的概率呢?回答这个问题必须考虑具体的实际问题。考虑实际中经常遇到的一个问题:给定分别取自于两个厂家(1和2)生产的某一产品(例如电池)的两个样本,评估这两个厂家产品的质量(以产品使用寿命做为质量指标),进而决定购买哪个厂家的产品。在零假设显著性检验的范式下,通常采用z-检验或者t-检验得到的p-值来推断两个厂家产品使用寿命均值之间的差别是否“统计显著”。但是如前所述,在零假设显著性检验的语境下无法正确解读p-值。为了解读这个p-值的真正含义,我们可以将z-检验进行如下的分解:
上式表明单尾z-检验产生的p-值的真正含义是“厂家1产品使用寿命均值的抽样分布小于厂家2产品使用寿命均值的抽样分布”这一事件发生的概率(估计值)。当样本量较大时(n>30),t-检验可以用z-检验来近似。因此,单尾t-检验产生的p-值的含义近似为“厂家1产品使用寿命均值的抽样分布小于厂家2产品使用寿命均值的抽样分布”这一事件发生的的概率(估计值)。解读了p-值的真正含义后,我们发现这个概率值(p-值)并不能帮助我们评估这两个厂家产品之间的质量差异。这是因为p-值随着样本量的增大而减小,无论两个厂家产品使用寿命的平均值如何小(即两个产品没有实质性的质量差异),只要样本量足够大,p-值就可以小于显著性阈值0.05,表明两个厂家产品质量“差异”是“统计显著的”。这显然是不合理的。因此,z-检验或者t-检验产生的p-值不能帮助我们进行科学推断。对这个问题感兴趣的读者可以参见文献【2】。
冯兆东注:我认为,此文很是有说服力地“科普”了显著想检验的本质。
【1】谢钢-2024-假如我们正确地解读p-值,科学网链接地址:https://blog.sciencenet.cn/home.php?mod=space&uid=3503579&do=blog&id=144520
【2】Huang H 2022. Exceedance probability analysis: a practical and effective alternative to t-tests. Journal of Probability and Statistical Science 20(1) 80-97. Online地址:https://www.researchgate.net/publication/366055947_Exceedance_probability_analysis_a_practical_and_effective_alternative_to_t-tests
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-8-15 14:23
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社