假如我们正确地解读p-值

谢钢；科学网链接地址： https://blog.sciencenet.cn/blog-3503579-1445209.html

2024-08-05

假如我们正确地解读p-值，我们就不得不承认以下这些事实。

p-值是给定数据下原假设成立的概率吗？不是，因为p-值是指在原假设成立的情况下，观察到比所观察到的统计量及其更极端情况的概率。因此，除非我们知道原假设的先验分布，否则p-值无法告诉我们给定样本数据下原假设成立的概率。

1)p-值是给定数据下备择假设成立的概率吗？不是，请参见上面问题的答案。

2)如果原假设被拒绝，那么p-值是你错误地拒绝了原假设的概率吗？不是，错误拒绝原假设的概率是由α给出的I型错误率。此外，α定义的I型错误率的概念实际上并不适用于基于单一组样本数据分析结果就做出结论的研究模式（例如，它只适用于Neyman-Pearson假设检验范式，该范式是基于从同一目标总体中抽取一系列随机样本而得出分析结果的方法）。

3)p-值是给定原假设成立的情况下观察到我们数据样本的概率吗？不是，如果原假设的分布是连续的，那么观察到我们数据样本的概率等于零；如果是离散分布，那么观察到我们数据样本的概率等于1/N，其中N是所有可能结果的数量。

4)如果重复同样的实验，是否会得到相同的p-值？不是，实际上，在原假设下，p-值服从均匀分布。

5)小的p-值是否表明原假设不太可能成立，或者在原假设下发生了罕见事件（即这种罕见事件是由于随机机会发生的）？不是，因为小的p-值可能是许多原因造成的（不仅仅是上述的两个原因）。小的p-值可能是由于（1）样本量非常大；（2）原假设是错误的；（3）在原假设成立的情况下发生了罕见事件；（4）所要求的假设条件不成立，例如随机抽样条件不成立等等。

6)两个研究中的相同p-值是否提供了相同程度的拒绝原假设的证据？一般来说，答案是否定的。只有在非常罕见的情况下，如果两个研究中的所有内容和所制定的假设都完全相同，包括样本量，相同的p-值才可能提供相同程度的证据来拒绝原假设。在任何其他情况下，p-值是难以相互比较的，也无法得出任何结论。

一句话总结：p-值只能为科学推断分析提供非常有限的信息，统计显著性的概念在大多数情况下是不必要的，并且常常误导我们的科学研究发现的结论。

冯兆东注：我认为，谢钢老师的解读在严肃地撞击着我们对“显著性检验”的信念。希望谢钢老师就上述六条（即1）至6））做进一步的科普。