p值是“零假设显著性检验”的成果。科学界普遍认为，p值非常容易被误解和误用。谢钢老师在博文【1】中列举了文献中常见的对p-值的误解。Goodman (2008) 【2】讨论了对两组随机实验得到的p 值的十二个误解。

对p值的误解和误用可能造成所谓的p值谬误：即基于p值<0.05的统计显著性评判导致错误的科学推断。Cahusac (2020)在文献【3】描述了p值谬误的一个实例如下：

1984 年，《纽约时报》报道了美国人口普查局的一项研究。该项研究向询问了57,745,000 名 3 至 34 岁就读于从幼儿园到大学的各年级学生花多少时间做家庭作业。调查发现，对于黑人学生来说，每周[花在家庭作业上的时间中位数] 为5.6 小时，而白人学生为 5.4 小时，西班牙裔学生为 5.3 小时。人口普查局的统计学家指出：“白人和黑人学生之间的总体差异虽然很小（约 12 分钟），但具有统计显著性。” 在这里，我们有一个“具有统计显著性”的小效应量，但实际上微不足道。……当样本量接近 6000 万，两组之间每周少于 8 秒的差异也会具有统计显著性：即 p值<0.05。

这个实例表明即便是美国人口普查局的统计学家也陷于p值谬误，给出了错误的科学推断。

笔者在最近发表的评论文章【4】中采用超越概率分析法讨论了这个实例。超越概率分析给出了合理的科学推断。感兴趣的读者可以参见【4】。

参考文献

【1】谢钢 2024 假如我们正确地解读p-值，科学网，https://blog.sciencenet.cn/home.php?mod=space&uid=3503579&do=blog&id=1445209

【2】Goodman, S. (2008). A dirty dozen: twelve p-value misconceptions. Seminars in hematology, 45(3), 135–140. https://doi.org/10.1053/j.seminhematol.2008.04.003

【3】Cahusac, P.M.B. (2020). Problems with p Values. In Evidence-Based Statistics, P.M.B. Cahusac (Ed.). https://doi.org/10.1002/9781119549833.app3

【4】Huang, H. (2024). Comments on “The Roles, Challenges, and Merits of the p Value” by Chén et al. Basic and Applied Social Psychology, 1–7. https://doi.org/10.1080/01973533.2024.2442957