震惊！对Nature、Science论文调查发现，90%统计方法不正确 - 风暴统计

震惊！对Nature、Science论文调查发现，90%统计方法不正确

Administrator

发布于 2025-07-09/133 阅读

2025年2月，一篇题为：“Statistics in biology: a survey of the three major multidisciplinary journals”的论文指出，只有 10% 的分析文章提出了正确的统计方法。

一起来看看怎么个事！

这篇文章介绍了对多学科期刊中的三大顶刊《Nature》《Science》《PNAS》论文的调查结果。

《Nature》：综合性期刊，一区Top，IF=50.5

《Science》：综合性期刊，一区Top，IF=44.7

《PNAS》：综合性期刊，一区Top，IF=9.4

截至 2023 年 6 月 30 日，在这三本期刊中，研究者分别搜索了 50 篇涉及需要伦理委员会同意的实验的文章。由于PNAs宣布统计审查委员会已于 2023 年 9 月成立并开始工作，因此从 2024 年1月1日起又检索并分析了 50 篇文章。

文章中检查了以下项目：

• 动物伦理委员会的明确批准声明

• 所需适当样本量的计算以及如何进行随机化和盲法

• 报告的最小样本量

• 重复的存在

• 用于限制 I 型和 II 型错误的方法

但，研究结果显示，任何一篇文章都没有完整地报告明确的实验设计。

主要问题包括：

1) 近一半的文章样本量极小（<4/组），Nature、PNAS 和 Science 中分别有 55%、37% 和 48% 的文章每组的最低样本少于 4 。

在 t 检验 (双尾) 的功效与效应量 (Cohen d) 和样本量 (n = 3 至 6) 的关系图中，显然，在合理的效应量值 (Cohen d ≤ 4) 下，每组少于 5 名受试者不足以达到 80% 的功效。即使在这些条件下，I 类错误的问题仍然存在。

因此，每组受试者少于 5 人的实验具有非常高的假阴性率。

2) 混淆了生物重复和技术重复，重复和重复实验最常被误解。在Nature杂志中被提及了 14 次，Science杂志15 次，PNAS杂志12 次。此外，只有 13 次提到了正确的分析技术（即嵌套方差分析或混合效应模型）。

3) 缺乏多重比较校正。在样本极小的情况下，检验总是缺乏连续性校正，而在比较两个以上的组时，检验总是缺乏多重比较校正。

这些错误导致 I 类和 II 类错误大量增加。

从 2024 年 1 月 1 日至 31 日，检索了 PNAS 上发表的 50 篇涉及动物实验的连续文章。共有五篇文章被排除在分析之外，其余 45 篇文章中只有 20 篇文章提供了几乎正确的统计分析。

不幸的是，尽管成立了委员会，但问题仍然相似。

其实在医学研究中，样本量，多重比较，I 类错误控制同样十分重要，郑老师统计小食系列也做了很多的科普，有需要诸位可以看看！

转载本文请联系原作者获取授权，同时请注明本文来自刘跃科学网博客。
链接地址：https://blog.sciencenet.cn/blog-3589443-1535809.html

上一篇：科学理论不是通过简单的实验观测取得的