笔者之前的博文“对统计显著性检验和p值<0.05的大辩论会导致‘范式转换’吗？”介绍了正在国际统计学界进行的关于统计显著性和p值的大辩论。博文中特别提到了美国统计协会（ASA）于2016年发布的关于统计显著性和p值‘官方’声明，警示滥用统计显著性和p值。 ASA 旗下期刊《美国统计学家》于2019年出版了讨论统计显著性问题的专辑。该期刊主编在这期专辑的社论中明确提出：“彻底抛弃‘统计显著性’概念”，“不要再说‘统计上是显著的’”。还有，2019年3月，800多位学者在《Nature》上联名呼吁‘摒弃整个统计显著性概念’。另外，笔者将参与这场大辩论的学者分为三大派：保留派（现称为保守派），抛弃派（现称为改革派），和改良派（注：这种派别划分只是为了讨论方便，并无任何褒贬之意）。由于各种期刊上发表了大量批判统计显著性和p值的论文，特别是ASA 旗下期刊《美国统计学家》的社论，到目前为止，似乎抛弃统计显著性和p值的呼声占上风。然而最近形势出现了变化。今年7月，美国统计协会 (ASA) 主席关于统计显著性和可重复性专题组（task force) 发表了一份“声明”【1】。 该“声明”开篇写道：

“在过去的十年中，科学界对研究结果的可重复性越来越关注。可重复性的一个重要方面是使用统计方法来获得结论。 2019 年，美国统计协会 (ASA) 主席成立了一个专题组，以解决有关《美国统计学家》（ASA 期刊）2019 年的社论可能被错误地解释为 ASA 官方政策的担忧。 （2019年的社论建议在统计分析中取消使用“p < 0.05”和“统计显著”。）本文件是专题组的声明，ASA邀请我们传播这个声明。这个声明有两个目的：阐明正确应用的和解释的 P 值和显著性检验是不应放弃的重要工具，并简要列出一些可能对科学界有用的合理统计推断的一些原则。”

这个专题组的“声明”由15位成员署名。这15位成员均为美国统计学界（大学和国家实验室）的资深统计学家。根据 Karen Kafdar 在NISS 2021 Affiliate "Luncheon" Program 【2】上的介绍，除了一位成员，其他14位成员均在2000年前获得博士学位。然而十分奇怪的是：这个“声明”曾寻求在包括美国统计协会（ ASA ）旗下期刊上发表，均遭到拒绝，最终在《应用统计年鉴》上发表【2】。

《应用统计年鉴》主编 Karen Kafdar 伴随“声明”发表了一篇社论【3】。Karen Kafdar 在社论中写道：

“作为 2019 年度的 ASA 主席，我召集了一个专题组来准备一份声明，以阐明假设检验、p 值的作用以及它们与可重复性的关系。该专题组的声明将作为本社论之后的下一篇文章出现。该专题组旨在涵盖广泛的专业知识、经验和理念，并取得了非凡的一致意见。所有专题组的成员都被列为该声明的作者，因为所有人都参与了它的编写并批准了它的出版。专题组的声明很重要：与几乎所有方法一样，在统计学和其它领域，假设检验、p 值和可重复性的概念可能会被误解和误用，但它们仍然是科学推理的核心.”

然而，专题组的声明发表后立即遭到改革派学者的批评和批判。例如：Megan Higgs 【4】在她的博客中写道：

“我承认我对专题组最终产生的任何广泛用途的期望很低 —— 不是因为专题组本身，但可能主要是因为最终产生统一声明的隐含价值，以及成立专题组的原因。……

我很想成为讨论的一部分，甚至只是无意中听到他们的声音 —— 但是是对于分歧而不是共识点。我们需要更多地看到分歧和讨论，而不是看到一个非常统一的声明，该声明不承认造成问题的固有混乱和细微差别。承认缺乏共识是围绕 ASA 关于统计显著性和 p 值声明（包括补充材料）的讨论的最佳部分。专题组的声明没有那种感觉。……

我不是认为 p 值（以及相关的统计假设检验）是邪恶的，但我对它们在实践中的普遍使用持怀疑态度，我不禁担心它们对科学的负面作用。说他们“帮助推进了科学”很容易，但我们真的知道吗？我们真的可以权衡利弊吗？当然，它们在某些情况下是“有效的”和有用的，但我不能同意该陈述中的第一个实质性陈述：“P 值是有效的统计量，它对于固有的不确定性提供了方便的约定成俗的表达。”我可以就这句话写一整篇文章 —— 如果我是专题组的成员，我就不会成为一致通过的一分子。”

再例如：Andrew Gelman 在他的博客中对“声明”提出了批评【6】。他写道：

“[“声明”]中提供的最后一条一般原则是：“总而言之，P 值和显著性检验，如果正确应用和解释，会增加从数据中得出结论的严谨性。”很难得知这从哪里开始。它重复了我已经讨论过的危险。它很容易被用作继续不良实践的理由，因为问题是对于什么是“适当”和什么是“严谨”缺乏共识或理解。因此，我不同意“增加结论的严谨性”这样笼统的说法。这种说法太宽泛，太大，没有什么道理。再说一次，我不确定一个实践科学家会从中得到如同 Kafadar 在随附的社论中所说的那样这将“帮助所有科学领域的研究人员”。科学家不需要含糊的、容易引用的和看似是ASA 支持的声明来捍卫他们使用可能有问题的现行方法 —— 或者至少科学不需要科学家拥有它们。”

笔者的疑问是：专题组是由2019 年度的美国统计协会 (ASA) 主席 Karen Kafdar 召集组成的，那么这份专题组的“声明”是否代表美国统计协会 (ASA)关于统计显著性和p值的官方立场？如果是，为什么该“声明”不能够在美国统计协会（ASA）旗下期刊上发表？而是在 Karen Kafdar 担任主编的《应用统计年鉴》上发表？如果不是，为什么该“声明”要以美国统计协会 (ASA) 主席关于统计显著性和可重复性专题组的名义发表？无论如何，看来关于统计显著性和p值的大辩论将进入新的一轮。

参考文献及相关链接：

【1】The ASA President’s Task Force Statement on Statistical Significence and Replicability https://errorstatistics.files.wordpress.com/2021/06/presidents-task-force-statement.pdf

【2】NISS 2021 Affiliate "Luncheon" Program https://www.niss.org/news/niss-2021-affiliate-luncheon-program-focuses-statistical-significance

【3】Deborah G. Mayo 2021 At long last! The ASA President’s Task Force Statement on Statistical Significance and Replicability  https://errorstatistics.com/2021/06/20/at-long-last-the-asa-presidents-task-force-statement-on-statistical-significance-and-replicability/

【4】Karen Kafdar 2021 Statistical significance, p-values, and replicability https://errorstatistics.files.wordpress.com/2021/06/kafadar-editorial-2021.pdf

 【5】Megan Higgs 2021 Thoughts on the Task Force Statement https://critical-inference.com/thoughts-on-the-task-force-statement/

 【6】Andrew Gelman 2021 Thoughts on “The American Statistical Association President’s Task Force Statement on Statistical Significance and Replicability” https://statmodeling.stat.columbia.edu/2021/07/12/thoughts-on-the-american-statistical-association-presidents-task-force-statement-on-statistical-significance-and-replicability/

转载本文请联系原作者获取授权，同时请注明本文来自黄河宁科学网博客。
链接地址：https://blog.sciencenet.cn/blog-3427112-1304808.html

上一篇：基于测量不确定度的统计质量控制准则被纳入走航式ADCP河流流量测验国际标准ISO:24578:2021(E)
下一篇：科学家真的需要‘统计显著性’和p值吗？