JohnXie的个人博客分享 http://blog.sciencenet.cn/u/JohnXie

博文

三分钟说清楚为什么现行的统计假设检验范式是站不住脚的伪科学方法

已有 556 次阅读 2024-8-10 11:37 |个人分类:对统计推断及统计显著性问题的评述与讨论|系统分类:观点评述

借用古德.吉仁泽(Gerd Gigerenzer)教授的定义,所谓现行的统计假设检验范式(Null Hypothesis Significance Testing = NHST范式)指的是:

“1. 设定一个无效假设,例如‘平均值无差别’或‘零相关’。不要规定你自己的研究假设的预测结果。

  2. 以5%作为一个惯例标准来拒绝无效假设。如果检验结果是显著的,接受你的研究假设。以p<0.05,p<0.01 或 p<0.001的形式表述检验结果,不论p-值达到了哪一级的显著性的指标值都可以。

  3. 每次都按这个步骤及过程得出分析结果/结论。”

这个统计假设检验范式的逻辑推理基础实质是反证法(proof by contradiction),但是是一种变相的反证法。在存在一一对应的关系的条件下,反证法逻辑上是成立/合法有效的。比如,若事件A的发生必然而且只能导致事件B的发生;则如果B事件没有发生,A事件就肯定没有发生。NHST范式在应用反证法时做了一点变通,即规定只有两种可能的结果会使得p-值很小,要么是无效假设不成立,要么是无效假设成立但非常罕见的事件发生了并且这两种可能发生的概率相同- 科研人员完全没有任何先验知识。在这些假设条件下,当然,如果得到了一个小的p-值,就意味着无效假设成立概率也是很小的。

问题是在统计数据分析的实际应用中,得到一个小的p-值结果的可能原因不止两个:除了上述的两个可能原因外,样本数据容量大(a large sample size) , 或某些必要的假设条件不符合(比如,非随机样本、数据是彼此相关的、或有缺失数据,等等)都可能是原因。因此,由于NHST范式所要求的逻辑推理前提条件不成立,它的变相的反证法的合法性也就不存在了。

其次,统计学理论要求的随机样本与抽样分布的假设条件在现实科研条件下是无法做到的。在大多数的情况下,统计数据都是来自于非随机配对实验设计的观察性研究,这样的统计数据不满足内部有效性(internal validity,即无法排除混杂因素的影响)的要求。而非随机样本无法满足外部有效性(external validity ,即数据分析结果无法做一般性的从样本到总体的推广应用)的要求。但是更值得强调的是,随机样本只是必要条件,只有多次重复随机抽样直到能获得可靠的抽样分布才是充分条件,这时统计推断的分析结果才能等效于科学推断结果。当然,取得抽样分布结果与多次重复同一科学研究问题的科学验证的精神是完全一致的。 

以上的逻辑推理前提条件与统计学对有效的统计推断分析的所要求的技术性的假设条件NHST范式都无法满足,构成了证明现行的统计假设检验范式是站不住脚的伪科学方法不可辩驳的理由。



https://blog.sciencenet.cn/blog-3503579-1445909.html

上一篇:Judea Pearl 与‘关于为什么的书’ (The Book of Why)
下一篇:我与ChatGPT(3.5)关于科学论证是遵循什么逻辑推理模式的对话
收藏 IP: 49.187.150.*| 热度|

16 朱晓刚 郑永军 刘进平 宁利中 杨正瓴 檀成龙 崔锦华 周忠浩 池德龙 高宏 钟炳 冯兆东 孙颉 黄河宁 汪运山 王涛

该博文允许注册用户评论 请点击登录 评论 (10 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-8-11 22:20

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部