科学网谢刚博主在博文【1】中给出了一个应用置信区间方法对施用三种化肥的产出相互差异进行统计显著性分析的例子。谢老师的例子如下【1】：

谢老师给出的这个例子很好地说明了应用置信区间进行统计显著性分析的不合理性。我们看到，当样本量较小时（n=5），处理A、B、C的置信度为95%的置信区间重叠，推论是这三种化肥的产出相互差异“统计不显著”。而当样本量较大时（n=100），处理A、B、C的置信区间不重叠，推论是这三种化肥的产出相互差异“统计显著”。仅仅由于样本容量的变化却导致相悖的推论显然是不合理的。 因此，对于两个独立样本的差异分析，根据95%的置信区间是否重叠来推断“统计显著性”（或者根据t检验p值是否小于0.05来推断“统计显著性”） 是无效的。

本文对这个问题应用一种称为”exceedance probability”分析的方法，简称EP分析【2】。笔者尚未找到对应于exceedance probability比较恰当的中文术语。在环境保护领域，exceedance probability对应于“超标概率”。在水利工程领域，exceedance probability可以换算成常用的术语比如“50年一遇”设计水位。EP分析不能算是一个新方法，但是它很少见于两个独立样本的差异分析。

假定产出量遵从正态分布，可以根据例子中给出的95%置信区间数据由下式估算产出量总体均值和总体标准差：

总体均值=(置信区间上限+置信区间下限)/2

总体标准差=(置信区间上限—置信区间下限)/3.92 * 样本量平方根

表1显示了对应于处理A、B、C的总体均值和总体标准差的估计值。

我们把处理A产出作为参考，考虑处理B相对于处理A和处理C相对于处理A产出的差异。EP分析是计算处理B超过处理A产出的概率Pr(B>A) 和处理C超过处理A产出的概率Pr(C>A)。EP分析成果显示在表2。

由表2 可以看出，处理B超过处理A产出的概率为61.1—62.7%；处理C超过处理A产出的概率为78.1—81.4%。 因此，EP分析成果定量地表达了不同化肥效果的“倾向性”。并且注意到EP分析成果基本上与样本量无关。即使在样本量很小的情况下（n=5），EP分析成果也有助于得到比较合理的推论。大样本量（n=100）的EP分析成果验证了小样本量（n=5，10）的EP分析成果是有效的。

另外，处理B比处理A平均产出高15.0%，处理C比处理A平均产出高36.4%。因此，如果不考虑价格因素，我们倾向于购买化肥C。

参考文献及相关链接：

【1】谢刚2022统计显著性问题的历史由来及最新进展，科学网：https://blog.sciencenet.cn/home.php?mod=space&uid=3503579&do=blog&id=1321101

【2】Huang H 2021 Exceedance probability analysis: a practical and effective alternative to t-tests, preprint, ResearchGate, https://www.researchgate.net/publication/348692325_Exceedance_probability_analysis_a_practical_and_effective_alternative_to_t-tests

转载本文请联系原作者获取授权，同时请注明本文来自黄河宁科学网博客。
链接地址：https://blog.sciencenet.cn/blog-3427112-1322527.html

上一篇：“白糖”测量不确定度评估问题试解
下一篇：双样本t-检验能够解决实际问题吗？