limx54的个人博客分享 http://blog.sciencenet.cn/u/limx54

博文

您的t检验显著结果只是因为你的运气吗? 精选

已有 14357 次阅读 2009-11-19 23:28 |个人分类:统计学习|系统分类:科研笔记| t检验, 统计功效, 最小样本

“In the xenograft mouse experiment, there were 5 mice per group used. Whether this could lead to a proper statistical analysis remains unclear. The authors need to give a clarification.”这是一位审稿人在稿件回复中问我一个做分子生物学朋友的问题(注:这是一个来检验某种生物处理是否有效果的常规试验,通常的做法就是做两组数据,一组来自生物处理,另外一组来自未处理的对照,然后用t检验,看看p-value是否小于0.05)。审稿人的大意是,实验中每组用5个小鼠能否给出合理的统计分析?实际上就是问您的实验样本够不够数的问题?

您可能有点糊涂了:我的统计检验都告诉我是显著了,怎么会不够数?如果不够数目又怎么会显著?更深入一点,审稿人关心的问题是:您的“显著”是确实反映了实验效用,还是本来实验没啥子效用,您只这次“运气好”而侥幸碰到一组产生显著的数据?如果实验确实有很强的效用,在测试5个老鼠的情况下,达到显著的可能性很大,如90%。那么这种通过是意料之中的。反之,实验几乎没有效果,在测试5个老鼠的情况下,达到显著的可能性相当小,如5%。那么这个显著一般认为“只是运气好”而已。一个您可能比较熟悉的例子就是中六合彩。比方说,某同志买了10块钱的彩票就中了100万的六合彩大奖。可想而知,这个事件发生的概率是小之又小的。既然它发生了,往往只能说明该同志的运气好,并不能由此推断这个六合彩大奖中奖率高。如果您依照这个推断行事,认为赚钱的机会来了的话,您将会赔得很惨。

所以,要回答这个问题就必须计算能够达到显著水平0.05的概率。对于这个试验,可以认为生物处理的效用是一定的(如果有的话),检验的老鼠越多,就越能提高达到显著性水平的概率。给定一个概率标准(如80%),可以从理论上计算至少需要多少只老鼠。这就是统计上的所谓“最小样本量”。很多统计软件如SPSS,SAS等都可计算理论最小样本量。我曾经发现一个界面很友好的在线计算工具,http://www.danielsoper.com/statcalc/calc47.aspx。比方说当效用(Effect Size)为2的时候,如果希望有80%的概率(也叫统计功效,Statistical Power Level)达到显著性水平0.05(通常叫Alpha Level)的话,单尾t检验最少需用8个样本(每组4个),双尾t检验至少需用16个(每组6个样本)。这里很重要的前提就是,已知效用。这又似乎有点怪异,如果我都已知效用了,还要做实验检验干嘛?!的确,您一般是不知道效用的。所以这里要用到另外一个工具来估算效用,http://www.danielsoper.com/statcalc/calc48.aspx。计算也很简单,输入每组的均值和标准差,点击按钮就出结果了。通过这两个工具计算,我朋友的那个试验达到以90%的概率达到显著的最小样本是8个老鼠(每组4个)。所以,我建议他这样回复:通过统计计算,在我们的样本中只需要每组4个样本就可90%的概率达到0.05的显著性水平。所以,这个基于每组5个小鼠的统计分析结果应该是合理的。

但有一点需要注意的就是,如果用得到的试验数据先估计效用,然后又用同样的数据做统计检验的做法是属于“不得以而为之”的做法(因为没有其他的数据了)。不是一种严格的做法。这往往会得到过于乐观的结果。比方说,因为您“运气好”,您得到一组数据碰巧可以达到显著性水平,如果用它来估计效用,其估计值肯定会比较高(不然,达不到显著水平)。相应地,用这个效用计算出来的概率也会比较高(在给定样本大小的情况下)。这样一来,您还是避免不了“只是运气而已”的嫌疑。比较保险的做法是用与检验不一样的数据估计效用。

https://blog.sciencenet.cn/blog-338817-272318.html

上一篇:生物人如何增强统计“功力”
下一篇:简单理解线性回归的修正效应

2 赵星 任国鹏

发表评论 评论 (1 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2022-1-24 23:16

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部