zhang2sha的个人博客分享 http://blog.sciencenet.cn/u/zhang2sha

博文

学生联名举报导师事件折射的数据分析顽疾

已有 572 次阅读 2024-1-24 21:33 |系统分类:科研笔记

最近华农学生联合举报导师事件,红透全网,长达129页的举报材料看得人触目惊心、头皮发麻。在这封举报信中,导师的几大击穿科研狗底线的罪状之一就是肆意诱导学生篡改、捏造实验数据(见下图),以弄出“显著的结果”为唯一追求。因为只有这样,“论文才能被接受,学生才能毕业”。 图片1.png  篡改、捏造数据固然是严重的学术不端行为,但这位导师对学生的“如此指导”,无疑也暴露学术圈长期普遍存在的潜规则(更专业的讲,叫publication bias, 即发表偏爱性)。人为操纵数据,便是这种潜规则导致的直接恶果之一。假如针对同一个问题开展的两个相同的研究,在数据都是真实可靠的前提下,结果显著(处理对照之间差异显著,或者X对Y有显著影响)的研究就比结果不显著的研究要更容易发表,这是个客观事实,这就是发表偏爱性。几乎整个学术圈,上上下下,包括期刊在内,都具有这种偏爱性。统计学家早已发现,越是某领域内首次发现的所谓突破性研究,其显著性就越强(效应值越大);越是影响因子高的期刊,论文中结果的显著性也越强,且这个规律更加明显(Nakagawa et al. 2017)

图片2.png

尤其需要注意的是,对于显著性的追求和夸大其词的的选择性报道,在生态学中似乎更加普遍。去年的一篇NEE论文,就对此进行了专门研究,别的不说,这篇论文的标题,实在是令生态圈内同仁汗颜(见下图)。  

图片3.png

针对某个具体的研究领域,NEE去年也发表了一篇要警惕搜集案例证据时的人为偏爱性对研究结论影响的论文,可见偏爱性问题本身目前已日益引起人们的关注。

图片4.png

或许大家都默认为结果显著的研究才更值得发表,这就是很多人去人为操纵数据的根源。如果不显著的结果,也能顺利发表,那么还会有那么多人冒着学术不端的风险,去炮制数据么!事实上,科研圈早已对发表偏爱性心知肚明,早有警觉,并已提出各种方案以消减发表偏爱性对整个学术圈带来的不利影响。比如Meta分析方法体系中,就有各种对结果进行发表偏爱性诊断的方法,只有经得起发表偏爱性检验的结果才是可靠的(见综述(Nakagawa et al. 2022))。那么核心问题来了,一般统计分析中(非Meta分析),有什么方法可以帮助我们降低对显著性的追求,从而让我们的结果变得更加可靠呢?毫无疑问,混合效应模型是上上之选。这恐怕也是如今混合模型为何能大行其道的一个重要原因。混合模型能够通过对你数据结构的识别,判定数据点之间的不独立性,从而大大降低你的模型独立样本的数量(降低自由度),这样就会增大你的P值,从而让你犯第一类型统计错误(假阳性)的概率大大降低。

参考文献:

Nakagawa, S., M. Lagisz, M. D. Jennions, J. Koricheva, D. W. A. Noble, T. H. Parker, A. Sánchez-Tójar, Y. Yang, and R. E. O'Dea. 2022. Methods for testing publication bias in ecological and evolutionary meta-analyses. Methods in Ecology and Evolution 13:4-21.

Nakagawa, S., D. W. A. Noble, A. M. Senior, and M. Lagisz. 2017. Meta-evaluation of meta-analysis: ten appraisal questions for biologists. Page 18BMC biology.

欢迎大家扫码关注本人的个人微信公众号“二傻统计”

二傻统计.jpg



https://blog.sciencenet.cn/blog-3442043-1419219.html

上一篇:Nature methods:善变的P值产生不可重复的结果
下一篇:统计模型的包容关系图--值得收藏
收藏 IP: 111.197.238.*| 热度|

1 杨卫东

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-28 19:59

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部