氢分子医学分享 http://blog.sciencenet.cn/u/孙学军 对氢气生物学效应感兴趣者。可合作研究:sunxjk@hotmail.com 微信 hydrogen_thinker

博文

60%心理学研究无法重复 精选

已有 7437 次阅读 2015-5-1 20:07 |个人分类:自然科学|系统分类:海外观察

药物临床前研究结果重复性差的问题一直困扰生物医学领域,其实在其他领域如心理学领域,情况可能也不容乐观,甚至可以推测出整个生物学医学领域都存在重复性差的问题。

上周末,对100项心理学研究进行的重复性验证工作结束,数据不容乐观,只有39项已经发表研究可被重复。或者说61%的心理学研究无法重复,结果比人们过去想象的更严重。不过需要强调的是,重复性研究本身也属于人为标准,在61项无法重复的研究中,有24项研究被认为是中度类似,虽然没有达到研究中可重复性论文的标准,如统计学差异,但变化趋势符合原来研究。如果把标准放宽,这些也算能重复,那么心理学研究中有63%可以被重复,成绩算是不错的。


加州大学圣地亚哥分校认知心理学家Hal Pashler的研究论文在这次验证过程被成功重复出来,他说这一结果能说明心理学研究存在重复性差的问题。许多科学家都会默认发表就代表正确,对大量假阳性结果论文的存在难以让人一下接受。

研究学术偏倚和不端问题的斯坦福大学Daniele Fanelli认为,这一结果说明心理学研究重复性并不是最差的,当然仍然有很大的可提升空间。在研究重现性方面存在许多更差的研究领域,如研究发现癌症生物学和新药研究领域,重复性都不如心理学的表现。

这一心理学重复性项目是一次关于研究论文重新性方面最大规模合作尝试,起因是心理学领域发现一些学术造假和统计学分析错误引起对整个领域研究可重复性的讨论和质疑。2014年发表的类似研究证明13项高水平研究中10项能够重复。

这一项目在2011年启动,全球250多名科学家共同对2008年三本顶级的心理学杂志上发表的论文进行重复研究。Fanelli说,过去从来没有任何如此大规模系统的关于研究重现性的评估工作。

重复验证小组重复研究前都对研究设计、统计分析方法、研究样本量和重复标准进行了设置。领导这一计划的是弗吉尼亚州夏洛茨维尔开放科学中心,中心心理学家Brian Nosek是该项目的总负责人,该中心把所有的研究方案都在网络上公开,对每个研究结果也随时公布。2015424日,对所有研究进行了总结分析。

《自然》新闻小组联系到Nosek,但是他拒绝讨论这个研究,因为这个研究已经投稿到《科学》,不过他在回复邮件中提供了相关数据。目前该中心还没有完全公开分析数据,在声明中说暂时保密是因为他们的稿件正在《科学》杂志的审阅过程中。

Nosek曾经提出,关于研究重现性的问题并不那么简单,尚没有简单标准的方法去衡量研究的重现性。表格数据显示,研究人员重复研究需要用多种方法来确定实验结果是否与原始报道结果一致。根据项目开始时确定的标准,只有39项目研究具有重现性,61项研究不具有重现性。但是这种标准本身也值得商榷,到底达到多大的相似度才属于可重现性,这都是根据研究者的标准,也属于人为标准。如果放宽标准,61项不具有重现性的研究中有24项属于中度类似。

纽约石溪大学临床心理学家Greg Hajcak人为,有时应该允许灰色地带,非黑即白可能于事无补。他的一篇研究论文在这次检验过程没有被重复出来,但是重复研究发现结果非常类似,但没有达到显著性差异的统计分析标准。许多实验研究在这次重复性验证中都属于这种情况。Hajcak说,到底怎么样才算可重复,你的研究怎么能完全一样。

研究在同一个小组都经常无法完全重复。一项无法重复来自以色列关于促进个人和解因素的研究。原始研究提出后涉及研究的同事因产假或军事行动失去工作,但是在美国进行的重复是关于婚礼和蜜月。另外关于儿童对恐惧刺激反应时间的研究也没有被重复出来,但是重复研究用iPad代替大型触摸屏幕展示图像,发现儿童对小屏幕的精确反应能力会降低。

需要注意的是,重复研究时与原始研究作者有学术血缘关系,许多情况下原始研究作者对重复者提出实验技术尚的建议和帮助,并提出未来合作的设想。一些心理学家人为让大家对这种无法重复性问题了解可能会对整个领域带来正面促进作用,一些学者,如加拿大萨斯喀彻温大学心理学家Jamie Campbell,已经把研究结果的可重复性作为是否投稿的重要前提。Pashler认为,需要更多努力,提高这一领域研究的可重复性。




https://blog.sciencenet.cn/blog-41174-886731.html

上一篇:患病影响味觉的分子基础
下一篇:氢水和乳酸联合对心脏缺血保护的研究
收藏 IP: 58.247.243.*| 热度|

16 苏光松 张云扬 唐常杰 李竞 谢蜀生 毕重增 陈筝 张江敏 蔡小宁 周洲 fumingxu kesbabacorn hnw48 xchen CNLX2013 clp286

该博文允许注册用户评论 请点击登录 评论 (21 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-11-23 04:02

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部