|
【本文经 Tim van der Zee 许可改编,经授权发布与意得辑专家视点,原文发表在他的博客上。】
不要误解我的话,但身为科学家必须要有“存疑精神”。
不要满足于困难问题的简单答案
不要轻信表面看起来正确的信息
也不要轻易相信你读到的研究中所得出的结论,因为它看起来好像是对的
Geoff Norman 说:我人生中的某些黑暗时刻,我可以说服我自己教育的所有主张是——
(a) 源自没有证据的来源(成人学习理论)
(b) 尽管有相反证据依然坚持自我(学习方式、自我检测技巧)或是
(c) 超过既存证据的支持范围
科研文献总是有偏见的。阳性结果大量发表,而阴性或无效研究结果在角落生灰尘1,2,这种偏见从什么论文被投出去到什么论文被发表等许多层级都存在3,4。换句话说,这诱使科研人员(有意或无意地)提出有问题的研究方法,例如做了很多统计检验,但只报告“成功”的那几个,这也称作 p 值操纵 (p-hacking)5。还有,科研人员经常对自己的研究结果提供带偏见的阐释6,例如,有将近 28% 的引用都是错的或是有误导性,这些通常都不会被发现,因为大部分的读者都不会检查参考文献7。
当然不止这样,需要事先注册 protocol 的研究,如临床试验,通常都是源自没有报告结果或私自添加新结果的 protocol8,这些改变都有迹可循,但通常都偏向报告正面影响,隐藏负面影响9。不是只有临床试验这样,一般的已发表论文也经常含有不正确报告的统计,其中有 35% 是会直接影响结论的严重错误10,11,12。来自有产业介入的作者的 meta 分析大量被发表,但却没有报告注意事项13。而且,如果原来的研究本身质量不高,meta 分析并没有神奇的方法改变这件事(也就是garbage in, garbage out 理论)。这些研究素质低下的其中一个原因是缺乏对照组,或是更误导人的:不适当的对照组,有可能错误地带出安慰剂效应和其他已经被排除的解释14。要注意,这些问题不仅限于定量研究或(半)实证主义范式,从更自然的角度来看,与定性研究一样有关。
每个人都会说谎
问题还可以继续列举,但重点已经出来了:每个人都会说谎。在现有的体系中,说谎和误导不是那么单纯,是被诱发的。这有一部分可能是因为强烈偏好阳性发现的美好愿望的发表体系。除了发表体系中存在的这些诱因外,研究人员当然也是关键,不过,比较诡异的地方在于这也有部分存在许多领域,尤其是那些没有“技术证明”的,举例来说,如果你声称可以改善智能手机,你可以直接去做。但像心理学领域就不太可能直接实现。变数通常都是潜在的,不能直接观察到。衡量也都是间接的,即便有测出结果通常也没有办法证明它们实际上衡量了什么。
不好的诱因并不会一夜消失,人们通常抗拒改变。虽然有很多人在努力奋战,想要改善科学,但要看见成果,不是一条看不见尽头的路程,也会是一条漫漫长路。
从现在做起
这个观察是否太过愤世嫉俗?或许。但不管是不是,最重要的是我们都该小心。怀疑我们所读到的信息,甚至也要怀疑我们自己做的事、我们做的研究。
这或许是我开始写博客的主要原因:大部分的时候我都是错的。但我想要进步,随着时间过去错得少一些,而我们需要彼此才能做到,因为要愚弄一个人太过简单。
让我们都当个有“存疑精神”的科学家。当我们变成更好的科学家。
===================
施普林格的107篇撤稿事件震惊学术界,为了让中国作者更好的了解国际期刊的发表道德规范,意得辑专家视点发起了5月一系列的 “发表道德月”活动,让您更加翔实的了解良好发表实践的注意事项。以下是我们已发布的相关内容:
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-9-20 13:05
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社