新复制危机：不太可能是真实的研究被引更多

诸平

 The average yearly citation count per year for studies that were not replicated (according to pvalue of the replication) in each replication study, and for those that were replicated. The light greyarea shows the year(s) in which the original studies were published, and the dark line shows the year in which the replication study was published. Credit: UC San Diego

据美国加利福尼亚大学圣地亚哥分校（University of California - San Diego）的克里斯汀·克拉克（Christine Clark）2021年5月21日报道，该校的一项新研究表明，复制实验无法证实的研究发现被引用的153次以上，因为此项研究很有趣。

加利福尼亚大学圣地亚哥分校拉迪管理学院（University of California San Diego’s Rady School of Management）的一项新研究，在领先的心理学、经济和科学期刊上发表的论文，通常是学术研究中被引用最多的论文，但是有些论文无法被复制，因此不太可能是真实的。相关研究结果于2021年5月21日在《科学进展》（Science Advances）杂志网站发表——Marta Serra-Garcia, Uri Gneezy. Nonreplicable publications are cited more than replicable ones. Science Advances, 21 May 2021: Vol. 7, No. 21, eabd1705. DOI: 10.1126/sciadv.abd1705. https://advances.sciencemag.org/content/7/21/eabd1705

此文探讨了持续的“复制危机（replication crisis）”，研究人员发现，当其他研究人员试图复制实验时，社会科学和医学领域的许多发现并不成立。

这篇论文揭示，当实验重复时，无法验证的研究结果随着时间的推移会产生更大的影响。这些不可靠的研究往往会被引用，就好像这些结果在发表后很长一段时间内都是真实的。

此文作者，拉迪学院（Rady School）的经济学和战略学助理教授玛塔·塞拉-加西亚（Marta Serra-Garcia）和拉迪学院的行为经济学教授乌里·格内齐（Uri Gneezy）写道：“我们也知道，专家们可以很好地预测哪些论文将被复制。鉴于这一预测，我们首先要问的是，为什么不可复制的论文会被接受发表?”

他们可能的答案是学术期刊的审阅团队要权衡取舍。当结果更“有趣”时，他们就可重复性采用较低的标准。有趣的发现与不可复制的研究之间的联系，也可以解释为什么它被引用的比率更高。作者发现，成功复制的论文比复制失败的论文被引用的频率少153次。

乌里·格内齐说：“有趣的或吸引人的发现也被媒体更多地报道，或在推特（Twitter）之类的平台上共享，引起了很多关注，但事实并非如此。” 

玛塔·塞拉-加西亚和乌里·格内齐分析了三个有影响力的复制项目的数据，这些项目试图系统地复制顶级心理学，经济和普通科学期刊（《自然》（Nature）和《科学》（Science））的发现。在心理学上，成功复制了100个实验中的39％。在经济学中，18项研究中有61％的研究被复制，《自然》/《科学》上发表的21项研究中有62％的研究被复制。

根据这三个复制项目发现，在复制项目发布之前和之后，作者使用谷歌学术搜索（Google Scholar）测试了未能成功复制的论文被引用的次数是否比成功复制的论文被引用的次数多。最大的差距是在《自然》/《科学》上发表的论文：不可复制的论文被引用的次数比可复制论文的被引次数多300次。

当作者考虑到重复研究的几个特征时，例如作者人数、男性作者的比例、实验的详细信息如位置、语言和在线实施（online implementation）以及论文发表的领域，复制性与引用之间的关系没有改变。

它们还表明，此类引用的影响随着时间的推移而增长。每年的引用计数表明，复制和不可复制的论文之间存在明显的差距。平均而言，无法复制的论文每年被引用的次数增加16次。即使在复制项目（replication project）结果发布后，这种差距仍然存在。作者在文章中写道：“值得注意的是，复制后对不可复制发现的引用中只有12％承认复制失败。” 

一份久负盛名的期刊上发表的一篇不准确的论文，可能会产生长达数十年的影响。例如，安德鲁·韦克菲尔德(Andrew Wakefield) 1998年发表在《柳叶刀》(The Lancet)杂志上的一项研究，让全世界成千上万的父母开始对抗麻疹（measles）、腮腺炎（mumps）以及风疹（rubella）疫苗，因为误认为疫苗接种和自闭症之间存在着潜在的联系。12年后，《柳叶刀》杂志撤回了这些错误的发现，但自闭症与疫苗有关的说法仍在继续。

作者补充说，期刊可能会感到有压力发表有趣的发现，学者们也是如此。例如，在晋升决策中，大多数学术机构都将引文作为决定是否晋升教职员工的重要指标。

这可能是21世纪10年代（2010's）初首次发现的“复制危机（replication crisis）”的根源。

玛塔·塞拉-加西亚说：“我们希望我们的研究能够鼓励读者在阅读有趣且吸引人的内容时保持谨慎。每当研究人员引用更有趣或被引用很多的工作时，我们希望他们会检查是否有可重复的数据，以及这些发现表明了什么？”

乌里·格内齐补充说：“我们关心这个领域并产生高质量的研究成果，我们也希望其成果是真实的。”上述介绍可供参考，更多信息敬请注意浏览原文或者相关报道。

Abstract

We use publicly available data to show that published papers in top psychology, economics, and general interest journals that fail to replicate are cited more than those that replicate. This difference in citation does not change after the publication of the failure to replicate. Only 12% of postreplication citations of nonreplicable findings acknowledge the replication failure. Existing evidence also shows that experts predict well which papers will be replicated. Given this prediction, why are nonreplicable papers accepted for publication in the first place? A possible answer is that the review team faces a trade-off. When the results are more “interesting,” they apply lower standards regarding their reproducibility.