说明：本博客与微信公众号“林墨”同步更新，所有内容均为原创，可授权转载请扫码关注“林墨”公众号。

注：图片来源于https://www.sciencemag.org/news/2021/05/unreliable-social-science-research-gets-more-attention-solid-studies，侵删

引用的时候，大家并不在意可重复性

可重复性是现代科学的基本特征。对于实验性社会科学论文来说，如果后来者根据前人提供数据和研究步骤无法复现已有结论的话，那么其可靠性和科学性就会被质疑。面对这一标准，2021年5月21日，来自加州大学圣迭戈分校的经济学家Marta Serra-Garcia和Uri Gneezy在Science Advances杂志上发表了一项新的研究,他们惊讶地发现：平均而言，未能通过可重复性检验的社会科学论文比成功通过的论文高出153次引用[1]。

对于社会科学论文结果可重复性的检验近年来已经成为学界的研究热点。2015年，弗吉尼亚州的非营利性开放科学中心 ( Center for Open Science) 设置社会科学可重复项目，对从2010-2015年间发表在Nature和Science上21篇实验性社会科学论文的结果进行可重复性检验[2]。这些论文在当时提出的时候都颇为吸睛，如2011年，心理学家John Bohannon就在他的研究中提出了一个非常引人入胜的结论，即人们将互联网作为一种“外部”记忆形式，依赖它来获取信息，而不是靠自己回忆事实。这项工作一直持续到2018年，结果证实，在21篇论文中，最终只有8项通过了可重复性检验，而John Bohannon的这项在发布阶段就引起广泛关注与讨论的心理学研究却没有被成功复现。

通常来说，没有成功通过可重复性的实验性社科研究已经接近于被证伪。但出乎意料的是，这篇论文的被引用次数依然高达1417次，其中超过400次的被引居然发生在2018年的可重复性检验结果公布之后，远远超过了8项通过检验论文的被引次数。也就是说，都已经告诉大家这项研究的结论不能复现了，但大家毫不介意，继续引用。

原因一：为了追求话题性而牺牲可重复性

Marta Serra-Garcia和Uri Gneezy收集了来自3个不同项目的 80 篇论文的数据，这些项目都致力于检验重要的社会科学研究结果的可重复性。随后他们发现，对于未通过可重复性检验的论文在Google Scholar 上的引用计数明显更高，平均每年增加 16 次额外引用，这是一个非常可观的被引频次。要知道，同一时期发表在高影响力期刊上的其他论文，其年均总被引量也不过才达到40次左右。

对于这些未通过检测的论文，在可重复性检验结果发布后，依然有不少研究者在引用，只有12%的研究者在引用时承认该研究是复现失败的。据此，Serra-Garcia 指出了该现象出现的核心逻辑：科学家们既希望他们的研究准确无误，又希望他们的研究引人注目。当期刊编辑和同行评审看到特别新奇和出人意料的研究设计时，往往也会不自觉地降低对其证据的要求。因为这样的成果发表后，通常会吸引更多的读者。

当然，目前对于论文被引次数和可重复性之间的争论不断，还没有充分的证据证明两者之间必然是负向关系。微生物学家Fang, F. C.指出高影响力期刊的撤稿率高于低影响力期刊[3]。来自马里兰大学的心理学家Dougherty, M. R.在自己最新的预印本研究中发现被引用率更高的论文的数据基础往往更弱[4]。然而，复杂性系统科学家Yang, Y.等在PNAS上发表论文发现不一样的结果：被引次数和可重复性结果之间没有关系[5]。

原因二：不可重复的社会科学研究不一定是错的

Mart值得补充的是，未通过可重复性检验的研究成果并不一定意味着最初的发现是错误的。研究方法的变化、参与者的习惯的变化——比如互联网使用模式的变化——都可以解释为什么旧的结果可能站不住脚。

科学的本质是求真

梅西大学的计算生物学家Pfeiffer, T.引用了著名天体物理学家卡尔.萨根的名言——“extraordinary claims require extraordinary evidence”。他认为，我们应该制定需要更多的保护措施，来提高研究成果的可信度，比如对什么是可靠的证据设置门槛，以及对研究问题和研究方法给予更多的关注，而不是仅仅停留在浮夸的结论上。

当被引次数被用作研究质量的代名词时，科学家容易被研究成果产生的影响左右，而降低对可重复性的要求。然而，科学的本质是求真，科学家应该时刻牢记这一点，对真充满敬畏。

[1] O’Grady, C. (2021). Unreliable social science research gets more attention thansolid studies. Science. https://www.sciencemag.org/news/2021/05/unreliable-social-science-research-gets-more-attention-solid-studies

[2] Servick, K. (2018). Generous’ approach to replication confirms many high profile social science findings. Science. https://www.sciencemag.org/news/2018/08/generous-approach-replication-confirms-many-high-profile-social-science-findings

[3] Fang, F. C., & Casadevall, A. (2011). Retracted science and the retraction index.  ASM Journals. https://journals.asm.org/doi/full/10.1128/IAI.05661-11

[4] Dougherty, M. R., & Horne, Z. (2019). Citation counts and journal impact factors do not capture research quality in the behavioral and brain sciences. PsyArxiv Preprints. https://psyarxiv.com/9g5wk

[5] Yang, Y., Youyou, W., & Uzzi, B. (2020). Estimating the deep replicability of scientific findings using human and artificial intelligence. Proceedings of the National Academy of Sciences, 117(20), 10762-10768.