由于韩春雨博士在NBT的论文，引发了科学网对科学可重复性话题很大的争论。由于我对基因编辑不在行，所以我对韩博士的论文是否造假不予评论。且个人认为，只有真的做过相关实验的人才有资格用“质疑”这个词，其他人最多只能是怀疑，更多不过是跟风。毕竟在科学网，我希望科学家们关注的是NgAgo本身，而不是其它，更没有娱乐化的倾向。

但是，这并不影响我们关注科学实验的可重复性这个话题。恰巧看到自然杂志一篇关于此话题的在线问卷调查，就将其简单翻译并转发在这里。调查显示，并不是只有生物学会遇到实验可重复性问题。您是否遇到了无法重复别人实验的问题？您的实验是否做了严格的质控？您认为如何才能降低实验的可复现性问题？

是否存在可复现性危机？

Monya Baker

原文链接（http://www.nature.com/polopoly_fs/1.19970!/menu/main/topColumns/topLeftColumn/pdf/533452a.pdf）

超过70％的研究人员尝试但未能再现另一位科学家的实验，一半以上都未能重现自己的实验。这里是自然杂志从1576研究员的简单在线问卷得出的图表，对研究的可重复性做一概括。

数据显示对重复性的态度有时是矛盾的。虽然受访者的52％都认为再现性存在显著“危机”，但不到31％的人认为未能重现公布的结果表示该结果可能是错误的，他们大多仍然相信公开发表的文献。

有关科学文献重复性的数据是罕见的且通常黯淡。最知名的分析中，心理学和癌症生物学，分别发现约40％和10％重现率。我们的调查受访者更乐观：73％的人表示，他们认为在各自领域的论文至少有一半是可以信任的，物理学家和化学家普遍呈现最有信心。

结果捕获了对这些问题的态度令人困惑的印象，一位马里兰州巴尔的摩市公共卫生约翰霍普金斯大学彭博学院的微生物学家阿图罗卡萨德瓦利说。“在当前可重复性是什么或者应该有多少没有达成共识。”但仅仅承认是向前迈进了一步，他说。“下一步可能确定是什么问题，并取得共识。”

（P值 - 不是所吹捧那么好）

未能重现结果是一个成年礼，Marcus Munafo，英国布里斯托尔大学的生物心理学家，对科学可重复性有长期兴趣。当他还是个学生时，他说，“我试图复制从文献看起来简单的东西，但没能成功。然后，我有了信任危机，后来我才知道，我的经历并不少见。”

面临的挑战不是消除发表的工作中的可重现性问题。处于科学的前沿意味着有时结果不会坚实，Munafo说。“我们要发现新的东西，但又不产生太多的假线索。”

有多少可再现性
但是，从假线索中整理新发现可能是让人受挫的。虽然绝大多数在我们的调查研究人员未能复制实验，受访者中不到20％的人表示他们曾经被其他无法重现他们工作的研究人员联系。我们的研究结果与美国细胞生物学社对近900个成员的另一个在线调查惊人地相似（见go.nature.com/kbzs2b）。这可能是因为这样的谈话是困难的。如果实验者伸手向原始研究人员以求帮助，他们会有表现不称职或指责，或透露太多有关自己的项目的风险。

（科学家如何愚弄自己- 他们怎么阻止）

少数的受访者报告曾经尝试过发布一个重复的研究。若工作不能重现，研究人员往往假定有一个完全有效的（也可能是无聊的）原因。更重要的是，发布正面重复结果的激励低且期刊可能不愿公布阴性结果。事实上，曾出版了失败重复的几位受访者表示，编辑和审稿人要求他们降低与原有研究的对比性。

尽管如此，24％的人表示，他们已经发布了一个成功重复，13％曾发表一个失败的重复。接受比一味排斥更为常见：只有12％的人报告暂时无法发布成功尝试复制别人的工作;10％表示暂时无法公布不成功的尝试。

调查受访者阿马里洛得克萨斯理工大学健康科学中心的亚伯拉罕·艾哈迈德说，他提交了一份手稿解释为什么一个干细胞技术在他手中不工作，他预期将遭“冰冷拒绝”时，让他惊喜的是该论文被接收了。究其原因，他认为，是因为它提供了针对该问题的解决方法。

其他人将能够发表重复尝试归因于运气，毅力和编辑倾向的结合。调查受访者迈克尔·亚当斯，药物开发顾问，他说显示糖尿病动物模型严重缺陷的工作已经拒绝了六次，部分原因是它没有发现新的药物靶点。相反，他说，驳斥某化合物治疗美洲锥虫病的功效很快被接收。

（坚实的研究：机构必须自己做一部分重复性工作）

整改措施
约有三分之一受访者表示，他们的实验室已经在过去的五年内采取具体步骤提高可重复性，高至药学领域41％，低至物理学和工程学的24％之间。自由书写的回复提示重做或要求在实验室的其他人重做是最常见的做法。另外常见的是努力加强实验方法的文档和标准化。

所有这些都可以是主要举措。在英国，一位不愿透露姓名的生物化学研究生说，为她实验室的项目努力重复了一些工作，时间和材料使用加倍– 再加上为解决有些东西总是不工作的时间。尽管重复确实增强结果可信度，她说，成本的意思，她只为创新项目或意外结果进行检查。

整合方法本身就是一个项目，一个在夏洛茨维尔弗吉尼亚大学学习平滑肌细胞的博士后，劳拉·山克曼说，几个博士后和研究生离开她的实验室，短时间内其余成员在他们的实验中获得一致的结果有麻烦。该实验室决定暂停新问题，以重复未发表的工作。这表明，实验室的protocols都已偏离。她认为实验室得到同步，而不是排除失败的实验零碎，在总体上是省钱的，但这是一个长期的投资。

（质量控制怎样拯救你的科学）

Irakli Loladze，一位内布拉斯加州林肯市布赖恩健康科学学院的数学生物学家估计，努力确保重复性可以使花在一个项目的时间增加30％，甚至连他的理论工作在内。他检查，从原始数据到最终图中所有步骤都可以追溯。但是，这些任务很快变得只是工作的一部分。“再现就像是刷牙，”他说，“这对你有好处，但它需要时间和努力。一旦你学会它，它会成为一种习惯”。

宣传中一个提高再现性最好的方法是预注册，其中科学家在进行实验前将提交假设和计划的数据分析给第三方，以防止此后樱桃采摘统计显著性更高的结果。很少人提到这个方法。Hanne Watkins，一位澳大利亚墨尔本大学研究道德决策的研究生，用过这个方法。数据收集后，再回到她原来的问题。她说，防止她下到兔子洞里。而该过程虽然费时费力，但并不比获得伦理委员会批准或格式化的调查问题更加艰巨。“如果从一开始就正确建立，”她说，“这只是一个做研究的日常工作的一部分。”

病因

该调查询问科学家们是什么导致了重复性的问题。超过60％的受访者说，两个因素之一——发表的压力和选择性报告——总是或者经常有贡献。超过一半指出在实验室中没有足够的复制，监管不到位或统计能力低。少数指出其它障碍，如试剂的变化或使用难以重复的专门技术。

但所有这些因素是由共同的力量加剧，威斯康星麦迪逊大学的发育生物学家朱金布尔说，基金和岗位竞争，官僚机构日益增加的负担，使得需要花在做和设计研究上的时间减少。“每个人那些天都被拉瘦了，”她说。而且成本超出任何特定的研究项目。如果在一个高年级很少有时间训练他们后辈的实验室训练的研究生，他们可能会去建立自己的实验室，而没有应该如何进行培训和指导工作的典范。“他们会停止，使情况变得更糟，”金布尔说。

可以做些什么？

受访者被要求对11种不同的用来提高科学重现性的方法打分，并且都得到了明确的赞同。近90％——超过1000人——勾选“更坚实的实验设计”，“更好的数据统计”和“更好的指导。”这比提供激励（如资助或职位信誉）的选项排名高。但即使是排名最低的项目——期刊调查员——都赢得了高达69％的认可。

这是通过电子邮件发送给自然读者，在附属网站和大众媒体渠道广告的调查，题目是“关于重现”——调查选择的受访者可能更容易接受和意识到对实验重现的担忧。然而结果表明，以推动政策来解决这个问题的刊物、资助者和研究机构可能会找到合作。John Ioannidis，加利福尼亚州斯坦福大学研究科学的坚实性，他说“人们可能会欢迎这样的尝试。”大约80％的受访者认为，资助者和发行商应该对提高可重复性做更多。

“这是健康的，人们都意识到这些问题，并开出了一系列简单的方法来改善它们，”Munafo说。考虑到这些想法正在被广泛讨论，甚至在主流媒体，现在采取应对举措可能是至关重要的。“如果我们不对此采取行动，那么此刻会过去，人们会厌倦了被告知他们需要做的事情。”

Downlaod the full questionnaire used in the survey andthe raw data in a spreadsheet (the data are alsoavailable as a tab-delimited file at Figshare).

Nature 533, 452–454 (26 May 2016)doi:10.1038/533452a

相关专题：韩春雨事件
转载本文请联系原作者获取授权，同时请注明本文来自吴炬科学网博客。
链接地址：https://blog.sciencenet.cn/blog-593514-994302.html

上一篇：大豆在美国
下一篇：请帮我“科普”一下关于韩春雨“造假”事件