美国国家科学院出版社出版关于科学可再现性和可重复性的研究报告

武夷山

    2019年5月，美国国家科学院出版社出版了共识研究报告，Reproducibility and Replicability in Science（科学中的可再现性和可重复性）。

    在美国和全世界，很多人都对科研成果的可再现性和可重复性非常担忧。美国国家科学基金会与美国国家科学院、国家工程院和国家医学院商量，提供经费请后者就社会科学中的可再现性和可重复性开展研究。后来，国会通过的一项法律条款规定，此项研究应囊括科学与工程的所有学科，而不仅仅是社会科学。再后来，阿尔弗雷德. P. 斯隆基金会也表示愿意为此项目提供经费支持，该基金会对科研效率有特别的兴趣，也愿意努力传播该项研究产生的研究结果、结论与对策建议。

    为此，美国国家科学院、国家工程院和国家医学院成立了一个“科学中的可再现性和可重复性委员会”，成员有13人，代表了方方面面的专业背景：方法论与统计学专家，科学哲学专家，科学传播专家，行为与社会科学专家，地球与生命科学专家，物质科学专家，计算科学专家，工程学专家，学界领袖，期刊主编，产业界质量控制专家，等等。在开展研究的过程中，委员会回顾了关于科学中的可再现性和可重复性的研究文献，召集了12次讨论会，广泛听取各方面意见。

    科学中的可再现性和可重复性委员会的主席是Harvey V. Fineberg，他现在是戈登与贝蒂. 摩尔基金会主任，原来是国家医学科学院院长。

    当科学家无法证实学术论文所报道的结果时，某些人认为，这意味着问题，另一些人则认为，这是科学过程的自然而然的一部分，也许能导致新的科学发现。科学中的可再现性和可重复性委员会（以下简称“委员会”）的任务是：（1）给出定义，“再现一项研究或重复一项研究”意味着什么？（2）探讨与可再现性和可重复性相关的各种问题；（3）这些问题对于公众对科学之信任程度会产生何种影响？

     科学与工程的不同学科对reproducibility 和replicability的定义是不同的，有时甚至是相互矛盾的。委员会拟采取的定义是适用于所有学科的。

    在本报告中，reproducibility指的是计算上的可再现性：采用同样的输入数据，同样的计算步骤，同样的方法，同样的程序代码，同样的分析条件，就应获得一致的计算结果。replicability则指的是，为回答同样的科学问题，不同的研究项目各自获得了自己的数据，但最后应获得一致的结果。简言之，可再现性需要采用原始数据和程序代码；可重复性需要采用与早先的研究类似的方法，但收集新的数据。第三个概念是generalizability（可推广性），指的是一项研究的结果在多大程度上能施用于与原初情境或种群不同的其他情境或其他种群。

    可再现性与透明性密切相关。一项研究的数据与程序代码必须公开，别人才可能再现或证实此项研究。为此，委员会建议，国家科学基金会应联合其他资助机构，批准或建立一些旨在数字物品长期保存的代码和数据储藏库（repository）。

    报告分为7章。1. 引言；2. 科学方法与知识；3. 理解可再现性和可重复性；4. 可再现性；5. 可重复性；6. 改善可再现性和可重复性；7. 对科学的信任。

    我没空介绍全书，有兴趣者可阅读原文。本报告在国家科学院出版社网站上可免费下载，或点击以下链接：

科学可重现性.pdf。