说明：本博客与微信公众号“林墨”同步更新，所有内容均为原创，可授权转载请扫码关注“林墨”公众号。

1982年，来自北达科他大学（University of North Dakata）的Douglas P. Peters 和来自康奈尔大学的Stephen J. Ceci 做了一项实验，我们不妨称之为“重复投稿实验”，太精彩，以至于我希望有人能把这个实验写进某本教科书。这篇论文值得被记住：

在这个实验中，他们从12个知名心理学期刊上挑选了12篇美国知名心理学系发表的论文，删除论文中的作者与机构，编造了新的机构名称和作者姓名，然后投稿至这12篇论文原本发表的期刊，结果……

8篇论文被拒了，理由竟然都是方法存在严重缺陷。

注：图片来源于网络

作为科学守门人的期刊编辑和审稿人竟然如此靠不住。

且慢，总感觉哪里不对。

原文中的机构是知名机构，原文中的作者是知名作者，而重新投稿的论文中的机构和作者姓名是瞎写的，审稿人在审稿的时候会不会受机构与作者的声誉影响？有可能，因为这12个期刊都是单盲审稿制度，也就是说，审稿人知道作者是谁，但作者不知识审稿人是谁。

有没有可能不是的质量的问题，而是之前的审稿人水平太差，让这些论文得以发表，重复投稿时，正好遇到的审稿人水平都比较高。不太可能，如果审稿人的水平（分高、低两种）是随机分布的，那两次审稿过程中低-高组合的概率是1/4=0.25，也就是说，重复投稿的论文有25%的概率会因为审稿人的水平变化被拒，但实际结果是：12篇论文中有3篇被编辑和审稿人发现是重复投稿，另外9篇送审之后，8篇被拒了，8/9=0.89，这概率也太高了吧（有兴趣的同学可以用非参数假设检验验证）。

有没有可能不是质量的问题，而是审稿人其实读过或者听过这些论文，审稿的时候虽然没发现是重复投稿，但不觉得这些论文贡献新知识了，所以就拒稿了。不太可能，Peters 和Ceci查阅了拒稿意见，发现几乎都认为方法存在严重缺陷，而没有审稿人认为“内容太老”、“没有贡献新知识”、“相似研究已经有人做过了”等等。

有没有可能不是质量的问题，而是两次投稿时间间隔太久，科技的发展把老的论文淘汰了，所以重复投稿时，审稿人一眼就看出过时了？不太可能。Peters 和Ceci在挑选样本的时候，特意选了在过去18-32个月之间发表的论文，这个领域（心理学）、这些论文不至于让审稿人一看就觉得太老。

因为，1982年可能还没有审稿系统，1982年更没有抄袭检测系统。

有没有可能是这9篇论文水平太差，审稿人根本不会读到？不太可能。因为Peters 和Ceci在挑选样本的时候，特意选了心理学领域12个知名期刊，同时，这12篇论文的被引次数都在期刊的平均水平以上。

Peters和Ceci在1982年做出的建议如下：

（1）建立数据库。Peters和Ceci在1982的时候一定没想到，他们关于建立 computer bank （原文的用词）的想法后来被叫做 database，这一点，现在的审稿系统已经实现了，同时，审稿系统里的抄袭检测功能让重复投稿不太可能。

（2）建立对审稿人的评价机制。Peters和Ceci认为可以让作者根据审稿意见对每一位审稿人的水平（是否公正、是否认真、是否具有建设性）进行评价，尽管作者不知道审稿人是谁，但评价结果主编和编辑可以看到。40年过去了，这一机制仍然没有实现。

（3）建立开放同行评议制度。惊为天人！让论文连同审稿意见和作者回复一起发表，这难道不是《Nature Communications》 等少数期刊倡导并实践的Open Peer Review 吗？原来40年多前就被提出来了。这一想法（原文的用词是Open Peer Commentary）是1979年Stevan Harnad提出的，这篇文章值得被记住：