博文
半死不活的同行评审还能抢救回来吗？【2018国际同行评审周】
||
转载请联系小编
如果要问有啥标准是能让科研界引以为傲的？估计很多人会说：同行评审。没错，一年一度的国际同行评审周来了！今年官方发布的活动主题是「多元与包容」，将就审稿人在性别、国籍、年龄和资历等方面存在的问题做更多讨论。
作为论文发表路上的质检环节，同行评审机制存在的意义是让相对专业的人把众多投稿中好的挑出来坏的筛出去，从而为发表背书。在此基础上，再给那些能成的好稿子提点改进意见，拔高一下。
同行评审拥护者 Mark Ware 在其 2013 年发表的《同行评审：入门与守则》中援引了多组调查数据，超过 90% 的研究人员认为同行评审不光提升了论文的总体水平，还对自己的研究有正向影响。
在意得辑今年早些时候发布的一项关于科研作者对学术出版看法的调查中，共有母语为英语、日语、简体中文和葡萄牙语的 6,903 名研究人员参与其中，约 60% 的人认为审稿意见对自己的论文有帮助，同时也有 47% 的人则认为互相冲突的审稿意见让人困惑。
图片来自意得辑
审稿意见难懂只能算是同行评审众多槽点中微不足道的一个，而且属于概率事件，受审稿人素质、稿件本身质量等不同因素影响。假如不单独看同行评审对一篇篇稿件的影响，而是把前者放在出版体系这个更大的语境下来分析，可能会对这个机制本身的缺陷看得更清楚。
所以，同行评审都存在什么问题？
质量差
质量是种用来被证伪和被推翻的特质。没事的时候看着岁月静好，要到特斯拉被召回了，三星电池爆炸了，出了事了才发现，你这质量也就那样吧。
召回放在科研圈就跟撤稿差不多。论文经过九九八十一难，改了又改，在审稿人把关，编辑点头后，终于出版了。然后猝不及防又被撤稿了。
2014 的一项研究分析了 PubMed 和 Medline 上 2004 到 2013 十年间的所有撤稿，结果显示，2004 年每十万份发表的论文中有 9.8次撤稿，2013 年同比有 52.9 次。撤稿的原因不一而足，最多情况是研究本身存在缺陷，属于无心之失被称为诚实的错误 (28.94%)，其次是抄袭 (23.93%)、一稿多投 (21.60%)、伪造数据 (11.65%)、署名存在争议 (2.69%)、其他道德原因 (1.28%)、没有原因 (8.96%)。
图片来自PubMed
此外，近两年频发的同行评审撤稿事件很多人也不陌生。施普林格去年因同行评审造假对旗下期刊《肿瘤生物学》上发表的 107 篇进行撤稿，此后该期刊被 SCI 除名。
如果说电池爆炸是外包工厂的技术水平有限，那作为品牌方在没进行完整的测试之前就将其推出市场，也要承担很大的责任。
同样的，论文体量上升、人心浮躁是撤稿事件频发的根本原因，但这背后是否也说明同行评审的审核机制没在正常运作，或是它存在很大的缺陷？
偏见重
势利眼存在于任何行业。学界对于同行评审是否公平的讨论由来已久，早在 1982 年，Douglas Peters 和 Stephen Ceci 这俩人就设计过一个测验人性的实验。他们选了 12 篇已经发表的“有背景”的论文——作者要么是名校出身要么已经是学术明星，将其改头换面，套上一些自己编的类似“西南重金属农业大学研究所“这种土味十足的野鸡名字，再次投稿。结果表明，只有 3 篇稿件没有通过查重，更惊人的是，剩下 9 篇通过查重的论文中，有 8 篇因研究质量不佳而被拒稿。
我们不能断定究竟是名校身份给了这 12 篇论文发表通行证，还是野鸡大学的身份成了它们不能发表的阻碍。只能说，身份的不对等给滋生偏见留了非常大的空间，如果没有一个制约标准，单盲评审就是一个用爱发电的环节，全靠自觉。但，这是对待科学应该有的逻辑和态度吗？
不一致
假如作者身份不被摆在明面上，单纯采用双盲机制来审稿，是不是就没事了呢？
这就要说说同行评审结果的随机性。神经信息处理系统大会 (Neural Information Processing Systems, NIPS) 是机器学习领域最重要的会议之一，2014 年组委会官方为了观察同行评审的一致性做了个实验。他们将会议的论文评委分为两组分别审稿。其中有 10%的投稿（166篇）让两组人一起审，同时为稿件设置了 22.5% 的录取率。结果显示两组人对 25.9% 的稿件（43 篇）持不同意见。
Eric Price 在表示 25.9% 这个数据不像看上去那么简单，他在博客中对此进一步解释：
22.5% 的录取率意味着在这 166 篇中每组人都要通过 37 或 38 篇论文
两组人对 43 (21 + 22) 篇论文意见相左，意思是第一组人接受了 21 篇被第二组拒稿的论文，第二组人接受了 22 篇被第一组人拒稿的论文
由此可以得出他们对已经接受的稿件所持不同态度的几率是 21/37 或 22/38 ≈ 57%。也就是说投稿到 NIPS 的稿件中，有 57% 的人被一组人拒了可能会被另一组人接受。最终结果主要是……看命。
图片来自MRTZ
更常见的例子还有收到意见严重冲突的审稿意见。被拒稿后重投个差不多或者更好的期刊却被录了。
说到底，同行评审是个无法量化的评定标准，里面充斥着大量审稿人或有意或无意的主观意见。单凭三两个人的主观臆断来决定是否某篇论文是否应该发表既不严谨也不公平。 57% 的几率和扔硬币看正反也没什么区别了。
偷数据
如果说审稿意见冲突只是由个人偏好引起的，那审稿过程中还有很多阴暗面就属于人品差劲了。
Drummond Rennie 在《过失和同行评审》一文中揭露了审稿人打压并窃取自己研究的行为。他投给《新英格兰医学杂志》 (New England Journal of Medicine) 的论文受到了来自审稿人 Vijay Soman 的恶意差评，后者将 Rennie 论文中的一整段照搬到自己的研究中，最终被抓现行。
这固然是个极端的例子，窃取数据这样事情并不会发生在每个人身上，也可能很多这样的不道德行为发生了也没被发现或不了了之。该思考的可能是这些作为同业甚至同领域竞争者的审稿人该如何约束自己和被约束？遇到存在利益冲突的研究，就算不直接偷数据，利用审稿人身份故意设置障碍拖延对方的发表时间，对于这样的行为又该由谁来界定？怎么界定？编辑邀请审稿人之前是否应该做点背景调查？
慢且贵
我们最经常接到的提问就是“已经过了 XXX 天/星期/月，为什么投出去的稿子还是没消息？” 一般的发表流程长达数月，而从投稿到发表要花上超过一年时间也并不罕见。
除了在等待和修改上花去大量精力，这其中的花销也很惊人。Richard Smith 在其 2006 年发表的《同行评审：科学中心的瑕疵》一文中指出，对于传统的订阅式期刊文章，机构和个人平均需要支付 3000 英镑才能获取访问权。对于开放获取型期刊文章，则有 300 到 1500 英镑的费用加在了作者头上。而这些林林总总的费用，并没有直接用于科研建设，很大一部分落进了正日渐垄断这个产业的各大出版商口袋里。
怎么办？
Jon Tennant 在《学术出版已死》一文中给整个出版产业出了个主意。他认为，同行评审是对“取其精华去其糟粕”非常有用的形式，但质检员这个角色不应该由个别人来扮演，也不应该悄么声地匿名进行。相反，学术圈应该建立一个全面的开放获取环境，人人可以发论文，而发表之后任何人都可以对该研究进行评价，评价的质量将会用来衡量其个人学术信用。管理人员将通过社区内部选举产生，而经费则由各大图书馆和相关机构拨款，也就是把给各大期刊的订阅费转移一下而已。
这样一个搞事情的提议恐怕会让利益相关的人捏一把冷汗。它要最终落地的可行性目前来看也并不大，但至少可以借鉴让同行评审透明化这个思路，制定更标准化和公开的流程。
同时对审稿人进行系统专业的培训也是一个够得着的法子。
此外，同行评审机制本身的缺陷要放在更大的语境下来看。唯论文的大环境搅得人心浮躁，很多时候只是为发表而发表，写了没有价值的东西浪费人力物力，而影响因子这种东西又在一旁煽风点火把人们对发表的追逐放到最大。
当一个体系出了问题，里面的人的态度不应该是“不发表即灭亡 (publish or perish)，我们能怎样？逆来顺受吧。”而是反思“不发表即灭亡，这件事是对的码？不对的话要怎么做才更好？”
你觉得同行评审目前还存在哪些问题？能给学术界出出主意吗？
更多国际同行评审周精彩好文，请关注意得辑官方资源微信号“SCI 发表辅导”：
投稿与审稿
https://blog.sciencenet.cn/blog-769813-1134642.html
上一篇：期刊编辑手记之论文署名道德
下一篇：编辑，我赶时间，能让让么？
