博文
期刊通过抽奖来决定论文是否发表，靠谱吗？
|||
上周是同行评审周，主题是Trust in Peer Review。国际科学编辑ISE特推出此篇博客，欢迎大家各抒己见。
越来越多的研究机构使用抽奖系统（Lottery system）来分配研究经费。支持者们甚至建议，学术期刊也可以用抽奖系统来决定该发表哪些论文[1]。在ISE本次博客中，我们将讨论这种可能性以及抽奖系统在期刊中是如何工作的，并讨论一下这个系统的优缺点。
抽奖系统是如何运作的?
出于本博客的目的，我们（International Science Editing-ISE）根据Brezis(2006)[2]建议的抽奖系统提出一个修改版本。如果期刊采用这个系统，它的工作原理大致如下：
像往常一样，提交的论文要经过基本的编辑筛选。被审稿人一致认为值得发表的论文将被正常处理。那些被一致认为不值得发表的论文将被拒稿。只有当审稿人评价不同的论文将由期刊编辑自行决定是否进行抽奖；被抽中的论文将被发表(经过适当的修改)。
优点
1，它将创造一个公平的竞争环境。
审稿人已经被证明受到各种认知和制度偏见的影响[3,4]。例如，审稿人往往较少批评那些有威望的研究者所写的论文，比如那些“有正确的血统，来自大牛课题组，在正确的时间和正确的领域为正确的人工作”的论文。社会偏见的表达已经被证明在评估环境中随着不确定性的增加而增加[6]。彩票系统会给那些处于不利地位的人一个机会，例如，年轻研究人员和那些来自不太知名机构的人，与“老男孩们（指的是是常在某些顶级刊物发表论文的大教授）”[3]竞争。这将会促进在“知识的多样性，公平，和学术界的公正性”[7]的增加。
2，这将减少审稿人的压力。
同行评审是社交[3]。编辑们通常喜欢与作者建立正式或非正式的关系，比如那些定期为他们的杂志投稿的作者，他们可能会感受到来自同行的压力，对这些作者给予善意的对待[8]。彩票系统将使编辑更容易管理这类情况。
3，它将使同行审查过程更加透明。
作者通常不知道决定发表一篇论文的细节。Neural Information Processing Systems[9]的组织者进行的一项实验表明，这些决定往往是武断的。2014年，会议遴选委员会被一分为二，但有10%的投稿论文(166篇论文)被双方审阅。大约57%的论文被一个委员会接受，被另一个委员会拒绝，反之亦然，只比随机获得的结果稍微好一点。这只是众多研究中的一个，显示了审稿人之间的一致性水平很低[10]。抽奖系统是对[11]同行评审固有局限性和任意性的承认。
4，它可能会减少保守主义。
有证据表明，在同行评审中存在保守主义。在一项研究中，审稿人对支持非传统医学治疗的研究表现出了明显的偏见，尽管支持数据和倾向更传统的治疗方法[12]一样有效。抽签制度将消除这种偏见，甚至可能鼓励人们追求更具创新性和非正统的项目。
5，这样可以提高研究人员的士气。
正如Fang和Casadevall(2016)[11]所指出的那样，抽奖制度将“减轻……被拒的打击，因为相较于感觉一个人因缺乏优点而未能入选，它更容易为坏运气找借口”。同样，它可能会在那些从当前体制[1]中获益最多的人保持谦逊。
6，理论上与其他提高同行评审质量和减少偏见的举措
例如，双盲/单盲评审和对审稿人进行培训等相比，抽奖系统将更便宜、更容易组织。
而且它可能被证明更有效。有些人认为双盲/单盲是毫无意义的，因为审稿人在25%-40%的情况下可以成功地识别出作者。一项针对审核人培训效果的随机对照试验显示，审稿质量只有轻微的改善，而且随着时间的推移并没有保持。
7，它可以减少编辑的工作量。
在众多同样有价值的论文中做出决定是一项耗时的工作。在抽签制度下，编辑将不得不把论文分成两类：非优秀论文和优秀论文，这可能会节省时间和资源，因为所需的信息和争论会更少。
缺点
1，可能会影响公众对科学家的信任。
因为它可能被一些人视为科学界混乱甚至懒惰的标志。正如一位来自澳大利亚资助机构的工作人员所说，“这会让人觉得我们不知道自己在做什么。”同业评审过程受到了世界上大多数[15]研究人员的高度重视，对于许多非常认真对待他们的同业评审职责的人来说，抽奖系统可能被视为具有挑衅性。因此，使用这套系统的期刊可能会失去有价值的审稿人，因为审稿人，尤其是那些反对这一概念的审稿人，可能会拒绝审读那些命运最终将随机决定的论文。此外，读者，尤其是这个概念的反对者，可能会对“获奖”论文产生偏见。
2，不能完全消除偏见。
例如，在最初的编辑筛选或同行评审过程中，对作者的偏见仍然可能发生，这可能会阻止那些有潜在价值的论文进入抽奖环节。其他形式的偏见，例如，期刊倾向于积极的结果而不是消极的结果和同行评审欺诈[16]可能仍然是一个问题。
3，可能会削弱替代传统同行评审的新系统。
例如，开放的同行评审。Bedessem(2020)[17]是抽奖制度的反对者，他质疑这是否是“最后的解决办法”，这只会抑制而不是改革同行评审过程。近年来，进行了大量的同行评议改革[18]，其潜在的好处和坏处还没有完全实现。抽奖系统可能会将投资和兴趣从可能更好的选择上转移。
4，勇于尝鲜的期刊可能会遭遇难以控制的稿件提交高峰。
抽奖系统可能会导致“随意”的论文发表增加。与此同时，如果作者只要求在抽奖中考虑一篇正面的评论，而不是审稿人和编辑的一致意见，这可能会导致不合格的审稿意见提交增加。或者，一些作者可以赌一把，反复提交一篇论文，直到它“被抽中”。
结论
具有讽刺意味的是，自从它成立以来，人们就相信同行评审是科学质量保证的最佳体系。当人们在20世纪90年代开始观察同行评审[19]的“黑盒子”内部，并对这一过程进行实证检验时，发现它无法被客观地验证。
在Daubert v. Merrell Dow一案中，美国最高法院裁定，同行评审不能作为科学专家证词有效性的明确证据[20讨论]。按照Drummond Rennie的观察，Drummond是年度国际同行评审大会和生物医学出版物的创始人，“如果同行评审是一种药物，它将永远不会被允许进入市场。”尽管缺乏经验证据来支持其价值[22]，同行审查仍然存在。这可能有任何原因，例如，“既得利益”[21]，或者可能是因为“变革的车轮转得很慢”，或者因为到目前为止还没有被证明的替代方案。
通常情况下，我们不能保证抽奖制度会比其他任何改革措施更好；然而，至少应该对其进行测试。正如Susan Guthrie所说，“在同行评审方面需要更多的实验和开放——反映了内在的局限性，以及在当前系统中已经存在的未被承认的机会元素”[23]。
参考文献 References
1. Adam D. Science funders gamble on grant lotteries. Nature. 2019 Nov 20;575(7785):574-5.
Available from: https://www.nature.com/articles/d41586-019-03572-7
2. Brezis E. Focal Randomization: An optimal mechanism for the evaluation of R&D. In DEGIT Conference Papers 2006 Jun (No. c011_035). DEGIT, Dynamics, Economic Growth, and International Trade. Available from: https://ideas.repec.org/p/deg/conpap/c011_035.html
3. Lee CJ, Sugimoto CR, Zhang G, Cronin B. Bias in peer review. Journal of the American Society for Information Science and Technology. 2013 Jan;64(1):2-17.
Available from: http://faculty.washington.edu/c3/Lee_et_al_2013.pdf
4. Tomkins A, Zhang M, Heavlin WD. Reviewer bias in single-versus double-blind peer review. Proceedings of the National Academy of Sciences. 2017 Nov 28;114(48):12708-13.
Available from:
https://www.pnas.org/content/114/48/12708?collection=&utm_source=TrendMD&utm_medium=cpc&utm_campaign=Proc_Natl_Acad_Sci_U_S_A_TrendMD_0
5. Cranford S. The pursued, the pursuing, and unconscious prestige bias. Matter. 2020 May 6;2(5):1065-7. Available from: https://www.cell.com/matter/pdf/S2590-2385(20)30179-X.pdf
6. Erosheva EA, Grant S, Chen MC, Lindner MD, Nakamura RK, Lee CJ. NIH peer review: Criterion scores completely account for racial disparities in overall impact scores. Science Advances. 2020 Jun 1;6(23):eaaz4868.
Available from：
https://advances.sciencemag.org/content/6/23/eaaz4868?intcmp=trendmd-adv
7. Roumbanis L. Peer review or lottery? A critical analysis of two different forms of decision-making mechanisms for allocation of research grants. Science, Technology & Human Values. 2019 Nov;44(6):994-1019.
Available from:
https://journals.sagepub.com/doi/abs/10.1177/0162243918822744
8. Lipworth WL, Kerridge IH, Carter SM, Little M. Journal peer review in context: a qualitative study of the social and subjective dimensions of manuscript review in biomedical publishing. Social Science & Medicine. 2011 Apr 1;72(7):1056-63.
Available from: https://ro.uow.edu.au/cgi/viewcontent.cgi?article=4714&context=sspapers
9. Price, E. The NIPS experiment. 2014. Available from: http://blog.mrtz.org/2014/12/15/the-nips-experiment.html
10. Smaldino PE, Turner MA, Contreras Kallens PA. Open science and modified funding lotteries can impede the natural selection of bad science. Royal Society Open Science. 2019 Jul 10;6(7):190194. Available from: https://royalsocietypublishing.org/doi/10.1098/rsos.190194
11. Fang FC, Casadevall A. Research funding: The case for a modified lottery. mBio. 7(2):e00422-16. 2016.
Available from: https://mbio.asm.org/content/mbio/7/2/e00422-16.full.pdf
12. Resch KI, Ernst E, Garrow J. A randomized controlled study of reviewer bias against an unconventional therapy. Journal of the Royal Society of Medicine. 2000 Apr;93(4):164-7. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1297969/pdf/10844878.pdf
13. Schroter S, Black N, Evans S, Carpenter J, Godlee F, Smith R. Effects of training on quality of peer review: randomised controlled trial. British Medical Journal. 2004 Mar 18;328(7441):673. Available from: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC381220/
14. Barnett AG. Funding by lottery: political problems and research opportunities. mBio. 2016 Sep 7;7(4). Available from: https://mbio.asm.org/content/7/4/e01369-16
15. Mulligan A, Hall L, Raphael E. Peer review in a changing world: An international study measuring the attitudes of researchers. Journal of the American Society for Information Science and Technology. 2013 Jan;64(1):132-61. Available from: https://onlinelibrary.wiley.com/doi/abs/10.1002/asi.22798
16. Haug CJ. Peer-review fraud—hacking the scientific publication process. New England Journal of Medicine. 2015 Dec 17;373(25):2393-5. Available from: https://www.nejm.org/doi/full/10.1056/NEJMp1512330
17. Bedessem B. Should we fund research randomly? An epistemological criticism of the lottery model as an alternative to peer review for the funding of science. Research Evaluation. 2020 Apr 1;29(2):150-7. Available from: https://academic.oup.com/rev/article-abstract/29/2/150/5678703
18. Chan L, Loizides F. New toolkits on the block: Peer review alternatives in scholarly communication. Expanding Perspectives on Open Science: Communities, Cultures and Diversity in Concepts and Practices. 2017 Jun 20:62. Available from: https://goedoc.uni-goettingen.de/bitstream/handle/1/14511/Schmidt_Gorogh_ELPUB_2017_STAL9781614997696-0062.pdf?sequence=1
19. Smith R. Peer review: reform or revolution?: Time to open up the black box of peer review. BMJ. Available from: https://www.bmj.com/content/315/7111/759.full
20. Horrobin DF. Something rotten at the core of science? Trends in Pharmacological Sciences. 2001 Feb 1;22(2):51-2. Available from: https://www.pulsedtechresearch.com/wp-content/uploads/2013/04/Something-Rotten-Horrobin.pdf
21. Smith R. The peer review drugs don’t work. Times Higher Education. 2015 May 28;28. Available from: https://www.timeshighereducation.com/content/the-peer-review-drugs-dont-work
22. Richards D. Little evidence to support the use of editorial peer review to ensure quality of published research. Evidence-based Dentistry. 2007 Sep;8(3):88-9. Available from: https://www.nature.com/articles/6400516
23. Guthrie S. Innovation in the research funding process: Peer review alternatives and adaptations. Available from: https://www.academyhealth.org/sites/default/files/innovatingresearchfundingnovember2019.pdf
24.https://www.internationalscienceediting.com/would-a-lottery-system-improve-trustinpeerreview/
https://blog.sciencenet.cn/blog-3387871-1252264.html
上一篇：2019JCR数据表明美国化学会ACS系列期刊依旧是化学界的翘楚
下一篇：万事开头难，就因为摘要没写好，直接被拒？
