林墨分享 http://blog.sciencenet.cn/u/ZJUlijiang 分享以科学家为对象的研究论文

博文

同行评议的危机 精选

已有 8747 次阅读 2016-11-29 09:25 |系统分类:科研笔记

说明:本博客与微信公众号《林墨》同步更新,所有内容均为原创,可授权转载。请扫码关注《林墨》公众号。

同行评议起源于全世界最早的学术期刊,即1665由英国皇家学会秘书Henry Oldenburg个人创办的《哲学会刊》。随着科学论文的数量大幅度增加,同行评议出现危机,少数审稿人承担了大量的审稿任务,最终可能导致审稿质量大幅下降。

文稿:步一 /Indiana University (美国)

论文推荐人:李江 / 浙江大学

编辑:李东 / 浙江大学


注:图片来源于Nature网站

同行评议的起源与发展

同行评议最早可追溯到1665年的英国皇家学会《哲学会刊》(PhilosophicalTransactions of the Royal Society)。《哲学会刊》不仅是全世界第一份专业学术期刊,也创立了一系列沿用至今的发表流程:来稿登记、同行评议、发布、建档。作为同行评议的源头,《哲学会刊》邀请当时的业内专家评判文章是否被该期刊录用和发表。20世纪中叶以后,同行评议逐渐成为世界范围内科研领域的通用制度,并沿用至今。

同行评议(peerreview)中的同行,是全世界范围内同一个研究领域的同行。同行评议是针对学术论文发表、研究基金审核和职称晋升等方面由同行进行的科学评价活动。根据被评审人和评审人之间的了解程度,同行评议可以分为公开评审、单盲评审和双盲评审三类。目前在学术论文发表的同行评议上,单盲评审由于不仅具有一定的审稿公平性,而且对期刊编辑来说手续较为简单,故而被广泛采用。一般来说,为保证同行评议的准确性和公平性,在学术论文发表的同行评议过程中,一般需要两名或两名以上的审稿人(reviewer)。

同行评议的危机:少数审稿人承担了大量的审稿任务

2010年,Jeremy FoxOwenPetchey两位科学家在《美国生态社会学报》(TheBulletin of the Ecological Society ofAmerica)上发表了一篇论文,指出了当今科学同行评议面临的危机(crisis):随着出版论文数量的不断增加,同行评议的审稿活动将会很快变得供不应求。

还有一些研究则与上述研究观点不同。例如,法国国家健康与医学研究所(INSERM)的计算物理学家Michail Kovanis和他的同事在研究中则指出:2015年生命科学领域的研究人员数量远远超过了该领域同行评议所需要的研究人员数量;研究人员数量的增长速度要比所需要审稿人数量的增长速度还要快。他们的研究还指出,2015年,20%的科学家承担了69%-94%的审稿任务。这些同行评议的主力军heroes)所承担的审稿任务过重,这也使得同行评议标准可能会下降。”MichailKovanis和他的同事在两月前发表在PLoS ONE期刊上的论文中指出。

Michail Kovanis研究团队使用了生命科学研究中常用的数据库Medline所收录的1990-2015年间发表的论文作为数据集。对于每年发表的论文,他们估计了这些论文所需要的同行评议的数量。例如,他们估计,2015年发表的110万篇论文需要大约900万人次的同行评议。根据荷兰出版集团Elsevier之前对于同行评议审稿人所做的一次调查,这些同行评议大概需要花费6340万小时才能完成。

为了了解每位科学家每年审稿的数量,Michail Kovanis研究团队使用了Publons网站上的数据。该数据包含了超过7万名研究人员及其同行评议记录。数据显示,审稿人的年均审稿数量差异很大,有的年均几十篇,有的仅一篇,他们平均每年审稿5次。他们还推测,2015年需要180万的审稿人。Michail Kovanis研究团队还指出,科研人员的数量一直比需要的审稿人数量多。例如,2015年在生命科学领域发表科研论文的作者大约有640万人。这使得期刊的编辑在遴选同行评议审稿人时很大的选择面。即便编辑仅仅要求那些曾经以第一作者或最后一位作者(往往是通讯作者)发表过论文的人做审稿人,那样仍会有210万科研人员候选。

美国纽约的出版顾问PhilDavis认为,尽管同行评议的所谓危机可能不会影响到顶级期刊,一些不太出名的期刊可能因为收到的稿件质量较低等原因很难找到审稿人。这是Michail Kovanis的研究所没有涉及的。瑞士苏黎世大学(UniversityofZurich)的Petchey表示,认识到审稿人数量很充足是一件很有必要的事情。他认为很多早期对于同行评议危机的研究都是说理或故事性的而非定量的实证研究。

但是,Publons数据集还体现出,少数审稿人承担了大量的审稿任务。加拿大温哥华同行评议代理机构Axios Review的负责人Tim Vines表示,在2008-2015年他担任《分子生态学》(MolecularEcology)期刊编辑期间,审稿数量排在前8%的审稿人承担了25%的审稿任务。这一方面是因为一部分研究人员不乐意或者拒绝承担审稿任务,另一方面是因为编辑一般只将稿件交给他们所熟悉和相信的研究人员去审。

中国审稿人数量远少于投稿人数量

欧洲分子生物学组织(EMBO)期刊的主编Bernd Pulverer认为,Publons的数据不能精确地反映研究人员到底审了多少篇论文,因为很多研究人员并没有注册该网站,也没有上传他们的审稿记录。不过他表示,期刊编辑们确实不应该只把眼光局限在他们所熟悉的审稿人身上;相反,他们应当尝试找一些年轻学者或亚洲学者做审稿人2014年,Elsevier的一次调查显示,中国学者发表的论文要比其审阅的论文多,这很大程度上是因为编辑很少邀请他们审稿。

荷兰乌德勒支大学(UtrechtUniversity)的神经科学家MartijnArns认为,审稿人的数量很充足并不意味着审稿很充分,但如果一位审稿人的审稿任务太多的话,他们的同行评议质量往往会因为评议时间不足而大打折扣。MartijnArns强调,数量和质量不能等同


Osterath, B.(2016). Peer-review 'heroes' do lion's share of thework, Nature, DOI10.1038/nature.2016.21031.

Fox, J., &Petchey, O. (2010). Pubcreds: Fixing the peer reviewprocess by “privatizing”the reviewer commons. The Bulletin of the Ecological Society of America, 91(3),325-333.

Kovanis, M.,Porcher, R., Ravaud, P., & Trinquart, L. (2016). Theglobal burden ofjournal peer review in the biomedical literature: Strong imbalancein thecollective enterprise. PLoS ONE,11(11), e0166387.

顾凡及. (2016).科研论文是怎样发表的:同行评审的是非与未来. 赛先生. 2016-11-16.





http://blog.sciencenet.cn/blog-1792012-1017393.html

上一篇:研商,一个判断你学术前途的指标
下一篇:不使用社交媒体的科学家不是好老师

14 武夷山 蔡宁 杨正瓴 吴国清 李维纲 黄永义 檀成龙 信忠保 陈冬生 史晓雷 徐耀 zrhyuqhzs xlsd ericmapes

该博文允许注册用户评论 请点击登录 评论 (17 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备14006957 )

GMT+8, 2018-10-17 20:07

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部