黄晓磊(Huang Xiaolei )分享 http://blog.sciencenet.cn/u/book Nature is teacher | 诚实点,简单点,专业点 | 微博:weibo.com/naturethinker

博文

同行评审中的“审者悲剧” 精选

已有 17934 次阅读 2010-12-30 23:48 |个人分类:科学那些事儿|系统分类:科研笔记|关键词:同行评审| 同行评审

2009年第1期的Ecology Letters上面,发表了一篇社论观点文章:“The tragedy of the reviewer commons”,该文的作者都是生态学和相关领域知名杂志的编辑,第一作者Michael HochbergEcology Letters杂志的Founding Editor
这篇文章关注的是一个与论文评审有关的普遍性问题,“Tragedy of the reviewer commons”(单从字面来看有点费解,具体意思见下文),这个问题与任何一个科研人员都息息相关。
Tragedy of the commons”是Hochberg等人借用的1968Garrett Hardin发表在Science上的一篇文章中的表达。对于这个短语,中文翻译为“公有资源悲剧”、“哈定悲剧”或“公用品悲剧”,从事博弈论和社会经济学研究的人会更加了解。潘天群老师在《博弈生存》一书中写道下面这些话。【“公共资源悲剧最初由哈定提出。哈定(Garrit Hadin1968年在《科学》杂志上发表了一篇文章,题为The Tragedy of the Commons。北京大学的张维迎教授将之译成《公共地悲剧》,但哈定那里的the commons不仅仅指公共的土地,而且指公共的水域、空间等等;武汉大学的朱志方教授将The Tragedy of the Commons译成《大锅饭悲剧》,有一定的道理,但也不完全切合哈定所表达的意思。将the commons译成“公共资源”似乎更确切些。哈定描述的The Tragedy of the Commons,我们可称为哈定悲剧。”“哈定举了这样一个具体事例:一群牧民面对向他们开放的草地,每一个牧民都想多养一头牛,因为多养一头牛增加的收益大于其购养成本,是合算的,尽管因平均草量下降,可能使整个牧区的牛的单位收益下降。每个牧民都可能多增加一头牛,草地将可能被过度放牧,从而不能满足牛的食量,致使所有牧民的牛均饿死。这就是公共资源的悲剧。”】
我觉得潘老师对Hardin所描述的这个例子的翻译有些不够直观,我再简单解释一下。面对向所有牧民都开放的草地,每个牧民都想养更多的牛,他们也经常会想,“我多养一头牛会怎么样?”。实际上多养一头牛对某个牧民来说有正反两方面的影响,正面的是多养一头牛卖钱所得的收益全部归牧民个人所有,负面的是多养一头牛会牧场草量下降甚至导致过度放牧,但这种负面的影响是所有牧民共同承担的。因此,理性的牧民会觉得多养一头牛很明显给自己带来更大的利益。如果每个人都更多的使用公有资源,结果必然会是悲剧。
按照上面的理解,“Tragedy of the reviewer commons”可以理解为“审者资源的悲剧”或“审者共享的悲剧”,简单说就是科学共同体所公有的审者资源被过多的使用了Hochberg等人认为我们应该关注导致这个问题的两方面因素。
第一个方面是“我们都希望尽将工作发表在最顶级(或更好)的期刊上”。单位评价压力和与同行竞争是这种想法的驱动力。虽然研究者们都对自己的工作很自信,相信能通过同行评议并有机会发表,但有时候这种可能性被高估了。在文章被拒稿的情况下,很多时候我们很难知道在多大程度上是因为“论文准备中可以避免的缺陷”或者“仅仅是杂志的选择”而被拒稿的。
经费资助机构、大学及政府部门过分依赖于数量化的评价机制使得研究者们选择期刊时的错误定位(都想发好的刊物)更加恶化。很多时候这些机构并不会客观的去评价某项研究工作的重要性,也不关注该工作发表在哪个期刊(与领域相关与否,是否是领域中重要的期刊)。所以,研究者们经常会在并不适合于系统地发展他们研究工作的杂志上发表文章。如果将某项系统的研究工作分解成不同的小文章去发表,或者将研究发表在一个并不适合的刊物上,必然会减小该工作的影响力,对于研究者和领域的发展都是不利的。研究者将其工作分解为不同的小文章发表,则给同行评议和编辑部带来了更大的压力。
Hochberg等人估计,国际顶级刊物的拒稿率一般大于60%,因此一般论文都要经过2个或更多杂志的处理。假定不同刊物的拒稿率不同,并且不同刊物使用不同的同行评审专家,那么一篇最终发表的稿件在评审过程中需要的审者数目大约是510个。如果这个数字正确的话,那么很多审者在那些被不断拒稿的文章上面花费了很多不必要的精力。这就是悲剧所在。重复投稿使得审者压力过重,并给评审过程和最终发表的文章的质量带来了负面效应。
虽然每个科学家都应该承担为科学共同体审稿的义务,但实际上审稿压力在整个学术团体中的分布并不均匀,一些活跃的科学家对于审稿请求的响应并不积极(即并不愿意承担审稿义务)。这从两个方面伤害了整个学术团体。这使得一部分答应评审的科学家承受了过多的审稿负担;也使得编辑部很难选择具有合适能力的审者,从而导致所发表文章的质量下降。这种不想承担审稿义务的个人行为是一个复杂的问题,目前并没有很好的解决方法。不同期刊共享审者数据库或许可以增加审者群体的数量,但这仍不能促使所有科学家都愿意承担审稿义务。
第二个方面是“那些被拒掉的稿件的评审意见变成了什么样(作者们如何处理审者意见)”。同行专家评审有两方面的目的,一是告知编辑论文的可接受性,二是反馈给作者提高文章质量并使之能够发表的建议。有时审者建议是针对你所投刊物的特定要求,但往往这些建议是对任何刊物都适用的。但作为编辑,Hochberg等人认为他们根本不能确定作者们是否考虑了审者的意见。如果作者不接受审者的建议,并重新投稿,那么文章被接受的可能性仍然很小,也就会有更多的审者精力被浪费了。如果一篇曾经被拒的稿子在另一个杂志发表了,忽视审者意见的后果可能是文章质量并不高。
很多作者可能认为匿名同行评议是一个随机的过程:如果一个期刊的评审结果不理想,那么就换另一个期刊试试,或许不同的审者会有不同的评价。但现实情况远不是这样。不同的审者往往都会发现稿件中固有的问题。并且,还有可能同一个审者被不同的期刊要求审同一篇稿件。这种情况下,没有什么会比“看见自己的建议被忽略”更让审者生气的了,他根本不愿意再花时间来评审这样一篇本就有缺陷的文章。
鉴于这些原因,Hochberg等人提议,作为科学团体,我们应该从两个方面维持这个非常重要的资源——“科学共同体公有的审者资源”,Reviewer Commons
首先,投稿前让同行帮你审阅论文。这实际上一个由来已久的传统,但近些年来被越来越多的人忽视了,原因可能是尽快发表的压力、同行之间的竞争、文章共同作者数目的增加,以及因为我们自己也不断的将自己的稿件投稿及重新投稿(因此没时间帮同事审阅稿件)。投稿前同行审阅会减少同行评议中审者的负担,也会使作者们更好的选择合适的期刊、修正论文中的缺陷,并增加一投中的的可能性。
再者,作者们应该认真的按照审者意见修改被拒的稿件。Hochberg等人认为,一个比较好的方式或许是,期刊可以要求作者们在投稿的cover letter中增加这样的表述:“We confirm that should our study have been previously submitted to another journal, we have taken all reviewers comments into account in revising our manuscript for submission to…”。这能够体现作者的责任感,并且编辑也不能从中读出这篇稿件是否之前被拒过,因为任何投稿(不管是第一次还是重投)都要有这样的声明。
Hochberg等人认为有必要增加科学家对于Reviewer Commons的认识,并讨论如何来维持它。他们的建议是作者们在投稿前要请同行来对论文和期刊的选择给出建议,并且如果稿件被拒时,重投前要认真对待审者意见并修改论文。这样的观点对很多人来说可能觉得太简单或显而易见了,但实际上在论文发表过程中,这些事情被很多作者忽略了。
对于期刊来说,也正在根据“不断增长的投稿量”及“一些科学家不愿意审稿”的状况来修订期刊政策。比如,很多期刊的编辑采用了“编辑部拒稿(reject without review)”政策,即只将有发表可能的稿件送去外审。对此很多投稿者觉得失望,但实际上这个过程中编辑部更多的是审查文章是否适合该期刊,而不是文章的科学性。另外,对于被拒掉的稿件,有的期刊则要求作者同时提交前个刊物的评审意见。
同投稿者一样,编辑们也要考虑Reviewer Commons,因为审者群体实际上太小了(往往某个领域中审稿的总是那些人)。部分原因是因为博士后和高年级研究生并没有很好的被作为审稿人,但这也不可避免,因为这些人尚未建立足够的文章目录来使编辑认为他们可以胜任。因此,当成熟的科学家被邀请作为审稿人时,可以向编辑建议可以胜任的博士后或研究生的名字。如果这些人被选择作为审稿人时,他们往往非常尽职尽责的准备评审意见。并且,这是培养年轻人审稿能力的很好的方式。
总体来说,因为审者们往往要为不同的期刊承担过量的审稿任务,他们投入到一篇文章上的审稿时间必然会减少,因此轻率或错误评审的可能性增加。经过多轮的修改、经过投稿前同行评阅、并基于审者意见做了认真的修改之后,稿件(由于审者的疏忽)仍然被拒,无疑会增加作者们的挫折感,并有损于出版业的健康发展。因此不同期刊的编辑们应该联合在一起,来找到让评审过程更好地运转的方式。
结语:Hochberg等人从编辑的角度提出了他们的观点。但实际上,期刊编辑们也要从作者的角度来思考同行评审中对作者不合理的因素如何解决,比如编辑和审者的利益小团体的存在,会伤害投稿者们的利益(表现为刻意拒掉与自己利益相关的稿件)。另外,“Tragedy of the commons”可以用于理解很多方面的问题,比如“科研经费的悲剧”,“权利使用的悲剧”等等。
 
Hochberg et al. 2009. The tragedy of the reviewer commons. Ecology Letters, 12: 2-4.
Hardin G. 1968. The tragedy of the commons. Science, 162: 1243-1248.


http://blog.sciencenet.cn/blog-111883-399305.html

上一篇:北京城的第一场雪
下一篇:霍金都来找我们

37 张玉秀 马军 张光明 王晓峰 孟津 赫英 陈儒军 朱志敏 王德华 罗帆 于锋 戴小华 何学锋 吉宗祥 杨正瓴 张天翼 何金华 孔晓飞 张旭 陈辉 兰轲 鲍海飞 许培扬 唐常杰 王有基 徐耀 任翔 王孝养 许洪光 刘伟 黄秀清 谢龙 周向进 cas409 daliang colorfulll liangqiang

发表评论 评论 (11 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备14006957 )

GMT+8, 2019-11-20 19:56

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部