|||
同行评审原则上被誉为学术出版和基金资助分配的质量保证。但在实践中,同行评审的结果,很多时候受到被评审人的厌恶。
在这里,七位学者提供了关于如何成为一个优秀审稿人的建议,并反思未来几年可能会发生的变化。
图片来自:https://goo.gl/images/r3YMHu
每个学者都希望他们的论文和基金申请得到公平、有竞争力、及时和礼貌的评估。那么,当自己作为审稿人时,为什么会变成不讨喜的审稿人2和审稿人3了呢?拖沓、自大、自私、歧视都成为了他们的代名词。
来自不同学科和国家的学者对同行评审的注意事项进行了反思。所涉及的问题包括接受多少审稿请求,何时拒绝,以及是否适合向作者透露自己的信息,或者请求作者引用自己的论文。
1 "做一个真正的同行,乐于助人但意志坚定"
图片来自:https://blog.wiziq.com/peer-review-feedback-changed/
我们都知道学术出版需要高质量的同行评审。但在出版行业日新月异的变革和发展中,出现了新的问题:我为什么要免费提供这种劳动力,特别是对于商业运营的出版商?鉴于单位的各种评估和晋升通常不会“计算”我们审过几篇稿子,我们是否应该削减我们的承诺?我们应该接受哪些审稿要求?
作为我所在领域主要期刊的主编,我完全依赖优秀的审稿人。从期刊角度来看,一个好的审稿人形象是非常明确的:及时回应审稿邀请,随着审稿的进展保持联系(特别是如果出现任何意外)和提供真正建设性批评的详细报告。最后一点也许是最棘手的一点。
·建设性的批评旨在使被评估的论文更强大,更引人注目,而不是试图让作者写出完全不同的论文。语言问题不是审稿的重点: 这应该留给作者,编辑来处理。但是,必须评估手稿是否属于该领域的研究:就算质量再高的论文,没有人阅读,对包括作者在内的任何人都没有好处。
·还应对文件进行审查,以确保它们充分和准确地引用以前的相关文献。从许多方面来说,没有任何真正原创的东西。最好的论文是将他们的主张和论据置于大量的文献之下,并与之进行对话。这应该是审稿人的核心考虑因素,审稿人应该引导作者回顾文献 - 例如,通过补充更有相关性的文献。
·不需要接受太多审稿请求。学者们使用不同的策略,例如有人每年审稿一定数量的文章,或仅在完成最后一个审稿请求后才接受新请求。当你坐下来认真审稿时,正确的心态也是必不可少的:如果在你过了疲惫不堪的一天后,在熄灯前的最后一刻完成审稿报告,那这样的审稿有可能对期刊或作者没有什么作用。
·如何撰写评审报告也很重要:一份非常简单粗暴的报告很可能会被许多编辑直接忽略。为作者提供改进的方法而不是直接替他们修改:这可能意味着尝试不同的期刊,重新梳理论文的框架,或者只是做一些小的解释。
审稿人的部分工作是向编辑提供有关如何决定的循证建议,因为在大多数情况下,审稿人的报告都是建议性的。认真考虑您在这方面的判断是否可能存在利益冲突,如果有疑问,请咨询编辑。虽然通常不赞成对熟人论文进行审稿,但如果在研究领域较窄的子领域中,保持客观可能显得更加重要。确实理应如此。学者们应该只接受与他们自己的研究领域相关的论文评审邀请,在这方面,他们的专业知识最强,能够从新研究评审中获益最多。
通过参与同行评审,您还可以学习到优秀的论文是怎么构建--以及差的论文是如何之差,借此可以改进自己的论文写作和投稿习惯。批评别人的工作使你能够更加反思自己的研究,特别是在框架,论证和证据方面。
评审应该被视为学习别人研究的机会,而不是教育别人,应该抱着利用你的专业知识为你所在研究领域的发展做出贡献的心态。从这个角度来看,对于每个审稿人来说,这也是一种更加愉快和富有成效的体验。
以上来自分享来自Rachel A. Ankeny,她是阿德莱德大学(University of Adelaide)历史学教授。
2 "评审报告应该有建设性的同时,保持简洁"
图片来自:https://siop-online.org/blog/my-first-peer-review/
在写这篇文章之前,我向同事广泛征求意见--他们为何进行同行评审。答案几乎和我预期的一样。年资高的同事认为,作为一名科学家参与这一过程是一项必不可少的要求 - 正如人们所说的那样“道德义务”。许多人在周末或晚上为同行评审花费了大量时间,因为这是“超出本职工作的职责”。
他们也意识到同行评审的缺陷 - 无意识的偏见,利益冲突,个人厌恶,缺乏专业知识,无知,没有完全了解主题等等。尽管如此,我的同事们仍将同行评审视为“科学的黄金标准”。我的一个同事改编了丘吉尔关于民主的名言:“比起所有那些时不时尝试过的其他形式,同行评审也许不算是最糟糕的评估形式。”
有趣的是,我的年轻同事更务实。我的一位同事直接说:“我接受评审邀请是因为这是唯一阻止垃圾论文被发表的方法。”年轻的科学家对接受评审邀请也更挑剔—接受顶级期刊邀请,只接受最相关的研究领域,主要目的是“看看有什么心的发现”。
Henry Oldenburg是伦敦皇家学会(Royal Society of London)“The Philosophical Transactions”的创始主编,他被视为在1665年发明了出版前的同行评审。到19世纪30年代,所有皇家学会的出版物都开始执行外部同行评审。然而,直到20世纪中期,同行评审成为大多数期刊的评估标准; 事实上,Nature在1967年才开始正式的进行同行评审; 在这之前,编辑们依靠自己的专业知识,辅以内部讨论。
但编辑保留了巨大的权利。他们决定是否发送稿件进行同行评审,稿件发给谁,以及审稿人的建议是否被采纳或被忽略。一位资深同事指出,“这些天发表论文的关键在于把摘要写的很漂亮,这样才足以说服编辑将其发送给同行评审”。尽管同事对审稿人的意见是不是表示沮丧,但公平的说,他们做得很好。相比之下,人们对编辑作为科学出版的“守门员”这一角色缺乏信心。
就我个人而言,我有时会被要求评审的手稿感到沮丧甚至抓狂--缺乏新颖性,语言不清晰,方法细节不明确,实验设计薄弱,统计数据混乱,数据表达模糊等等。如果手稿的结论是基于空话的而不是基于数据,那么我也会非常失望,因为浪费了我一晚上的时间但是没有教会我任何新的东西。当重要数据被故意埋没在补充数据中,或者存在明显的技术错误时,我会尤其恼火。在这种情况下,我总是希望我的回答具有建设性,但非常简洁 - 甚至可能是直言不讳。我并没有真正区分“顶级”和“主流”期刊。
好科学就是好科学。
在极少数情况下,当论文真正新颖,设计精巧时,我的感觉就像搭乘了一架崭新的飞机,即便需要进行更多的实验或修改,我也会在书面回应中羞愧地说这篇文章的优秀足以让我惭愧到承认自己是审稿人!
在我当选英国国家科学院院士后不久,我加入了其选举委员会。我第一次亲眼目睹了通过多层次的同行评审,最终任命了一位新人。鉴于激烈的竞争,审查和详细的讨论,我对另一位委员会成员说,我想知道我曾经是怎么当选的?那个人转过头,完全没有幽默,回答说:“好吧,就我而言,我想知道为什么这么长时间(才选出来)”。
总的来说,同行评审是一种非常宝贵的力量,但它显然不会评审谦卑!
以上分享来自Russell Foster教授,他是牛津大学生理神经科学主席。
3 "我希望更多编辑会删除无用的负面评论"
图片来源:https://www.dealeron.com/blog/how-to-handle-negative-reviews/
学术同行评审过程既是一种祝福,也是一种诅咒。作为期刊编辑,我依赖审稿人的意愿来评估手稿,识别有优秀的文章并在需要时提出改进建议。同行评审可以是一种慷慨的行为,同可能甚至不知道姓名的其他学者分享我们的智慧和经验 - 通常没有报酬。它不仅仅是说明一篇手稿是否足以出版;它还使我们能够验证作者的学术努力,并为他们提供建设性的反馈,从而维持和丰富我们自己的研究领域。 如果做得好,它可以促进合作,鼓励学者和学生撰写和发表他们最好的作品。
什么是一个好的同行评审?我收到的一些最好的同行评审报告(站在作者和期刊编辑的角度)是在他们的报告中体现诚实和善良,详细地列出手稿的优点和缺点。建设性的提出批评意见,提出了如何使论证更好的建议:哪些其他文献可能有帮助,哪些要素应突出强调。最重要的是,优秀的同行评审鼓励作者继续研究他们的文章,使其尽可能好,并将其视为具有真正有学术价值的工作。
然而,作为审稿人,审稿人员很少获得任何专业上的奖励,因为单位很少将审多少篇稿子视为学术上的成就,或者为科学研究做出多少有价值的贡献。
此外,同行评审是一个容易被滥用的系统。匿名的快感让一些审稿人能够发泄他们的挫败感和对学术界同事的鄙夷。我自己收到了一些类似的评论,这让我对作家和研究员充满了信心。最令人沮丧的是那些不太关注我的论点的优势或写作质量的人,而不是审稿人是否分享我的意识形态立场。几年前一位特别苛刻的评论家建议我的文章被拒绝,因为他们不同意我对LGBT平等的支持。值得庆幸的是,期刊编辑忽略了他们的建议,并提出发表我的文章。
作为一名作家和研究人员,我也收到了一些类似评论,这些评论曾经打击过我的自信。最令人沮丧的是那些不太关注我的论点和写作质量优劣的评论,而是那些关注是否认同我的意识形态的人。几年前,一位特别令人沮丧的审稿人建议我的文章应该被拒稿,因为他不同意我对LGBT(LGBT是女同性恋者(Lesbians)、男同性恋者(Gays)、双性恋者(Bisexuals)与跨性别者(Transgender)的英文首字母缩略字)平等的支持。幸运的是,杂志编辑无视他的建议,提出发表我的论文。
我还与多个被审稿意见打击过的研究生交谈,他们收到的负面评论曾让他们质疑自己作为研究人员的能力,甚至是他们是否有资格继续研究生涯。几个月前,一位博士生告诉我她收到一个来自所在领域备受推崇的期刊的审稿意见。其中一位审稿人认为她的论点“荒谬(preposterous)”,缺乏任何学术价值。 “为什么同行彼此如此不友好?”她问我。我没有回答。但作为期刊编辑,我已经养成了仔细检查审稿人发送给我的审稿意见的习惯,然后再将其传递给作者,删除无用的负面评论或将其改写为更具建设性的反馈。我希望更多期刊编辑也会这样做。
人文学科的同评审通常是双盲的,但一位同事最近向我建议,尽管作者应该保持匿名,但他们应该被允许知道审稿人的身份。这会让同行评审变得更好、更有建设性吗?作为一个博学的学者和一个体面正派的人,你会不会不太愿意发表尖刻或无益的意见?或者,此举可能会不会让学者们更不愿意执行同行评审,因为他们担心负面评论可能会反过来咬他们一口?
也许我们可以从让开放同行评审成为审稿人的一个选择开始。这样,作者就可以适当地感谢他们从审稿人那里得到的帮助。反过来,审稿人可能会学到一些关于团队精神和善良的重要教训——这些美德在学术界并不常见,但我们这些学者应该珍视它们。
以上分享来自Caroline Blyth,她是奥克兰大学(University of Auckland)神学和宗教研究的高级讲师。
4 "在寻求插入自己的论文之前,请三思而后行"
图片来自:http://cartoonsbyjosh.co.uk
接受审稿人的角色可以让您参与到期刊工作中来,确保您所熟知和珍惜的期刊上发表内容的有效性,维持期刊的质量标准。比其他人更早先道最新的发现。而且,作为一名年轻的研究人员,你会了解同行评审是如何运作的。
就我个人而言,我也喜欢审稿,因为它迫使我花一些时间在一篇论文上,而不是仅仅快速浏览它,然后跑到下次会议或讲座。有时审稿会给我自己的研究项目带来灵感。
但参与同行评审也有不好的方面,这些通常是审稿权利的滥用。
一个例子是强迫作者在他的论文中加入一些不必要的引用。这并不是要求作者引用你自己的论文一定是错的。因为一方面,你被选为审稿人是因为期刊编辑认为你是这方面的专家。你非常了解这些文献,而且你很可能已经发表了关于这个主题的文章(编辑们通常就是这样找到你的!)因此,你必须相信你的判断,即在审的论文是否引用了适当的文献。如果你认为没有,你就必须说出来。
但是,在寻求插入自己的论文之前,请三思而后行。请记住,作者没有义务引用该领域的每一篇论文,也没有义务引用最新的论文。
记住下面两个问题,只有当其中一个问题的答案是肯定的,才要求额外的引用。
·如果没有这个引文,引言中的现有技术描述是否完整?
·如果加入这个引文是否会证实或反驳某些解释,从而丰富讨论部分?
最重要的是,请记住,审稿人的任务是帮助确保科学讨论的质量。也许看到作者无视你的工作(一开始没有引用你的论文)可能会让人心烦,但如果作者收到不合理的额外引用请求,也会让人心烦,优秀的编辑会把这样做的审稿人列入黑名单。最好问问自己,为什么作者没能引用你的论文。也许你应该在更相关的杂志上发表文章?也许你应该在会议或社交媒体上更卖力的推广?
我想分享一个个人轶事。我曾经被要求为“最顶级”的期刊之一审一篇论文。这篇论文与我一年前完成的博士毕业论文是同一个主题,但作者没有引用我们在这个主题上的任何贡献。除了自尊,我真的认为这是个问题。
在犹豫了很久之后,我决定建议作者引用我们的一篇论文,在我那篇5页的详细审稿报告中间隐藏了起来。一个月后,我看到了其他四位匿名审稿人的报告。其中三人公开批评作者完全忽视了我们的工作,并要求他们改正。
那天,我感到前所未有的自豪和快乐。如果不是被迫的,同行间的认可会更甜蜜。
以上分享来自Damien Debecker,他是比利时天主教大学(Université Catholique de Louvain)凝聚态和纳米科学研究所(Institute of Condensed Matter and Nanosciences)的教授。
5 “通过一小部分经过挑选的同行的判断来决定一篇论文的命运,这种做法早已过时。”
关于我同意评审的那篇论文的第二个提醒刚刚出现在我的收件箱里。
为什么我同意接受审稿邀请?我有一大堆本科生实验室报告要评分,有一份拨款申请要写,有教程要组织,有“一对一”会议要组织,有本科生和博士项目要监督,还有一份设备招标程序的文件要在几天内整理出来。更别提我们自己的那篇论文了,它已经准备一年多了,一直顽固地拒绝从我的“待办事项”清单上划掉……
那么,当我的盘子里有足够多的东西的时候,为什么我还要同意评审手稿呢?毕竟,我不会因为写审稿意见而得到报酬——尽管许多学术出版商的利润率高得惊人。我的努力也不会对我所在院系或大学的研究概况有所帮助。
平均来说,我每年审阅大约6份手稿(尽管我拒绝的数量是这个数字的两倍)。我感到有责任这样做;整个科学过程依赖于同行评审,我敏锐地意识到,我的同事们经常投入大量时间和精力来评审我们小组提交给期刊的论文。此外,在绝大多数情况下,最后的稿件都取得了改进。有时进步是巨大的,甚至手稿变得认不出来了。
即便如此,同行评审也存在着深层次的缺陷。要想把一篇论文评审的好,往往需要相当多的时间;我估计平均需要6个小时。然而,有时,即使是最粗略地看一眼数据,也绝对清楚作者“言过其实”,一篇审稿报告可以在不到一个小时的时间内完成并提交。
然而,你花时间和精力做评审却发现一些同事在工作上很不负责,这很令人沮丧。在我自己研究的纳米科学领域,有很多明目张胆的“亮瞎眼”的文章,通过操纵数据发表的例子。近年来最令人震惊的是2013年发表在著名的美国化学会杂志“Nano Letters ”上的臭名昭著的“纳米筷子”论文。这种“复制-粘贴”的伪科学连小学生都能识别出来,但它就是没有被审稿人和编辑发现,而是被网络博客和随后的社交媒体发酵所发现。
总的来说,我的观点是,通过一小部分经过挑选的同行——或者更糟糕的是,一个单独的审稿人——的判断来决定一篇论文的命运,是一种早已过时的做法。PubPeer等网站向更广泛的受众开放审稿过程。将这种类型的出版后同行评审与开放获取出版结合起来有特殊的范围,显然学术出版正在朝着这个方向发展(这让许多传统出版商感到震惊)。
然而,开放同行评审仍存在一个关键问题:匿名。当然,匿名有助于保护批评的来源,这些人很可能是一位年轻的研究人员,如果他们对一个世界领先的研究团队提出批评,可能会严重影响他们在学术界(乃至其他领域)的未来。在最糟糕的情况下,匿名对于保护揭发欺诈行为的举报人的身份至关重要。
我是否会留出更多或更少的时间来进行出版后同行评审,这是一个有待商榷的问题,我相信,其他许多人也会同样感到不安。然而,把审稿留给科学怪人来做,会比目前情况更糟糕。同行评审是一项肮脏的工作。但如果必须有人这么做,最好是让那些宁愿承担骂名,但同时勇于承担责任的人来做吧。
所以,不管怎样,那些本科生实验室的报告只能等待了。
以上分享来自Philip Moriarty,他是诺丁汉大学的物理学教授。
6 “如果没有证据表明期刊或出版商营业收入被用于支持学术活动,我更有可能拒绝无偿工作。”
图片来源:https://realwaystoearnmoneyonline.com/how-to-become-a-paid-book-reviewer/
期刊同行评审是众多没有得到回报的学术活动中的一项,但作为维护学术生态系统的一个方面,我们这样做了。
然而,人们越来越担心,在一个订阅成本不断上升的时代里,这种情况会如何演变——许多期刊从个人、单位或学会/协会所有被出售给少数高利润的跨国出版集团。
在很大程度上,这些学术团体将它们的收益重新投入到学术生态系统中。例如,我担任受托人的“Sociological Review Foundation”就利用它资助年轻学者的活动,包括博士后奖学金,以及更广泛地投资于社会学社区。然而,有些期刊将其收入的很大一部分直接装入投资人的口袋。
当被要求进行同行评议时,我试图找出期刊属于哪一类。这种安排的不透明性使其越来越难以查明,但通常还是可以查到。如果期刊似乎部分归个人所有,而且没有证据表明收入被用于支持更广泛的学术活动,我更有可能拒绝任何免费提供劳动的要求。
另一种削弱同行评审合作关系的方式是,大学管理层加强了出版要求,同时未能认识到在这一过程中需要互惠互利。值得注意的是,很少有大学在为同行评审活动提供工作计量的同时,鼓励学者在影响因子较高的同行评议期刊上发表论文。
可以做一个简单的计算。如果一位资深学者每年发表两篇文章,那么至少会有一位编辑和两三个审稿人审稿一篇文章。这意味着至少有6项同行评审“免费捐赠”。假设这些学者也会收到一些拒绝,并提出一些修改和重新提交的建议,我们可能会得出这样的结论:参与这个系统的每个资深学者每年都应该审阅大约10篇文章,以便“偿还”这些捐赠。考虑到并非所有提交论文的作者都能担任同行评审员,目前尚不清楚有多少资深学者达到了这种期望。
如今,出版行业面临着“S计划”的影响。该计划要求,所有由一系列全球资助机构资助的研究,包括英国的研究与创新(Research and Innovation)、威康信托(Wellcome Trust)和比尔和梅林达•盖茨基金会(Bill and Melinda Gates Foundation),一经发表,必须立即开放获取。如果像预期的那样,这种转变仍会导致期刊出版商收入下降,那么一个问题是,那些依赖期刊收入的专业协会将何去何从。
此外,在强制开放获取和作者付费的背景下,期刊将寻求通过最大限度地增加文章发表数量来实现收入最大化。严格的同行审查可能会成为这方面的一个障碍,目前还不清楚它的地位。
以上分享来自于Gurminder K. Bhambra,他是英国University of Sussex大学后殖民和殖民研究学(postcolonial and decolonial studies)教授。
7 “在一个预印本盛行的世界里,学术期刊是否还会继续进行出版前评审,这一点值得商榷。”
图片来源:http://blog.scienceopen.com/2016/02/pre-or-post-publication-peer-review/
作为科学家,我们中的许多人对同行评审爱恨交加。大多数人认为,有必要最大限度地提高科学文献的完整性,但当我们自己的手稿受到批评时,我们会感到恼火。我们抱怨审稿人花了太多时间来审阅我们的稿件,而我们自己却拖延了睡在收件箱里已接受审稿的请求。
对这些审稿邀请说“是”是有充分理由的,比如你可能想要在发表文章的杂志的编辑那里建立声誉,并预览前沿的新发现。然而,随着手稿数量的不断增加,加上科学家的时间压力越来越大,这意味着如果你想完成自己的工作,就必须把大部分的审稿邀请都拒绝。找到合适的平衡点并不容易。
就期刊而言,它们仍在努力争取找到合适的审稿人(尤其是在投稿量高、审稿人比较没空的可怕的夏季和假日期间),尽管已经有了像Publons等项目--希望对通常匿名执行的任务给予更多认可。
生物医学领域加速使用预印本服务器,复制物理领域的成熟做法,这对同行评审提出了进一步的挑战。在会员(我就是许多会员之一)的最低限度监督下,bioRxiv发布了预印本,会员只检查这些预印本是否科学。
期刊作为科学中间商,因其利润丰厚,不会轻易投降。尽管压力停止评判的基础上,科学家们发表,可能仍然重视招聘和晋升委员会。
顶级期刊至少能够继续利用其品牌来选择和策划最好的预印本,并赋予它们质量徽章。科学家在顶级期刊上发表论文的压力,很可能在未来几年对招聘和晋升委员会仍然具有重要意义。
但是,在如今,期刊是否会继续进行出版前的同行评审还有待商榷,尤其是因为,尽管期刊数量减少意味着对审稿人的需求减少,但审稿人参与的积极性也会降低。毕竟,如果一篇论文在提交后可以立即在网上浏览,审稿人将不再有机会或特权对最新的研究成果进行偷偷的预览。审稿人可以有偿,但也会带来其他问题,比如利益冲突。
相反,期刊可能会决定依靠读者的出版后同行评审。大多数预印服务器允许添加评论(以及对预印本的后续更正)。在这方面可能会有进一步的发展,包括在审稿中纳入新数据,作为扩大,澄清或反驳调查结果的手段。可以想象一个杂志与预印本作者联系,在解决某些问题的前提下,正式发表他的文章。
一个问题是审稿人的身份。出版后同行评审人通常是实名的,这可能会吸引一些寻求更大曝光度的审稿人。如果可以选择,大多数审稿人会选择不公开自己的身份。有几个原因,包括来自心怀不满的作者和同行的潜在反弹,尤其是年轻学者,在这方面保持警惕可能是明智的。
这个问题可以通过匿名提交在线评论来解决。然而,目前还不清楚,当提前预览新发现或与期刊编辑建立良好关系等好处不再存在时,忙碌的科学家们准备投入多少时间进行出版后同行评审。虽然不能奢望出版后同行评审的意见像今天这样的审稿意见如此全面,但是也希望有足够多的人愿意简要评论,击中要害。以往出版后同行评审的实验并不令人欢心鼓舞,但仍然存在和发展。
以上分享来自于Jim Woodgett,他是多伦多Lunenfeld-Tanenbaum研究所主任和高级研究员。
参考文献:
https://www.timeshighereducation.com/features/peer-review-how-be-good-referee
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-11-15 14:17
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社