数字科学交流团队分享 http://blog.sciencenet.cn/u/dsc70 武大

博文

不同主体对同行评议质量的看法

已有 2110 次阅读 2019-11-14 22:57 |个人分类:科学交流|系统分类:海外观察

引用本文请注明出处

作者:ANN MICHAEL;  译者:刘欣怡;  校译:宁莎莎;

来源:https://scholarlykitchen.sspnet.org/2019/09/12/ask-the-chefs-peer-review-quality/


下周(译者注:916920日)就是2019年的同行评议周了,按照惯例,每年的此时,我们都会针对同行评议的问题咨询相关人士。2016年,我们的问题是“同行评议的未来是什么”,2017年,我们关注“同行评议是否需要改变”。去年(即2018年),我们思考“我们应该如何保持同行评议的多样性”。

今天的主题是“同行评议的质量”,因此我们的问题是,不同的利益相关者,包括作者、编辑、读者、出版商以及公众,是如何评价同行评议的质量。

Rick Anderson这个问题的一些答案显而易见:

l  作者十分看重同行评议,因为他们的工作需要通过同行评议才会得到认可,尤其关系到晋升和职称。

l  编辑同样很重视同行评议,因为单个编辑很难有充足的时间或知识来全面地判断他所负责的每篇文章。

l  出版商看重同行评议,因为它代表着学术或科学的严肃性,这是其商业领域的精髓:在许多情况下,他们所出售的是获得被认为有价值的内容,因为这些内容已经被了解他们的人严格审查过了。

l  当然,对于有需求的读者来说,同行评议给他们提供了一条捷径:他们没有时间去仔细地阅读和评估所属领域的所有文献,所以他们相互依靠,以消除那些荒谬、诡辩、无关以及有缺陷的学术作品。

而“公众对同行评议的价值认知”这个问题的答案并不那么明显,但我认为这是一个非常重要的问题。我可以想象,当被问及什么是“学术同行评议”时,大多数普通公众只会有一个模糊的概念,而当被问及“同行评议质量”的标准时,他们会更加不知所措。然而,如果你问普通大众,他们认为公开发表的科学知识和学术知识要严格遵守严格和诚实的原则是否重要,他们都会说“是”。

公众想要和需要获得科学可靠的信息(即使在很多情况下,即使在很多情况下,我们想要的只是符合我们预想的政治和社会议程的科学可靠的信息)。不同于一般的同行评议,高质量的同行评议在传递信息和淘汰不准确或不诚实的学术研究方面都发挥着重要的作用。一般公众可能不知道这个过滤过程是如何完成的,也可能不会花太多时间去思考它,但我认为,他们确实认识到这个过程在发生——并希望它能被严格和良好地完成。

Tim Vines: 我将逆向解释这个问题。在理想状态下,公众无法感知到同行评议的质量,因为所有发表的文章都经过了彻底的评审和修改,而且在不同期刊上发布的文章质量几乎没有差别。只有当高质量的同行评议缺失,特别是那些有缺陷的研究被媒体过分夸大和不加批判地传播时,公众才会感知到同行评议的重大影响。最近备受关注的“in mice”推特确实让人耳目一新(译者注:James Heathers @justsaysinmice将有问题的学术研究比作实验室的小白鼠,他每日在推特上转发“in mice”的内容),也常常令人捧腹,但它是一种警示,我们有必要对科学信息的发布进行一些限制。

实际上,出版商希望期刊得到同行高质量的审查正是因为他们出版了一些低质量,却有高影响力的文章,从而遭到了各方抨击。尤其是那些备受关注的“出气筒”出版商(Elsevier),或那些在同行评议过程中有举足轻重作用的出版商(Frontiers)。否则,出版商最看重的是高质量的同行评议对其期刊声誉的积极影响:因为更严格的同行评议最终会产出更好的文章,从而提高期刊的影响因子和吸引更多的投稿。

 高质量的同行评议消除了文章中大量的方法和逻辑问题,确保读者读到的文章大体上是无误的,从而读者可以专注于文章的重点,即如何研究提供信息以及引导方向。发现文章中的重大缺陷很令人恼火,因为读者必须决定是放弃这篇文章(因为它是注定要失败的),还是通过梳理来确定哪些是可用的,哪些是无用的。因此,阅读文献的研究人员主要将高质量的同行评议视为一种节省时间的方法:其他人已经花时间修改了可修改的文章,并删除了不能修改的文章,这样他们就不必了多此一步了。

编辑负责确保严格的同行评议流程;有些人非常重视质量,并为此付出了努力,而另一些人把编辑职位看作是闲差事,只是走过场。后者主要负责纠正上述那些影响小组同行评议的小问题。(审稿人与编辑类似,但直接评审自己所负责的文章,而非整个同行评议的过程)

作者们重视高质量的同行评议,他们就像牙医一样:痛苦,耗时,但却对降低未来更严重问题的风险至关重要。如果同行评议不严格,侥幸让那些不完善的文章成为漏网之鱼,总有一天,你要在所有同事的注视下,痛苦地从文献中剔除那篇糟糕的文章。

Alice Meadows归根结底,我认为所有利益相关者都出于相同的原因而重视同行评议的质量,因为它可以使他们正在做/阅读/评估的研究得到更好的利用。这是一种安全检查,可为每个人提供一定程度的信任,而我们所使用的许多其他类型的信息都缺少这种信任。

然而,每一个利益相关团体对同行评议质量的看法稍有不同。

对于作者来说,同行评审是对他们研究的一种检验。这种高质量的审查过程让他们有机会在发表作品之前解决同行的担忧。

对于编辑和出版商来说,同行评议过程中也有类似声誉的因素。他们都不希望在没有确定是否适合发表的情况下发表研究成果。虽然,即使是最高质量的同行评议,也不能保证修正所有错误,但它确实大大降低了风险。

对于读者来说,无论是寻求“建立在巨人的肩膀上”的研究人员,还是希望获得关于癌症、气候变化、儿童发展或其他主题的可靠信息的公众,一个强大同行评议过程都让他们更加信服自己阅读的研究成果。

要确保所有的利益相关者都对同行评议的过程以及评估质量的方法有一个清晰的认识,任重而道远,但我希望并相信,同行评议的质量是所有利益相关者都重视的。

Haseeb Irfanullah:孟加拉国学术出版的不同利益相关者对高质量同行评议的价值有着不同的看法,我选取了一些观点:

对作者来说,好的同行评议可能意味着强化了她通过研究收集到的知识。作为一名审稿人,她成为更大的学术机构的一员,能够在同行评议的过程中获得更大的利益。而且,参加同行评审“迫使”他以批判的眼光阅读一篇文稿,老实说,有是阅读一篇已发表的论文时所缺失的一种态度。

——学者/ Lailufar Yasmin

一个好的同行审稿人可以成为一个有影响力的人!她可以帮助作者在分析方法和表达新颖的论点方面更好地发挥独创性。这样的角色对南半球的作者来说可能非常有用。

——学者/ Lailufar Yasmin

高质量的同行评审的重要性体现在3个方面。其一,它保证了期刊及其发布的文章的标准性。其二,它也提高了作者的质量。其三,对于由发展中国家协会出版的期刊来说,同行评议通过确保质量,帮助突显该国及其研究成果的重要性。

——编辑/Rakha Hari Sarker

在缺乏可靠的同行评议系统的情况下,一个编辑要将其期刊发布标准维持到可接受的水平是非常困难的。此外,考虑到某一特定学科的国家专家非常少,南半球期刊的同行评议过程会受到影响。

——编辑/ Md. Anwarul Islam

记者通常重视同行评审过程,因为它验证了信息和分析成果。但有时他们更遵循“作者-读者-文本”的理论。从新闻工作者的角度来看,作者很重要,读者们对不同作者的文章的重视程度不同。因此,学术期刊的同行评议过程对于新闻发布来说可能并非很重要。

——记者/ Sheikh Rokon

公民社会中往往缺乏学术出版的机会,因此出现了大量的非政府组织的灰色文献。虽然有人认识到在同行评议的期刊上发表有根据主张的重要性,但是,找到一份有专家评议的期刊,或者找到一份有一定读者的期刊,往往非常有挑战性。特别是当一篇发表的文章被用来挑战政策制定者时,这些因素变得尤为重要,因为他们往往会质疑期刊和作者的权威。

——发展实践者/ Enamul Mazid Khan Siddique

Phill Jones: 丘吉尔曾经说过,“……除了所有那些已经被尝试过的其他形式之外,民主是最糟糕的政府形式……”最近的新闻无疑证实了这一洞察。

以我的经验,许多学者也以类似的方式看待同行评议。很难想象,将一份文稿交给两三个同行进行反馈,就能发现研究项目中所有可能出现的问题、错误或需要改进的地方。也许在一百年前,这是比较合理的,但是随着计算方法和大数据的日益普及,仅同行评议就显得与这项任务不相称。也就是说,从读者的角度来看,这总比什么都不做要好,好的同行评审至少可以发现明显的错误做法,比如不恰当的统计测试、虚假复制,或者只是作者声称数据不支持。

如果高质量的同行评议有助于预防某些问题,那么低质量的同行评议则会加剧这些问题。在最糟糕的情况下,同行评议员可能会坚持错误的或过时的实践,仅仅因为他们是这样被教导的,或者每个人都是这样做的,从而阻碍了该领域的发展。这就是编辑的用武之地。优秀的编辑可以制定政策并监督同行评议员,以确保他们对作者负责,并推动该领域的进步。

最后,作为一名作者。好的同行评议非常有用。当一个评议员建议你从数据中提取更多信息,或者建议你继续实验时,这会让你更有归属感。而另一方面,受到糟糕或反复无常的同行评议可能会令人非常沮丧。面对同行评议员强势的要求,作者反对不公平的评议是很困难的,而且经常被认为是吃不到葡萄说葡萄酸。例如,作者被迫对非参数数据进行方差分析,仅仅因为受制于3号评议员的对统计知识的理解范围,至少这一点非常讨厌。

Todd Carpenter如果有一个让学术出版脱颖而出的核心的话,那便是审查和同行评议的概念,不管是编辑还是双盲评议,都大大增强了人们对出版内容的信任。

最近一些人声称,因为当前同行评议的流程中存在错误、偏见、无能甚至渎职的现象,所以整个同行评议过程都不应该被信任。ThackerTennant挑选了他们关注的问题来阐述他们的观点,忽略了一个事实,即同行评审过程每年要审查数百万份手稿,总体而言,绝大多数内容评审都是合理正确的。这是否意味着没有错误,重要的材料被“顶级”期刊错误地拒绝了?当然不是。会发生错误。除了错误之外,还有一些期刊在出版目的上明显(或不那么公开地)带有政治偏见,还有一些期刊以“掠夺性”著称。撇开这一明显的弊端不谈,这个过程当然值得信任,并因增加质量而得到正确的认可。

只强调ThackerTennant文章中的一个错误,他们错误地描述了其中一篇引用文献的结论,该文献名为“在我们的研究中,期刊编辑充分评估来判断哪些文章应该被毙掉”和“同行评议者通过提升和识别文献的质量似乎也增加了同行审查的价值”。ThackerTennant的论点更重要的问题是,它在公众的头脑中播下了怀疑的种子,即科学研究在某种程度上存在腐败现象,并且面临挑战。同样,质疑或撤回一篇关于疫苗的论文会导致公众错误地质疑疫苗的有效性。或许《华盛顿邮报》本可以做得更好一些,把ThackerTennant的文章送去进行双盲同行评审,这样或许可以发现作者推理中一些更明显的错误。

问题不应该是质疑同行评议的过程是否完美,相反,就像所有的科学研究过程一样,同行评议的结果会比没有它的情况下更好吗? 答案是肯定的。有数据支持这种说法,即使是趣闻轶事,我们也能从不同市场参与者的行为中看到这一点。很明显,作者重视同行评议的质量,或者至少是该过程所带来的内容质量。这一点很容易看出,因为作者都希望向最严格审查程序的出版物提交材料 (他们的高拒稿率也证明了这一点)。你也可以从作者的兴趣中看到这一点,即使是在该领域中“最负盛名”的期刊上发表论文的著名科学家。

例如,一个某领域有着深厚资历,倍受人尊敬的作者,即使他已经在相关机构里达到了他想要的或者能够达到的高级职位,并且在社会上有一批追随者,而且他在“顶级”期刊上发表作品可能不会获得任何好处(任何意义上的),但他还是选择这么做。他们能够在预印库或自己的网站上发布相同的作品,并且能有效地将作品传播到相关社区,但他却很少这样做。

同样,读者通常不会在整个网络上搜寻学术著作。研究人员的时间有限,他们需要对寻找的材料和投入时间保持理智,因为互联网上有太多的信息,即使是一个中等规模的研究领域也存在成千上万的信息源。当然也有例外,在这里我特别提到一个例子,即Malcom Gladwell以及他对SSRN的热爱——尽管他不是传统意义上的学者。虽然预印本社区和独立信息共享在学术领域中占有一席之地,并可能继续发展,但是对于绝大多数的传统内容、作者、读者和公众来说,同行评审赋予内容的审查过程以及由此产生的出版过程是有价值的,并且值得珍惜。毕竟信任很难获得和维系,一旦失去就极难重新获得。

Judy Luther我将两个不在该列表上的利益相关者开始——政府监管机构和公司。无论是食品药品监督管理局(Food & Drug Administration)在食品保护方面的监管,还是证券交易委员会(Securities & Exchange Commission)在财务会计方面的监管,制定监管规定的政府机构要么考虑或参考研究论文,要么依赖同行评议来验证方法和结果。虽然引用和连接管理机构的机制还没有很好地建立,因此很难参考,但机构很清楚同行评议在研究过程中的价值。

就同行评议的质量而言,我严重怀疑“公众”是否真正意识到了评审工作的严谨性或所花费的时间。他们更有可能受到已发表研究作为权威参考的影响。出版商可能认为它在核心读者方面是一种竞争优势,但从根本上看,它是一种成本因素,是他们的期刊获得高排名的必要条件。

剩下的利益相关者是那些在学术领域内积极参与创造、审查和阅读研究的人。作者重视同行的建设性批评,以加强他们的文章。编辑重视高质量的文章和同行评审的积极成果。它们还通过建立对评审如何进行和过程的及时性的预期来影响质量评审。该领域的其他读者可能不知道文章被修改的程度,除非他们自己以作者身份提交文章供审查。








http://blog.sciencenet.cn/blog-521339-1206208.html

上一篇:学术电子书和大学出版社
下一篇:高等教育出版的变革——过时的商业模式催生了新的举措

2 周春雷 信忠保

该博文允许注册用户评论 请点击登录 评论 (1 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备14006957 )

GMT+8, 2019-12-11 22:04

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部