数字科学交流团队分享 http://blog.sciencenet.cn/u/dsc70 武大

博文

同行评审的复兴:对于转型的迫切要求

已有 1034 次阅读 2023-11-15 11:39 |个人分类:科学交流|系统分类:海外观察

引用本文请注明出处

作者:ROOHI GHOSH

译者:丁晓

校译:檀湘琦

来源:https://scholarlykitchen.sspnet.org/2023/10/12/the-peer-review-renaissance-an-urgent-call-for-transformation/

同行评审(Peer review)有着丰富而悠久的历史,其起源可以追溯17世纪早期的科学院和会,当时的学者们聚集在一起对彼此的工作进行评价。本文认为,某种形式的同行评审甚至更早。然而,“同行评审”一词和我们目前为止对其的认知过程很久之后才开始发展,直到二十世纪后期同行评审才被视为科学的核心部分。

在同行评审发展的期间,学术环境也发生了重大变化,其标志是发表的论文数量持续增加。图1展示了论文数量随时间变化的数量趋势。

1 论文数量随时间变化,呈指数级增长

然而,是否有足够多的审稿人来满足这些论文的同行评审需求?同行评审程序的效率是否足以应对大量论文的发表?

2015年至2019年间,国际研究合作从22%增长到24%,呈现出稳步增长的态势。同时,跨学科合作也在增加。同行评审人是否善于把握评审此类研究时涉及的不同文化之间的微妙之处?此外,他们是否具备评估跨学科研究领域的专业知识?

eLife(将预印本和同行评审结合起来的科学审查和交流平台)和F1000(开放研究出版平台,但是在发表研究文章之后而不是之前提供同行评审)等平台的出现和预印本的流行,也引发了关于同行评审基本性质的讨论。一些人对科研诚信表示担忧,而另一些人则认可其对论文发表速度的加快。

因此,人们对于同行评审为出版过程带来的价值有很多不同的看法。一方面,有人认为同行评审没有发挥其应有的作用,即维护科研质量和科研诚信;另一方面,有证据表明同行评审不仅有助于提高稿件质量,还有助于筛选出高引用率的论文。

同行评审危机

Drummond Rennie是《美国医学会杂志》(The Journal of the American Medical AssociationJAMA)副主编,也是自1989年以来举办的国际同行评审大会(International Congresses of Peer Review)的幕后关键人物,他认为“如果同行评审是一种药物,它永远不会被允许进入市场”。据他所称,由于缺乏有说服力的证据来证明同行评审的益处,同时又有大量证据佐证其缺点,因此同行评审将无法进入市场。

此外,Adam Mastroianni在《同行评审的兴衰》(The Rise and Fall of Peer Review)一文中质疑,审稿人经常忽视基本错误和公然舞弊的其中一个原因是,他们可能从未查看过他们所评审论文的基础数据,而这恰恰是错误和舞弊行为最有可能暴露的地方。事实上,在他看来,同行评审制度的引入可能无意中鼓励了可疑的研究行为。比如,在某科研人员努力尝试发表一篇论文的过程中,评审人对其文章提出修改或是额外调查的要求,这可能会给他带来巨大的压力。这种压力有可能导致该科研人员对研究的不正当调整,如数据篡改、删除不利的研究结果,或对各种方面或条件进行广泛的探索直到取得理想的结果,而这往往是以忽略对研究结论不利的结果为代价的。

特伦托大学计算机科学教授Fabio Casati拥有20项专利,他创立了取消出版前同行评审的“iquid journal(流动期刊)”。Casati认为,他的研究表明传统的同行评审体系存在缺陷:许多论文在同行评审中得到了好评,但最终却对各自领域的影响有限。相反,许多评价一般的论文却能产生重大影响。

除此以外,同行评审还因审阅和发表论文所需的时间过长而饱受诟病,有时甚至超过一年。因为评审员的工作往往没有报酬,所以很难获得同行评审实际成本的数据,但其所涉及的成本往往十分高昂。例如,同行评审的机会成本很高,即花费在审稿上的大量时间原本可以更高效地用于开展原创性研究等活动。

此外,同行评审的意见有时也并不一致。尽管人们普遍认为同行评审是一个对他人作品进行高度客观化评论的过程,但其实评审结果最终还是取决于评审者的主观观点,而这种观点很少能做到完全一致。就像人们在评价一部电影时可能会有不同的意见,一个人喜欢而另一个人不喜欢,同行评审在这方面也不例外。这些不一致的反馈往往会让作者感到困惑。

同行评审还容易受到地位偏见的影响。在这种影响下,与知名度较低的作者相比,知名作者的作品会得到更多认可,而不管他们对研究的实际贡献如何。既然偏见已成为人们所关注的讨论议题,我们就不应该忽视非英语母语者努力在其选择的国际期刊上发表论文的经历。一些批评者还会职责同行评审人根据作者的姓名或所示单位来推断论文质量的行为。

同行评审程序是否已经过时?

鉴于以上所有的这些批评意见,我们再考虑回答“同行评审程序是否已经过时”这个问题——答案显然是否定的。考虑到同行评审不可或缺的作用,即确保研究的质量和研究诚信,它不可能过时。

同行评审的重要性在于它起到了知识传播的质量把关作用。它就像滤茶网,过滤掉茶叶残渣,从而帮助人们获得一杯干净且便于饮用的茶水。在信息匮乏且通常不可靠的时代,同行评审作为一种确保科学发现准确性和可信度的手段应运而生。它就像滤茶网一样,可以筛除错误、偏见和未经证实的说法,留下一篇可以被轻松理解和消化的论文。然而,就像滤茶网不一定能滤掉茶叶中的每一片杂叶一样,同行评审也不一定能找出研究论文中的每一个小错误或潜在缺陷。尽管如此,同行评审还是大大降低了论文中出现不准确或道德问题的可能性。

虽然随着时间的推移,所使用的工具或方法可能会过时,但同行评审的根本目标或宗旨却不会改变。随着技术的进步、社会期望的改变和研究实践对新挑战的适应,学术环境将进一步演变。因此,同行评审程序也需要与时俱进。

这种演变要求我们致力于适应、创新并从中吸取经验教训。通过拥抱变化,我们可以确保同行评审在未来几代人的时间里仍然是学术和科学事业中强有力和值得信赖的支柱。无论同行评审以何种形式存在,它都需要继续发挥其维护研究质量和诚信的作用。我们必须有意识地对同行评审进行变革,这样才能产生巨大的影响。

同行评审的复兴——我们应该努力的方向

为了让同行评审更加透明,我们做了很多工作。但我们还需要的是一个具有包容性、多样性和协作性的过程——一个旨在实现其目的的过程。图2展示了重构的同行评审流程。

2重构的同行评审流程

在理想情况下,每个研究人员都能获得平等的同行评审机会。我们将看到同行评审人均匀分布在全球各个国家。也许人工智能评审匹配系统能实现这一点?

此外,西方国家的研究人员发现自己作为研究论文审稿人处于异常高的被需求状态中。IOP Publishing 对全球 1200 多名研究人员进行的一项调查显示,即使是西方国家经验最丰富的审稿人也会因审稿需求量太大而感到疲劳。值得注意的是,在德国、美国和英国,有40%的审稿人认为他们被审稿请求淹没了。与此形成鲜明对比的是,只有 12% 的中国审稿人表示被审稿请求压得喘不过气来,而 28% 的印度审稿人表示他们有更多时间从事同行评审活动。这些数据反映出学术编辑们对审稿人的选择缺乏多样性。我们怎样才能使今后的期刊编委会接受全球化和性别包容的方式?

倘若以上期望能够达成,那么同行评审将不仅能提供平等的机会,还能包容不同的视角,有助于提高论文的质量。

还有一个重要的努力方向是探索学术界如何打破传统的专业知识概念。由此以来,便能达到促进地域和性别包容性的目的,从而扩大人才库,使个人能够参与科学领域的审查并做出贡献。

如何将人类的专业知识与人工智能相结合,提高同行评审过程的效率?在我的设想中,未来的人工智能不是一种威胁或令人担忧的原因,而是一种提高效率的工具。

此外,“先发表,再评审”的同行评审模式如何?它会取代传统形式的同行评审吗?本文提出,如果有足够大的发表后读者群提供反馈,审稿的准确性可能会超过传统的同行评审。这类模式面临的一个显而易见的问题是,如何确保实实在在地推进审稿,而不是任由自愿行为和偶然事件发生。

最后需要思考的是作者和审稿人如何才能团结起来,作为一个团队一起工作,而不是站在对立面?在审稿过程中,审稿人如何与作者进行持续的讨论和对话?作者和审稿人可以采取哪些措施来协调他们的努力,以实现最大限度完善论文的共同目标?

同行评审的复兴不仅仅是一个终点,更是一个不断改进的过程。在这个过程中,会有很多失败的实践。但每一次尝试都会让我们向着使这一过程更加稳健、高效、多样化和协作性更强的目标更近一步。



https://blog.sciencenet.cn/blog-521339-1409719.html

上一篇:建全大型语言模型(LLM)会使学术出版新增收入吗?
下一篇:了解中国对科研诚信和开放获取的看法
收藏 IP: 59.172.176.*| 热度|

1 王涛

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-27 15:52

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部