|
基于对同行评审报告与后续引用关系的分析,本文作者认为较长且更具建设性和参与性的同行评审报告与更高被引频次的论文紧密相关。
在多个学术领域中,同行评审仍然是激烈讨论的焦点。这种关注反映了科学界内部关于同行评审有效性及其在识别错误和科学不端行为中的作用的分歧。近年来,由于知名国际期刊上发表的文章中出现的显著错误和不端行为增多,这种关注愈发强烈。生成式AI的兴起进一步加剧了人们的担忧,主要原因为其在同行评审中的显性和隐性使用。
尽管如此,科学界一致认为,同行评审在知识生成和传播中起着至关重要的作用。尽管对其检测欺诈和可疑行为的能力存在不确定性,审稿人的评论通常旨在提供建设性的反馈,以提高论文质量,包括对方法的验证和符合公认出版标准的要求。
然而,量化同行评审对科学出版物的附加值和实际影响仍然具有挑战性。通过关注同行评审报告的长度,可得知报告的长度与作者要求的修订和修改程度之间存在直接相关性。因此,较长的报告通常意味着作者更有可能对论文进行修订和改进,从而提高其质量、可见性和引用指标。
我们使用Publons的数据提取了关于57,482篇出版物的审稿人报告长度的信息。为了确保普遍性,我们使用Raking Ratio方法调整了Publons数据库的结构,使其与Web of Science数据库相匹配,采用了一个由1230万篇文章组成的对照组。因此,加权样本忠实地反映了整个数据库在学科分布、合作模式、开放获取实践等方面的结构。
获得最高引用次数的论文,通常伴随着篇幅较长、超过平均长度的审稿报告。
分析显示,报告长度对收到的引用数量有显著影响,超过约一页半(947字)的报告标志着一个关键门槛。值得注意的是,获得最高引用次数的论文往往与超过平均长度的较长审稿报告相关。在此门槛之上,引用次数随着报告长度的增加而呈上升趋势,验证了初始假设,即审稿报告的长度与请求的修订程度之间存在同义关系,从而提高了手稿的“质量”。
这一发现突显了审稿人在提高科学出版物质量方面的作用。他们的贡献远不仅限于小修,还包括拼写或语法修正。审稿人可以被恰当地称为科学研究的“无名英雄”,他们通过提供详细和建设性的报告显著提升了出版物的质量,尽管在缩短的截止日期内工作,他们的贡献却未被充分认可和低估。
研究的另一个显著方面是进行彻底同行评审所需的时间。期刊编辑需要认识到,提供有用的、全面的报告需要审稿人投入大量时间和精力。在极短的时间内请求评估,例如某些出版商仅允许一周时间阅读出版物和撰写报告,这可能会影响评估质量,进而降低同行评审对手稿的附加值。这表明有必要重新考虑对同行评审响应时间速度的重视。
期刊编辑需要认识到,提供有用、全面的报告需要审稿人投入大量时间和精力。
第三个影响因素与科学出版系统的当前饱和状态有关,提交的文章数量不断增加,使期刊、审稿人和整个科学界承受巨大压力。这种工作量过载可能会影响审稿人的专注力,他们必须在短时间内评估大量文章。如果由于时间限制而无法正确评估文章的某些重要方面,可能会导致“错误科学”的传播。在同行评审速度已成为某些出版商吸引作者的“广告”论点的情况下尤其如此。尽管出版后同行评审允许对错误和可疑行为进行部分“修正”,但年度出版物的数量远远超过了活跃社区审查所有出版物的能力。科学界需要一个正常运作的预出版评估系统。
报告全文获取链接:
https://blogs.lse.ac.uk/impactofsocialsciences/2023/10/23/the-strain-on-academic-publishing/
最后,开放同行评审为提高透明度和警觉性提供了有希望的前景。一项最新研究表明,期刊采用的同行评审模式对研究人员和审稿人的行为有直接影响。研究指出,实施开放同行评审协议的期刊鼓励研究人员和审稿人更积极地参与,因为他们的行为直接影响其声誉。此外,通过允许访问审稿报告并促进评估数据的重用,这种方法可以促进更深入和定量地分析同行评审对科学出版物质量和科学进步的影响。因此,开放同行评审为在出版物数量不断增加的情况下重新思考和改进同行评审实践提供了机会。
//
参考文献
https://blogs.lse.ac.uk/impactofsocialsciences/2024/05/16/the-best-peer-review-reports-are-at-least-947-words/
https://blogs.lse.ac.uk/impactofsocialsciences/2023/10/23/the-strain-on-academic-publishing/
翻译整理:Angie
校对:HB
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-11-23 17:57
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社