Charlesworth 官方博客分享 http://blog.sciencenet.cn/u/Charlesworth

博文

AI在同行评审中的应用:优势与风险

已有 2067 次阅读 2023-10-31 09:34 |个人分类:文章发表|系统分类:科研笔记

自17世纪以来,同行评审已成为评估科学研究质量和有效性的“黄金标准”。如今,科技发展一日千里,学术出版流程也在不断与时俱进。


学术出版商在收到论文投稿后有许多常规工作需要处理。近年来,人工智能(AI)技术突飞猛进,有望实现“半自动同行评审”(Semi-Automated Peer Review)。这不仅有助于节省大量时间,还可以提高学术产出效率。AI工具拥有一系列明显优势,前景可观,但在实际应用中也存在一些问题。



在学术出版流程中使用AI的优势


相较于人类,AI工具能够在更短时间内处理大量论文稿件,有助于简化和加快出版流程,出版商和研究人员均可从中受益。AI工具可以迅速而准确地将稿件筛选、分类并分配给合适的专家进行评审,缩短审稿流程


由AI帮助完成常规工作,审稿人可以更多地专注于审稿相关的更重要的方面。如此一来,可以使审稿人评估论文更加细致周到,提升整个审稿过程的质量和严谨性。


同行评审过程也必须经过审查,避免助长学术界固有偏见,例如与性别、语言或作者所在单位有关的偏见。特别是当审稿人由于时间紧迫,无法充分考量其判断时,这些偏见可能会变得尤其明显。将AI工具应用于同行评审过程,不仅可以节省审稿人的时间,还有助于识别和处理相关偏见,使评估结果更加公平公正



AI在当前同行评审中的应用


AI工具可以简化学术出版流程,提升论文质量,有助于提高学术研究透明度和可重复性。


1、高效筛选论文稿件:AI可以快速筛选海量投稿论文,根据主题、关键词和内容相关性对其进行分类。这有助于高效处理稿件并将其分配给合适的编辑和审稿人,相较于人工处理缩短不少时间。


2、审稿人匹配:AI算法擅长分析论文稿件内容,并将其与相关专家的专业知识、研究方向和已发表论文进行匹配,以此确定可选审稿人。这个智能匹配过程可以最大限度减少寻找合适审稿人所需的工作量。


3、语言和排版检查:AI工具可以自动检查论文稿件的写作水平、语法、结构和排版等问题。自动化质量管控确保投稿论文符合学术出版标准,减轻人工编辑和审稿人的工作负担。


4、智能查重:AI系统可以扫描论文中的抄袭内容,识别潜在学术不端行为,有助于维护科研诚信。


5、方法评估和数据检查:AI系统可以自动评估学术论文中使用的研究方法,便于审稿人评估研究的质量和严谨性。AI工具还可以根据标准报告准则检查论文,并检测数据错误,确保论文数据分析的准确性。


6、透明度和可重复性分析:AI工具可以分析论文的透明度和可重复性,例如数据获取声明和软件版本文档,促进科研诚信建设。


7、引文验证:AI工具自动检查并突出显示引文与参考文献部分的差异,确保论文引用文献的准确性及一致性。



AI应用的潜在风险


在学术出版流程及同行评审过程中融入AI工具有诸多方面的优势,同时也引发了一些担忧,需要我们仔细考量:


1、偏见和公允:如果用于训练AI系统的数据存在偏见,AI系统有可能会延续相关偏见,导致学术出版过程中的偏见长期存在。


2、缺乏人类判断力:相较于人类,AI无法做出细微判断、积累经验和理解语境。这可能会导致在评估研究质量时出现错误或误判。


3、伦理和隐私问题:在同行评审中应用AI可能会引发伦理问题,尤其是在数据隐私和授权等方面,有可能导致个人信息被滥用。


4、数据安全:美国国立卫生研究院(NIH)制定了一项政策,禁止“学术期刊审稿人利用自然语言处理器、大型语言模型或其他生成式AI技术评估资助申请项目和研发合同提案有关论文并出具审稿意见。”其原因在于对保密性的担忧,因为他们认为,AI工具“无法确保数据在将来被发送或保存至何处、被何人查看或使用。”


5、透明度和明确责任:AI算法的内在运作机制不明确,难以阐释AI决策的过程和依据,这会招致质疑,例如责任是否明确、是否公平公正。


6、过度依赖技术:存在过度依赖AI工具的风险,可能会弱化审稿人及编辑的批判性思维和专业知识。



acc05969f586edee2ebf6ce9549e6b0.png

论文润色 | 英国编辑团队介绍



https://blog.sciencenet.cn/blog-3201402-1407853.html

上一篇:想发OA?先来了解一下这几种OA出版模式吧
下一篇:详解开放同行评审的利与弊
收藏 IP: 117.114.9.*| 热度|

2 李升伟 许培扬

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-11-25 14:49

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部