英论阁Enago官方博客分享 http://blog.sciencenet.cn/u/Enago

博文

学术界该相信AI还是审稿人?NSFC大胆回答:AI 精选

已有 4919 次阅读 2019-11-29 12:36 |个人分类:英论写作发表|系统分类:观点评述| 人工智能、NSFC


匿名且具有各种回避措施的同行审阅是今日大部分学术期刊依赖的评审制度,也就是整个学术界的支柱,随着全球高等教育水平的提升及科研的快速发展,许多顶级期刊及国家级科研单位在手稿及资助的审阅分量日益增加,担任同行审阅的审查人工作分量呈现超饱和状态,成为整个学术界亟待解决的问题。

2016 年美国数字媒体公司Vox Media旗下新闻网站Vox发表了一篇针对英语世界科研人进行的调查,提出同行评审崩坏的观点。那么国内的情形呢?最近陆续有NeurIPS曝出,启用了刚毕业且没有中过NeurIPS论文的本科生担任审稿人,人工智能顶会IJCAI 19遭同样批评,就在刚刚11月初,深度学习领域顶级会议ICLR 2020被爆47%审稿人无相关经验,因为资深学者抵不上新进学者的成长速度,早前,有人担心,这样的现象最终会摧毁整个学术界。

汉语世界的同行审阅到底压力有多大?国家自然科学基金委员会(National Natural Science Foundation of China,简称NSFC)在2018年就评审了22.5万份基金申请,几乎是美国国家科学基金会收到的6倍,而且数字还在成长中。在缺乏足够审稿人的现实下,NSFC被迫进行了创新:今年5月Nature发表文章称,NSFC正在建立一个更加复杂的系统,将利用自然语言处理技术抓取在线科学文献数据库和科学家的个人网页,收集潜在评审人员的出版物或研究项目的详细信息。NSFC负责人李静海表示,还希望这个工具能够减少审稿人评审时的偏见,并且AI是不会被行贿收买的

2017年Elsevier开发了一套名为“Evise”的自动化工具来帮助进行同行评审,Frontiers也在2018年推出下一代通常评审AIRA,试图解决日益增长的稿件提交量,并更有效地保护稿件和同行评审质量。今年4月挪威研究委员会开始使用自然语言处理技术,将大约3000份研究提案分组,并将它们与最佳评审小组进行匹配。Frontiers的质量和道德高级经理Marie Soulière表示AI系统能标记有潜在问题的稿件,告知需要手动检查的内容,使审查更加准确,在抄袭检查方面超越人工检查的成果。

事实上,AI文件审查系统并非学术界的创举,2018年3 月,专攻合同审查领域的 AI 初创公司 LawGeex 与斯坦福大学、杜克大学和南加州大学的法学教授合作,让 20 名律师与经过训练的法律 AI 程序挑战,审查 5 项保密协议,并确定 30 个法律问题,结果律师平均正确率为 85%,AI 则拿下了 94% 的正确率达,而且 AI 只在 26 秒内完成任务,人类律师平均需要 92 分钟。

discount-banner-withoutbackground.png

然而,许多学术界人士对AI参与同行审阅保持怀疑的态度,最大的质疑是AI连自然语言的处理都还无法过关,又如何处理学术期刊审阅呢?其他人则担心AI系统最终会复制人类判断中根深蒂固的偏见,还有学者举出,一个想法可能需要几十年的时间才能被鉴定是“伟大的”或是“无用的”,连人类都无法处理的议题,难道AI真的可以做得好吗?其实质疑AI参与审阅的人大可先作壁上观,因为审稿人握有最终决定权力,AI 只是改善或加速流程,并协助人类处理必须投入大量心力才能抓到的错误,由于AI 已经能够在专门的领域特定功能上达到很好的表现,相信AI与审稿人的合作将是学术界的趋势。


英文润色 学术翻译  SCI全程支持


更多精彩文章,请点击订阅英论阁学术院

或关注英论阁微信公众号EnagoChina

§博客内容皆由英论阁资深学术专家团队撰写提供§

image.png




http://blog.sciencenet.cn/blog-681387-1208057.html

上一篇:错误引文,科研社群中的老鼠屎
下一篇:英论阁科研基金开放申请

4 杨正瓴 汤茂林 李庆祥 高友鹤

该博文允许注册用户评论 请点击登录 评论 (2 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2020-9-21 08:20

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部