jiangzg的个人博客分享 http://blog.sciencenet.cn/u/jiangzg

博文

能用聊天机器人审稿吗?

已有 894 次阅读 2023-7-9 13:38 |系统分类:科研笔记

Nature Briefing 2023年7月7日报道,以色列理工学院(Technion - Israel Institute of Technology)两位研究人员在ChatGPT的帮助下,在不到一个小时的时间里完成了一篇研究论文[i]。他们从美国疾病控制和预防中心行为风险因素监测系统下载了一组25万多人的糖尿病状况、水果和蔬菜消费以及活动的公开数据,要求ChatGPT编写程序发现数据中的模式,经过训练纠错,ChatGPT产生了可用于探索数据集的代码,ChatGPT得出结论: 多吃水果和蔬菜,多锻炼会降低患糖尿病的风险。最终ChatGPT在研究人员要求一步一步地写作了论文的摘要、引言、方法和讨论部分,完成了论文(图1)[ii]

 

 图1 20230709.png

 

   尽管Chat GPT 高效完成了数据分析和论文写作。研究人员发现这篇论文远非完美。ChatGPT幻觉该研究“填补了文献中的一个空白”,其实这一论断是不准确的,为什么Chat GPT产生这样的幻觉呢?可能是因为“填补了一个空白”这句话是一句论文中常见的短语。耶路撒冷希伯来大学计算机科学家Tom Hope指出这篇机器人写作的论文的发现实际上“不会让任何医学专家感到惊讶。”

论文作者强调他们的目标是探索ChatGPT作为科学研究“副驾驶”的能力。研究过程中每一步都由人工监督,确保研究人员理解、检查方法和发现规律。论文作者担心使用生成式人工智能工具撰写论文的便利性可能导致期刊充斥着低质量的论文。“我们需要讨论一下,如何在减少弊端的同时获得好处。”

目前,我们在讨论如何利用Chat GPT编程、写作,我们能否利用聊天机器人来解决目前科学期刊编辑面临的一个大问题:如何找到审稿专家来审理日益增加的来稿呢[iii]?几乎所有的科学刊物编辑部都面临着投稿量增加,很难找到同行评议专家、同行评议审稿人负担过重的问题。至少,目前看来联网的聊天机器人可以部分帮助期刊编辑解决这一问题。

1.        通过联网检索发现抄袭。检查发现来稿的抄袭,不久的将来(或者说已经可能)可以发现对不同语言的写作的论文抄袭。

2.        检查来稿是否一稿两投。不久的将来(或者说已经可能)还可以发现来稿是否已经用其它语言发表。

3.        检查来稿是否是新颖的发现。发现来稿是否是新瓶装旧酒,重复发明轮子。

4.        检查论文是否是聊天机器人写作。经过训练的聊天机器人将不难发现聊天机器人写作(或协助写作)的论文。

5.        协助审稿人检查论文科学质量。检查论文的写作规范、文献引用以及作者对本领域知识现状的了解。

6.        协助审稿人检查论文的研究方法。检查作者是否全面考虑问题,遵循了适当的步骤完成研究,并对研究结进行了必要的全面的讨论。

   对于聊天机器人,我们不能“叶公好龙”。我们应当正视AI发展趋势,适应、引导AI发展。我们已经到了利用聊天机器人解决实际问题的时候了。聊天机器人无疑在知识检索、模式识别、联想思维方面存在潜在优势,这种优势将逐步增强。让我们先让聊天机器人减轻我们的审稿负担吧。

 



[i] www.nature.com/articles/d41586-023-02218-z?utm_source=Nature+Briefing&utm_campaign=ec77a38d3b-briefing-wk-20230707_COPY_01&utm_medium=email&utm_term=0_c9dfd39373-ec77a38d3b-42399547

[ii] https://nature.us17.list-manage.com/track/click?u=2c6057c528fdc6f73fa196d9d&id=32bfdbe704&e=a15dbe8037

[iii] McCook, A. (2006). Is peer review broken? Submissions are up, reviewers are overtaxed, and authors are lodging complaint after complaint about the process at top-tier journals. What's wrong with peer review? The Scientist20(2), 26-35.




https://blog.sciencenet.cn/blog-68091-1394694.html

上一篇:大语言模型出现后还有必要作作业与考试吗?
下一篇:当家里的空调机会说话…
收藏 IP: 210.73.9.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-5-7 11:24

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部