Nature近期发表了一篇研究，发现研究人员正在转向使用ChatGPT或其他人工智能( AI )工具进行同行评审。¹

使用人工智能工具进行同行评审，除了版权问题，以及“经常产生误导性或捏造的信息”，更重要的是“它们是否真的具有判断期刊文章可靠性、创新性等质量的能力？”

Mike Thelwall（科学计量学最高奖普莱斯奖得主）最近在JDIS发表论文Can ChatGPT evaluate research quality? 以自己的51篇学术论文为样本，对Chat GPT判断文章质量的能力进行了案例研究。

他根据REF2021（英国研究卓越框架2021）社会科学和人文学科领域的评分指南（Main Panel D）训练了ChatGPT 4 REF D（简称ChatGPT）。由ChatGPT对样本文章的质量进行评分，再与他自己对文章的评分进行对照，以此测试ChatGPT在评估期刊文章质量方面的能力。

研究发现ChatGPT在评分方面的能力较弱，且有可能是根据论文自述的文字进行评分，具有误导性。因此现阶段，研究人员、编辑、审稿人、文献综述作者和评估者应避免使用ChatGPT 4对文章进行质量判断。

未来，人工智能工具将越来越多地用在学术研究和出版领域，我们需要明确这类工具究竟是否拥有学术价值评判的能力，并且在得出结论之前要确保工具不被滥用。毕竟，同行评审作为现代科研过程的一个重要组成部分，在促进科学进步、坚守科研诚信方面具有举足轻重的作用。

阅读全文

Can ChatGPT evaluate research quality?

ChatGPT能评价研究质量吗？

Mike Thelwall

DOI: 10.2478/jdis-2024-0013

全文链接

1. Is ChatGPT corrupting peer review? Telltale words hint at AI use，Nature 628, 483-484 (2024)，doi: https://doi.org/10.1038/d41586-024-01051-2