在4月初的一次会议上，匹兹堡大学的神经科学家格雷格·西格尔（Greg Siegle）听到了一些他认为“非常可怕”的事情。另一位科学家滔滔不绝地说，2022 年12月发布的人工智能 （AI） 工具 ChatGPT 已迅速成为起草对他作为美国国立卫生研究院 （NIH） 同行评审员必须涉足的厚厚研究提案评议是不可或缺的。其他听众点了点头，说他们认为ChatGPT可以节省大量时间：起草评审意见，可能只需要将提案的某些部分（例如摘要，目标和研究策略）粘贴到AI中，并要求其评估信息。

Science funding agencies say no to using AI for peer review | Science | AAAS

从2023年7月23日开始，NIH禁止使用像ChatGPT这样的在线生成人工智能工具“来分析和制定同行评审批评”，部分原因可能是西格尔等的一封信。4月的学术会议结束后，西格尔等写信警告NIH，允许ChatGPT撰写资助审查是“一个危险的先例”。在类似举措中，澳大利亚研究委员会（ARC）在得知显然由ChatGPT撰写的评论后，于7月7日禁止生成AI进行同行评审。美国国家科学基金会一位发言人说，该基金会已经成立了一个内部工作组，研究是否可以适当使用AI作为价值审查过程的一部分，如果是的话，可能需要设置什么“护栏”。欧洲研究委员会希望讨论AI在撰写和评估提案方面的应用。

ChatGPT和其他大型语言模型在庞大的信息数据库上进行训练，以生成似乎是由人类编写的文本。这些机器人已经促使关注道德和事实准确性的科学出版商限制它们用于撰写论文。一些出版商和期刊，包括《科学》，也禁止审稿人使用它们。

对于资助机构来说，保密是首要关注的问题。当基金标书的一部分被输入到在线人工智能工具中时，信息就会成为其训练数据的一部分。NIH担心“数据将来在这种系统内发送，保存，查看或使用，”其通知指出。

批评者还担心，人工智能撰写的评论容易出错，众所周知，GPT是会捏造信息的，且对非主流观点有偏见，因为它们从现有信息中提取，并且缺乏推动科学创新的创造力。“随着这个过程的运行，NIH原创性价值观会丢失和同质化，甚至可能构成抄袭，”NIH官员在博客上写道。对于期刊来说，审稿人的责任也是一个问题。“不能保证[审稿人]理解或同意他们提供的内容”，IOP Publishing同行评审负责人Kim Eggleton说。

在澳大利亚，ARC禁止资助审查者使用生成性人工智能工具1周后，由一名研究人员运营的匿名Twitter帐户ARC_Tracker报告说，一些科学家收到了似乎是由ChatGPT撰写的评论。ARC_Tracker说，有些人在将部分提案粘贴到ChatGPT中时得到了类似的评估。一条评论甚至包括一个赠品，即“重新生成响应”一词，在 ChatGPT 响应的末尾显示为提示。（ScienceInsider证实了ARC_Tracker的身份，但同意匿名，因此这位研究人员和其他人可以使用该帐户自由批评ARC和政府政策，而不必担心会受到影响。

科学家可能认为ChatGPT产生了有意义的反馈，但它本质上是反刍了这个提议，ARC_Tracker的所有者说。诚然，一些人工审稿人也会这样做。但是，“适当的审查 - 应该提供洞察力，批评，知情意见和专家评估 - 与提案中已有内容的简单摘要之间存在很大差异，”研究人员在给ScienceInsider的电子邮件中写道。

然而，一些研究人员表示，人工智能提供了改善同行评审过程的机会。NIH禁令是“技术恐惧症从积极变革的机会中撤退”，爱荷华大学的精神病遗传学家Jake Michaelson说。Michaelson说，审稿人可以使用这些工具来检查他们的批评，看看他们是否忽略了提案中的任何内容，帮助他们评估自己领域以外的工作，并平滑他们没有意识到的语言听起来“琐碎甚至刻薄”。“最终，我认为人工智能成为同行评审过程的第一线，人类专家补充了一线人工智能评审。...我宁愿让 ChatGPT-4 审查我自己的提案，而不是懒惰的人工审查者，“他补充道。

景观可能会随着时间的推移而改变。几位科学家在NIH的博客上指出，一些生成式AI模型可以离线工作，并且不违反机密性 - 至少消除了这种担忧。NIH回应说，它希望为“快速发展的领域”提供“额外的指导”。

西北大学（Northwestern University）伦理学博士后研究员穆罕默德·侯赛尼（Mohammad Hosseini）在手稿审查中撰写了有关人工智能的文章，他同意NIH的禁令是合理的，目前：“鉴于NIH处理的问题和项目的敏感性，以及人工智能工具的新颖性，采取谨慎和慎重的方法绝对是必要的。