AI最有潜力的领域，是处理重复、耗时且相对明确的任务，例如核对计算和统计方法、检查正文与图表中的数字是否一致、运行论文附带的代码、识别引用或方法学问题，以及评估数据和结论是否相互支持。一些研究显示，AI在这类细节检查中可能比疲惫或时间有限的人类审稿人更加系统，也能够发现人类审稿人遗漏的问题。

AI也被用于评估论文的新颖性。相关工具可以提取论文的主要创新点，检索并总结既往文献，再判断新研究与已有工作的差异。在一项涉及182篇机器学习论文的研究中，AI生成的意见在多数情况下被认为至少不逊于人类评审。但新颖性和重要性的判断高度依赖专业背景与科学直觉，AI可能无法识别真正具有范式转变意义、但与现有文献差异很大的研究。

目前的证据也显示，AI不能简单取代人类审稿人。大型语言模型可能遗漏分散在正文、补充材料和图表中的关键信息，也可能不了解某些学科的惯例，因而提出并不合理的批评或要求额外实验。它们还容易生成冗长、琐碎的意见，把注意力放在次要问题上，却没有突出最重要的科学缺陷。

偏见是另一项重要风险。AI模型可能继承训练数据中的学术等级观念，对来自知名机构或著名研究者的工作给予更积极评价。研究还发现，AI可能对论文进行“迎合性”评分，整体打分高于人类，并可能被作者通过特定提示操纵，这引发了所谓的“论文洗白”问题。与此同时，AI输出通常需要人工核查，因此使用AI并不一定显著节省审稿时间。

一些学术会议已经开始进行有限试点。例如，AAAI会议曾让AI为投稿论文提供额外的评审意见，但最终的评分和接收决定仍由人类完成。参与者认为，AI意见在完整性和改进建议方面有帮助，但在判断技术错误、区分主要问题与次要问题，以及评价论文是否真正具有原创贡献方面，人类专家仍然更可靠。

总体而言，这篇报道提出的最合理方向不是“AI审稿人取代人类”，而是“AI辅助人类审稿”。AI可以承担系统性、重复性的检查，让专家把更多时间用于理解研究背景、判断因果关系、评价创新性和科学意义。未来的关键不只是提高模型能力，还包括明确使用规则、保护未发表论文和数据的机密性、监测偏见，并确保任何影响发表决定的最终判断都保留充分的人类责任。

支持单位：