||
科学论文正在被重新组织为可被检索、调用、复现和连接的研究对象。当前的大语言模型可以通读全文,提取方法、数据与结论,辅助构建知识图谱,并回答跨文献问题。在代码、数据和工作流齐备的条件下,自动化代理还可以尝试重写并执行分析代码,对原文结果进行复现[1]。这种变化的价值不止于“读得更快”,更在于把原本分散在论文正文、补充材料、代码和数据集中的知识,组织成可追踪、可复现、可组合的形式。
但机器能够读取论文,不等于能够独立判断论文。“机器可读”至少涉及版本标识、文本对象、结构化字段、数据许可、代码环境、引用关系和质量标注等条件;这些条件目前更多是研究者提出的框架性要求,尚未形成统一标准。若仅把PDF转换为知识图谱,原始证据链往往仍不完整。一项探索性研究以美国国家阿尔茨海默病协调中心(NACC)的“Quick Access”数据集为基础,选取5篇使用该数据的高被引论文,由GPT-4o代理仅依据摘要、方法段和数据字典编写并执行代码。研究从这5篇论文的摘要中共提取35项关键发现,代理平均近似复现了其中的53.2%;数值型和区间型结果常与原研究不一致,统计方法也未能保持一致[1]。该研究样本仅5篇,全部来自同一注册数据库,且只使用一种模型,结论不宜外推。它至少说明,当前自动化系统更接近一种可扩展的初筛工具,尚不足以充当替代同行评议的“可复现性裁判”。
论文的功能边界也相应变化,但这种变化在不同学科和期刊之间并不均衡。在部分领域,作者交付的不再只是成稿,还包括方法说明、软件版本、参数设置、数据治理方案与AI使用说明;部分期刊的检查对象,也从行文是否规范扩展到代码能否执行、图表能否复现、证据是否支持结论。这种扩展并不意味着所有材料都应无差别公开。涉及隐私、商业机密或公共安全的数据,可以通过受控访问、可信执行环境或保留复现包等方式处理。开放数据是一种手段,可验证性才是目标。
AI适合承担语言润色、摘要生成、格式检查、候选审稿人筛选和统计异常筛查,但不宜独立决定研究的原创性、可靠性或是否录用。Suleiman等分析了某高影响力医学期刊截至2023年7月发表的20篇原始研究,这些论文在初审阶段共获得至少3位审稿人的720条意见,再由三名具有医学背景的研究者独立判断GPT-4生成评论与人工意见的一致程度。结果显示,“完全一致”占6.7%,“部分一致”占12.8%,“没有对应意见”占78.5%,另有2.1%相互矛盾;其中方法部分的完全一致比例最低,为3.6%[2]。需要说明的是,“没有对应意见”指AI评论未涉及人工审稿人提出的问题,并不等同于评论错误或质量低下;该研究也只考察了一种模型、一种提示方式和医学论文样本,不能外推为所有学科或所有AI审稿工具的能力上限。但它足以说明,“输出像审稿意见”与“意见具备可辩护的科学判断”是两件事。
科研诚信的判断重点,也应从“是否使用AI”转向“研究过程是否可说明、可负责”。COPE明确指出,AI不能列为作者,因为它无法为研究承担责任,也无法处理利益冲突、版权和许可问题;作者如在写作、图像制作、数据收集或分析中使用AI,应在方法或相应部分说明工具名称与用途,并对全文内容负责[3]。Nature提出的原则与此相近:作者身份意味着能够承担研究责任,AI不具备这种能力,相关使用应当记录,以保持研究方法和证据链的透明[4]。这些文件规范的是责任归属与披露义务,并不构成对AI技术性能的验证。
AI筛查能够提高覆盖面,却不能独立完成定性裁决。据报道,Wiley Research Exchange集成了30余项质量与诚信检查,覆盖疑似AI生成文本、图像异常、论文工厂、问题引用、作者身份和审稿过程风险,并在投稿初筛、修回、录用及生产前设置多轮复核[5]。该信息来自会议报道对平台功能的转述,并非经同行评议的有效性评估,更适合作为功能说明而非效果证据。即便功能描述准确,“命中”也只是一种风险信号,不是学术不端的认定。提高检测灵敏度通常会增加假“阳性”,把部分合格研究标记为待查;最终仍需由具备相应专业背景的编辑或诚信人员判断证据强弱、领域语境与潜在影响。
因此,更可靠的出版流程不是用算法替代人,而是让责任分工更清楚:AI负责发现信号、整理材料、提供候选和记录过程;人类负责提出研究问题、判断证据、承担学术责任。每条由AI辅助生成的结论都应能够回溯到原文、数据或日志,每次人工复核都应说明判断所依据的材料。这样既能利用规模优势,也能减少把格式异常、写作风格差异或系统误报当作科研失信的情况。
论文不会因为AI而失去意义。它正从供人阅读的静态文本,扩展为连接证据、方法与责任链的科研接口。AI可以加快文献处理,也能在有限条件下辅助复现尝试,却不能替科学共同体回答几个更根本的问题:这项发现是否真实,证据是否充分,结论能否在原始条件下复现,署名者是否愿意为此负责。守住这些边界,论文的功能才可能从“可读”走向“可信、可复现、可问责”。
注:上述内容如有错误和不当之处,敬请批评指正。
参考文献
[1] Dobbins, N. J., Xiong, C., Lan, K., & Yetisgen, M. (2025). Large language model-based agents for automated research reproducibility: An exploratory study in Alzheimer's disease (arXiv:2505.23852). arXiv. https://arxiv.org/abs/2505.23852
[2] Suleiman, A., von Wedel, D., Munoz-Acuna, R., Redaelli, S., Santarisi, A., Seibold, E.-L., Ratajczak, N., Kato, S., Said, N., Sundar, E., & Schaefer, M. S. (2024). Assessing ChatGPT's ability to emulate human reviewers in scientific research: A descriptive and qualitative approach. Computer Methods and Programs in Biomedicine, 254, 108313. https://doi.org/10.1016/j.cmpb.2024.108313
[3] COPE Council. (2024). COPE position—Authorship and AI—English. Committee on Publication Ethics. https://doi.org/10.24318/cCVRZBms
[4] Nature. (2023). Tools such as ChatGPT threaten transparent science; here are our ground rules for their use. Nature, 613, 612. https://www.nature.com/articles/d41586-023-00191-1
[5] 解螺旋. (2026-08-15). 第二届解螺旋全球医学出版峰会在京举行. 微信公众号.
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2026-11-2 00:01
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社