科学家过分相信AI的风险

科学家们正在拥抱人工智能（AI）——从开发“自动驾驶”实验室，其中机器人和算法协同设计并进行实验，到用机器人替代社会科学实验中的人类参与者。

许多AI系统的弊端已被讨论。例如，生成性AI如ChatGPT倾向于编造事物，或者“产生幻觉”——而且机器学习系统的工作是不透明的。

在本周《自然》杂志发表的一篇观点文章中，社会科学家表示AI系统带来了进一步的风险：研究人员认为这些工具具有超人的能力，尤其是在客观性、生产力和理解复杂概念方面。作者认为，这使研究人员面临忽视工具局限性的危险，例如可能缩小科学焦点或诱使用户认为他们比实际更好地理解了一个概念。

计划使用AI的科学家“必须在AI应用还处于初期阶段时就评估这些风险，因为如果AI工具深深嵌入研究流程中，它们将更难以解决”，耶鲁大学的人类学家Lisa Messeri和普林斯顿大学的认知科学家Molly Crockett共同写道。

这篇经过同行评审的文章是关于如果科学家在没有彻底考虑此类风险的情况下拥抱AI系统可能会失去什么的及时且令人不安的警告。它需要被研究人员以及那些设定研究方向和范围的人所重视，包括资助者和期刊编辑。有办法减轻风险。但这需要整个科学界对AI系统保持清醒的认识。

为了撰写他们的文章，Messeri和Crockett审查了大约100篇同行评审论文、预印本、会议记录和书籍，主要发表于过去五年。由此，他们拼凑出科学家们如何看待AI系统增强人类能力的方式。

在他们称之为AI作为神谕的一个“愿景”中，研究人员将AI工具视为能够不知疲倦地阅读和消化科学论文，因此比人类更全面地调查科学文献。在神谕和另一个称为AI作为仲裁者的愿景中，系统被认为比人类更客观地评估科学发现，因为它们不太可能挑选支持期望假设的文献或在同行评审中表现出偏爱。在第三个愿景AI作为量化者中，AI工具似乎超越了人类思维分析庞大而复杂数据集的限制。在第四个愿景AI作为代理者中，AI工具模拟那些太困难或太复杂而无法获得的数据。

受人类学和认知科学的启发，Messeri和Crockett预测了这些愿景所带来的风险。其中之一是解释深度错觉，在这种错觉中，依赖他人——或者在这种情况下，一个算法——获取知识的人倾向于将该知识误认为是自己的，并认为自己的理解比实际上更深。

另一个风险是研究偏向于AI系统可以测试的事物类型——研究人员称这是探索广度错觉。例如，在社会科学中，AI作为代理者的愿景可能鼓励涉及可以通过AI模拟的人类行为的实验——并阻碍那些不能模拟的行为的实验，例如任何需要身体在场的事情。

还有客观性错觉，在这种错觉中，研究人员将AI系统视为代表了所有可能的观点或没有观点。实际上，这些工具只反映了它们所训练数据中的观点，并且已知会采纳这些数据中发现的偏见。“我们忘记了有些问题我们根本无法使用AI工具回答人类的问题，”Crockett说。鉴于研究中包含多样化观点的好处，客观性错觉尤其令人担忧。

避免陷阱

如果你是计划使用AI的科学家，你可以通过一些策略减少这些危险。一种方法是将你的拟议用途映射到一个愿景上，并考虑你最有可能陷入哪些陷阱。另一种方法是有意识地使用AI。Crockett说，部署AI工具以节省团队已经有专业知识的事情的时间比使用它们提供你们所没有的专业知识要安全得多。

收到已声明使用AI系统的投稿的期刊编辑也需要考虑这些AI愿景带来的风险。审核资助申请的资助者和希望其研究人员使用AI的机构也应该这样做。期刊和资助者还应该关注他们发布和支付的研究的平衡——并确保在面对无数AI可能性时，他们的投资组合在提出的问题、使用的方法以及涵盖的观点方面仍然广泛。

科学界的所有成员必须不将AI的使用视为任何特定任务的不可避免，也不将其视为万能药，而是作为一种选择，其风险和收益必须仔细权衡。几十年来，早在大多数人成为现实之前，社会科学家就已经研究了AI。现在，包括各种研究人员在内的每个人都必须倾听。

Artificial intelligence and illusions of understanding in scientific research | Nature