关于超人人工智能（AI）的讨论正变得热烈。但研究揭示了最成功的AI系统之一——一个可以击败世界上最优秀的人类玩家的围棋游戏机器人——的弱点，表明这种优越性可能是脆弱的。这项研究提出了一个问题：更通用的AI系统是否会因可能危及其安全性和可靠性的漏洞而受到影响，甚至影响它们声称“超越人类”的地位。

[2406.12843] Can Go AIs be adversarially robust? (arxiv.org)

伊利诺伊大学厄巴纳-香槟分校的计算机科学家张欢说：“这篇论文对如何实现构建人们可以信赖的健壮现实世界AI代理的雄心勃勃的目标留下了一个重要的问号。”麻省理工学院剑桥分校的计算机科学家斯蒂芬·卡斯珀补充说：“它提供了迄今为止一些最有力的证据，证明让高级模型如预期那样稳健地表现是困难的。”

这项分析于6月1日作为预印本在线发布，尚未经过同行评审，它利用了所谓的对抗性攻击——向AI系统输入旨在促使系统犯错的输入，无论是出于研究还是恶意目的。例如，某些提示可以“越狱”聊天机器人，使它们提供它们被训练要抑制的有害信息。

在围棋中，两名玩家轮流在棋盘上放置黑白棋子，以包围并捕获对方的棋子。2022年，研究人员报告称训练了对抗性AI机器人击败KataGo2，这是最好的开源围棋AI系统，通常轻松击败最优秀的人类（并且无需手操作）。他们的机器人发现了经常击败KataGo的漏洞，尽管这些机器人在其他方面并不出色——业余人类玩家可以击败它们。更重要的是，人类可以理解机器人的伎俩并将其采用来击败KataGo。

利用KataGo

这是一个孤立事件，还是这项工作指出了KataGo以及看似拥有超人类能力的其它AI系统的根本弱点？为了调查，由FAR AI（位于加利福尼亚州伯克利的非营利研究机构）首席执行官、2022年论文的共同作者亚当·格利夫领导的研究人员使用对抗性机器人测试了三种防御围棋AI免受此类攻击的方法。

第一种防御是KataGo开发人员在2022年攻击后已经部署的：给KataGo提供涉及攻击的棋盘位置示例，并让其自我对弈以学习如何对抗这些位置。这与它一般学习下围棋的方式相似。但最新论文的作者发现，一个对抗性机器人可以学会击败这个更新版本的KataGo，赢率达到91%。

格利夫团队尝试的第二种防御策略是迭代的：针对对抗性机器人训练一个版本的KataGo，然后针对更新后的KataGo训练攻击者等，进行了九轮。但这也没有产生一个不可战胜的KataGo版本。对手不断发现漏洞，最后一个对手有81%的时间击败KataGo。

作为第三种防御策略，研究人员从头开始训练了一个新的围棋AI系统。KataGo基于一种称为卷积神经网络（CNN）的计算模型。研究人员怀疑CNN可能过于关注局部细节而忽略了全局模式，因此他们使用一种称为视觉转换器（ViT）的替代神经网络构建了一个围棋选手。但他们的对抗性机器人发现了一种新的攻击方式，使其在78%的时间里击败了ViT系统。

弱小的对手

在所有情况下，尽管能够击败KataGo和其他顶级围棋系统，但这些对抗性机器人被训练去发现其他AI中的隐藏漏洞，而不是成为全面的战略规划者。“这些对手仍然相当弱——我们自己相当容易就击败了它们，”格利夫说。

随着人类能够使用对抗性机器人的策略击败专家级围棋AI系统，将这些系统称为超越人类是否还合理呢？“这确实是一个我确实挣扎过的问题，”格利夫说。“我们开始说‘通常超出人类’。”首次开发KataGo的纽约市计算机科学家戴维·吴说，强大的围棋AI“平均而言超出人类”，但在最糟糕的情况下不是“超出人类”。

格利夫说，结果可能对AI系统有广泛的影响，包括支持像ChatGPT这样的聊天机器人的大型语言模型。“对于AI来说，关键的收获是这些漏洞将难以消除，”格利夫说。“如果我们不能在一个像围棋这样简单的领域解决问题，那么在短期内似乎几乎没有修补类似问题如ChatGPT中的越狱的可能性。”

对于创造全面超越人类能力的AI可能性的意义，张欢表示不太清楚。“虽然这可能表面上暗示人类可能在一段时间内保留重要的认知优势，”他说，“但我认为最关键的收获是我们不完全理解我们今天所构建的AI系统。”