氢分子医学分享 http://blog.sciencenet.cn/u/孙学军 对氢气生物学效应感兴趣者。可合作研究:sunxjk@hotmail.com 微信 hydrogen_thinker

博文

顶级游戏机器人缺陷让人质疑超人AI

已有 726 次阅读 2024-7-9 10:36 |系统分类:海外观察

关于超人人工智能(AI)的讨论正变得热烈。但研究揭示了最成功的AI系统之一——一个可以击败世界上最优秀的人类玩家的围棋游戏机器人——的弱点,表明这种优越性可能是脆弱的。这项研究提出了一个问题:更通用的AI系统是否会因可能危及其安全性和可靠性的漏洞而受到影响,甚至影响它们声称“超越人类”的地位。

[2406.12843] Can Go AIs be adversarially robust? (arxiv.org)

伊利诺伊大学厄巴纳-香槟分校的计算机科学家张欢说:“这篇论文对如何实现构建人们可以信赖的健壮现实世界AI代理的雄心勃勃的目标留下了一个重要的问号。”麻省理工学院剑桥分校的计算机科学家斯蒂芬·卡斯珀补充说:“它提供了迄今为止一些最有力的证据,证明让高级模型如预期那样稳健地表现是困难的。”

这项分析于61日作为预印本在线发布,尚未经过同行评审,它利用了所谓的对抗性攻击——向AI系统输入旨在促使系统犯错的输入,无论是出于研究还是恶意目的。例如,某些提示可以“越狱”聊天机器人,使它们提供它们被训练要抑制的有害信息。

在围棋中,两名玩家轮流在棋盘上放置黑白棋子,以包围并捕获对方的棋子。2022年,研究人员报告称训练了对抗性AI机器人击败KataGo2,这是最好的开源围棋AI系统,通常轻松击败最优秀的人类(并且无需手操作)。他们的机器人发现了经常击败KataGo的漏洞,尽管这些机器人在其他方面并不出色——业余人类玩家可以击败它们。更重要的是,人类可以理解机器人的伎俩并将其采用来击败KataGo

利用KataGo

这是一个孤立事件,还是这项工作指出了KataGo以及看似拥有超人类能力的其它AI系统的根本弱点?为了调查,由FAR AI(位于加利福尼亚州伯克利的非营利研究机构)首席执行官、2022年论文的共同作者亚当·格利夫领导的研究人员使用对抗性机器人测试了三种防御围棋AI免受此类攻击的方法。

第一种防御是KataGo开发人员在2022年攻击后已经部署的:给KataGo提供涉及攻击的棋盘位置示例,并让其自我对弈以学习如何对抗这些位置。这与它一般学习下围棋的方式相似。但最新论文的作者发现,一个对抗性机器人可以学会击败这个更新版本的KataGo,赢率达到91%

格利夫团队尝试的第二种防御策略是迭代的:针对对抗性机器人训练一个版本的KataGo,然后针对更新后的KataGo训练攻击者等,进行了九轮。但这也没有产生一个不可战胜的KataGo版本。对手不断发现漏洞,最后一个对手有81%的时间击败KataGo

作为第三种防御策略,研究人员从头开始训练了一个新的围棋AI系统。KataGo基于一种称为卷积神经网络(CNN)的计算模型。研究人员怀疑CNN可能过于关注局部细节而忽略了全局模式,因此他们使用一种称为视觉转换器(ViT)的替代神经网络构建了一个围棋选手。但他们的对抗性机器人发现了一种新的攻击方式,使其在78%的时间里击败了ViT系统。

弱小的对手

在所有情况下,尽管能够击败KataGo和其他顶级围棋系统,但这些对抗性机器人被训练去发现其他AI中的隐藏漏洞,而不是成为全面的战略规划者。“这些对手仍然相当弱——我们自己相当容易就击败了它们,”格利夫说。

随着人类能够使用对抗性机器人的策略击败专家级围棋AI系统,将这些系统称为超越人类是否还合理呢?“这确实是一个我确实挣扎过的问题,”格利夫说。“我们开始说‘通常超出人类’。”首次开发KataGo的纽约市计算机科学家戴维·吴说,强大的围棋AI“平均而言超出人类”,但在最糟糕的情况下不是“超出人类”。

格利夫说,结果可能对AI系统有广泛的影响,包括支持像ChatGPT这样的聊天机器人的大型语言模型。“对于AI来说,关键的收获是这些漏洞将难以消除,”格利夫说。“如果我们不能在一个像围棋这样简单的领域解决问题,那么在短期内似乎几乎没有修补类似问题如ChatGPT中的越狱的可能性。”

对于创造全面超越人类能力的AI可能性的意义,张欢表示不太清楚。“虽然这可能表面上暗示人类可能在一段时间内保留重要的认知优势,”他说,“但我认为最关键的收获是我们不完全理解我们今天所构建的AI系统。”



https://blog.sciencenet.cn/blog-41174-1441482.html

上一篇:偏头痛原来是大脑暂时关机导致!
下一篇:美国推动热浪致死研究【科学美国人】
收藏 IP: 117.143.183.*| 热度|

1 郑永军

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-7-24 01:27

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部