在《奥本海默》电影的预告片里，有一段是奥本海默跟曼哈顿工程区司令格罗夫斯（Leslie Richard Groves，1896 — 1970）将军对话。格罗夫斯问，你是说，我们的实验有可能造成世界毁灭？奥本海默回答：这种概率接近于0。然后格罗夫斯说：0才是好的回答（Zero would be nice）。当格罗夫斯明显感到惊慌，要求澄清时，奥本海默回应说：“你仅仅从理论上想要得到什么？”

Technological risks are not the end of the world | Science

这是一个引人入胜的设定。一种前所未有力量的发明；在绝望的、不惜一切代价的竞赛背景下，科学天才的产物。这位普罗米修斯式的创造者是少数几个对技术的世界末日潜力和衡量风险与责任所需的道德清晰度有专家洞察的人之一。

人工智能（AI）目前正经历着一个奥本海默时刻。随着该技术的领导者吸引了资金和关注，他们也试图向我们保证，他们正在负责任地处理技术的风险。一年前，他们中的许多人签署了一句开放信，内容是：“应该将避免人工智能导致的灭绝风险作为全球优先事项，与大流行病和核战争等其他社会规模风险并列。”

对于最近的BBC广播纪录片，我有机会与这一想法的支持者和批评者交谈。摊牌来说，我当时并不相信人工智能会消灭人类，现在我仍然不信。但作为一名社会学家，我想知道为什么这个想法似乎传播得如此之快，以及它是如何影响关于人工智能的辩论的。我从拜访被称为“人工智能教父”的杰弗里·辛顿开始，他是那封公开信的第一签名人。

社会学家发现，当涉及到科学和创新时，距离通常会增添魅力。处于创新边缘的人可能会将技术视为魔法，但近距离观察它的人则理解混乱的现实。对于人工智能来说，即使是最接近技术的人似乎也对它着迷。辛顿向我解释了他对自己研究帮助实现的大型语言模型取得的巨大飞跃感到惊讶：“这非常令人兴奋。看到所有这些工作成果实现是非常好的。但这也很可怕。”他和其他人工智能研究人员一样，无法完全解释机器是如何做到它们所做的，并且对此感到困扰。去年，辛顿辞去了在谷歌的职务，并选择对他所看到的人工智能的存在危险发声。

人工智能模型构成存在威胁的想法会让许多人认为这是科幻小说的内容。但这一直是人工智能研究的一部分。在1951年的一次讲座中，艾伦·图灵说，

“似乎很有可能，一旦机器思维方法开始，用不了多久就会超过我们微弱的力量。机器不会死去，他们将能够相互交谈以磨砺他们的智慧。因此，在某个阶段，我们应该期待机器能够控制。

那些担心失去对人工智能的控制的人往往不清楚我们可能灭绝的手段，但一般的想法是，一旦被智取，人类就会被超级智能人工智能视为需求过剩，并通过意外或设计被处理掉。

Shazeda Ahmed及其同事研究了最近出现的所谓“AI安全”社区，该社区优先考虑“x风险”。他们的大部分财政支持来自硅谷的慈善家，他们计算出，不仅消灭所有现在的人类，而且消灭任何未来人类的可能性都掩盖了其他担忧。这笔钱创造了一个越来越强大的游说者网络，重新引导了哲学家和计算机科学家的注意力，并进一步推动了已经热情的在线论坛。智囊团试图通过要求计算机科学家预测想象中的超人人工智能的到来来加强这一说法。在研究会议上，一些关于存在风险的论文的奖项使其他研究问题的论文相形见绌。由人工智能安全中心资助的一场比赛的总奖金为 500,000 美元。

这不仅仅是关于亿万富翁的爱好或在线模因的传播。它还涉及政策优先事项的确定。人工智能的生存风险已经得到了世界各国政府的信任。在去年在英国举行的人工智能安全峰会前夕，里希·苏纳克（Rishi Sunak）选择强调“人类可能完全失去对人工智能的控制的风险”。

牛津大学（Oxford University）的计算机科学家迈克尔·伍尔德里奇（Michael Wooldridge）告诉我，这种风险观的问题在于，它“把房间里所有的氧气都吸走了”，使得讨论其他更紧迫的问题变得不可能。我的另一位受访者、社会科学家凯特·克劳福德（Kate Crawford）试图打击这种趋势，强调了错误信息、侵犯版权以及在人工智能开发和使用过程中对能源和稀有矿物的不可持续使用等问题。

人工智能公司宁愿我们不关注他们技术的明显缺点。悖论在于，关注世界末日出奇地方便。正如集体智慧项目的迪维亚·西达斯（Divya Siddarth）告诉我的那样，假设的世界末日是“干净的风险”。这是全有或全无的，使创新者不必参与其技术产生的混乱的不平等。

存在风险情景假定相关的政治斗争是人类和他们的机器人创造物之间的斗争，而不是人类和其他人之间的斗争。生存风险回避了谁是赢家和输家的问题。我们被要求相信，目前负责人工智能的专家不仅会识别重要的风险，而且会将我们从这些风险中拯救出来。

政治学家菲利普·泰特洛克（Philip Tetlock）和他的团队询问了一群“超级预测者”——具有预测能力的人——评估了本世纪末之前人工智能对人类灭绝的风险（一些x风险的人称之为“p（doom）”]。他们的计算是0.38%。人工智能专家的平均比例为3%，自封的生存风险专家为4.75%。我不认为确切的百分比很重要（哲学家阿尔弗雷德·诺斯·怀特黑德（Alfred North Whitehead）会称之为错位具体性的谬误），但意见分歧很有趣。解释这种差距的一种方式是，像奥本海默这样的人工智能和x风险专家可能知道一些他们正在努力与我们其他人沟通的东西。另一种解释是，面对极端的不确定性和强烈的社会兴趣，专家们正在以适合他们专业知识的方式想象风险。在与本次辩论中的一些主要声音交谈后，我采取后一种观点。

我们以前来过这里。其他被夸大其词的新技术也伴随着厄运的寓言。2000年，比尔·乔伊（Bill Joy）在《连线》杂志的封面文章中警告说，“未来不需要我们”，纳米技术将不可避免地导致“知识驱动的大规模毁灭”。约翰·西利·布朗（John Seely Brown）和保罗·杜吉德（Paul Duguid）当时的批评是：“乔伊可以清楚地看到主宰。他看不见的——这正是他的视力如此可怕的原因——是任何控制。生存风险更多地告诉我们，它们的提供者对人类制度缺乏信心，而不是我们面临的实际危险。正如迪维亚·西达斯（Divya Siddarth）向我解释的那样，“技术很聪明，人很可怕，没有人会拯救我们”的信念往往会造成灾难。

杰弗里·辛顿（Geoffrey Hinton）希望，在政治两极分化的时代，生存风险提供了一种建立共识的方式。他告诉我，“这是我们应该能够合作的事情，因为我们都有相同的回报”。但这是绝望的忠告。如果一项技术及其问题被想象成剥夺政策制定者权力的方式，那么真正的政策合作就不可能实现。风险在于，如果我们围绕未来的幻想制定法规，我们就会忽视真正的力量所在，并放弃管理我们面前技术的艰苦工作。

在电影的最后，奥本海默在与阿尔伯特·爱因斯坦的对话中意识到，真正的危险不是来自核武器出错，而是来自技术完全按照预期工作。“仅靠理论”并没有让奥本海默为核扩散的真正风险做好准备。随着人工智能的发展，有迹象表明，风险辩论正变得更加扎实。去年的白宫行政命令《关于安全、可靠和可信赖地开发和使用人工智能》小心翼翼地避免提及任何生存风险。政策制定者现在需要抵制人工智能的炒作。未来几年，人工智能将给监管机构带来无数挑战。但值得庆幸的是，这不会是世界末日。