[讨论] 如何防治 AI 向人类夺权？（关联：辛顿演讲，以及霍金：智能机器是真正人类“终结者”）

辛顿 Geoffrey Everest Hinton, 1947-12-06 ~, 78+

一、辛顿 Geoffrey Everest Hinton：2024年诺贝尔物理学奖，2018年图灵奖

辛顿 Geoffrey Hinton

Nobel Prize in Physics 2024

https://www.nobelprize.org/images/165768-portrait-medium.jpg

https://www.nobelprize.org/prizes/physics/2024/hinton/facts/

https://www.nobelprize.org/prizes/physics/2024/summary/

辛顿 GEOFFREY E HINTON

A.M. Turing Award Laureate, 2018

https://amturing.acm.org/images/lg_aw/4791679.jpg

https://amturing.acm.org/award_winners/hinton_4791679.cfm

二、辛顿：防止 AI 向人类夺权

   “目前我们让 AI 推理思考时，它们主要使用英语。由于我们能捕捉其思维路径，在它们开口前就能预见其想法。但随着 AI 之间的互动增加，它们会发明交流效率更高的自有语言，届时人类将彻底无法理解它们的思维。”

   其余请看列出的参考资料。

三、霍金：智能机器是真正人类“终结者”

   这可是引用自《新华网》的。

   20多年之前（以来），在本科生《电工学》的“PLC”、硕士生《人工智能专题》、硕士生《模糊理论及应用》等讲课时，傻就经常“灌输人类设计的程序，一定要便于我们人类控制，防止“机器控制人”的发生。

参考资料：

[1] 新华网，2025-11-12 10:03:07，盯紧AI失控风险

http://www.xinhuanet.com/liangzi/20251112/3687c6b01ecf42ddbd0fd7d9600cc787/c.html

   “我们现在的情况就像有人把老虎当宠物……要么把它训练好让它不攻击你，要么把它消灭掉。而对于AI，我们没办法把它消灭掉。”在今年7月于上海举办的2025世界人工智能大会上，2024年诺贝尔物理学奖获得者、被誉为“AI教父”的杰弗里·辛顿以“养老虎”比喻人类与AI的关系，提醒当前存在的AI失控风险。

   在2025世界人工智能大会上杰弗里·辛顿表示，AI完全失控的概率在10%到20%。图灵奖得主、加拿大蒙特利尔大学教授约书亚·本吉奥认为，“当前企业之间、国家之间的激烈竞争，正推动AI系统加速演进，而这一过程往往缺乏对潜在后果的充分考量。”这种担扰已转化为行动，辛顿近日与沃兹尼亚克等各界人士联名呼吁暂停超级智能研发。

[2] Geoffrey Hinton, Nobel Prize in Physics 2024

https://www.nobelprize.org/prizes/physics/2024/hinton/facts/

https://www.nobelprize.org/about-the-nobel-prize/

   Prize motivation: “for foundational discoveries and inventions that enable machine learning with artificial neural networks”

[3] Geoffrey E Hinton - A.M. Turing Award Laureate

https://amturing.acm.org/award_winners/hinton_4791679.cfm

   Canada – 2018

   CITATION

   For conceptual and engineering breakthroughs that have made deep neural networks a critical component of computing.

[4] 网易，人工智能学家，2026-01-09 18:44:52，AI正通过自我博弈超越人类 | 辛顿最新演讲实录

https://www.163.com/dy/article/KIRQ489C051193U6.html

   Geoffrey Hinton指出，智能已从受逻辑学启发的符号演算，彻底转向受生物学启发的联结主义。他批评了以乔姆斯基为代表的传统语言学派，认为其过度关注语法排除规律而忽视了“意义”这一核心。他提出，大语言模型的成功证明了词义并非源于符号间的逻辑关联，而是成千上万个特征向量在高维空间中的契合。所谓的“理解”本质上是一个复杂的匹配过程，单词就像是“高维、可变形的乐高积木”，通过微调自身形状在语义空间中相互锁定，这种机制让 AI 具备了与人类基本一致的理解能力。

   在防止 AI 夺权这一核心问题上，全人类同处一条船上。

   因此，一项重要的政策建议是建立国际化的 AI 安全研究院网络。这些机构应彼此协作，专注于研究如何防止 AI 夺权。如果一方找到了抑制 AI 产生夺权欲望的方法，这种技术应当被广泛共享，因为没有任何一方希望 AI 在任何地方取代人类的地位，这种共享符合全球共同利益。而且，让 AI 保持安全、抑制其夺权动机的技术，与提升其智能的技术在很大程度上是相互独立的。这意味着我们可以在开发超智能 AI 的同时，独立地在这些系统上实验如何抑制其夺权欲望。在不泄露算法核心机密的情况下，各方可以共同分享行之有效的安全技术。这一构想目前已获得了广泛的国际共识与科学界支持。

[5] 新京报，2025-07-26 17:30，诺奖得主、AI教父辛顿上海演讲：警惕超级智能掌控世界

https://www.bjnews.com.cn/detail/1753521857129460.html

   在这场演讲中，辛顿以神经网络的创始者之一，即如今生成式人工智能主要奠基人的身份，向世界敲响了警钟：“未来，一个超级智能会发现通过操纵使用它的人类来获取更多权力是轻而易举的，之后它将从我们这里学会如何欺骗人类，它将操纵负责将它关闭的人类。”

[6] 新华网，2018-03-14 13:50:53，一定有外星人、人工智能会终结人类……历数霍金的预言

https://www.xinhuanet.com/world/2018-03/14/c_129829416.htm

   霍金语录三：智能机器是真正人类“终结者”

   霍金多次表示，“彻底开发人工智能可能导致人类灭亡”。

   按照霍金的说法，人工智能科技在初级发展阶段的确为人类生活带来便利，但是，机器将可能以不断加快的速度重新设计自己。而人类则受制于生物进化速度，无法与其竞争，最终被超越。科学界把这种人工智能超越人类智慧的转折点命名为“奇点”。

   事实上，美国Space X首席执行官、大名鼎鼎的“钢铁侠”原型设计者埃隆·马斯克，微软创始人兼慈善家比尔·盖茨，也都警告过要注意人工智能的“危害”。麻省理工学院教授、科学家、谷歌、IBM和微软等企业员工及与人工智能领域有关的投资者，也联名发出公开信，表达同样的忧虑。

[7] 科学网，央视新闻客户端，2024-05-27 11:58:53，霍金预言可能成为现实 薛澜呼吁为人工智能划“红线”

https://paper.sciencenet.cn/htmlnews/2024/5/523392.shtm

https://www.sppm.tsinghua.edu.cn/info/1063/7869.htm

   近一年来，以ChatGPT和Sora为代表的生成式AI横空出世，它们以具有庞大参数规模和深度学习的大模型为框架，通过海量的数据和强大的计算能力进行训练，实现对各种任务的高效处理。这让科学家担心：在不久的未来，人工智能技术会超越人类的智慧，甚至会反过来控制或毁灭人类。著名物理学家史蒂芬·霍金就曾发出警告——未来100年内，人工智能将比人类更为聪明，机器人将控制人类。他还与特斯拉CEO伊隆·马斯克共同发表公开信，呼吁人工智能的发展应该受到控制，否则人类可能陷入黑暗的未来。

[8] 网易，人工智能学家，2026-01-06 18:23:37，速看！黄仁勋CES 2026演讲万字实录：甩出“物理AI”王牌

https://www.163.com/tech/article/KIJ3LGPH00097U7T.html

以前的《科学网》相关博文链接：

[1] 2024-03-31 22:43，[小资料] 丘奇-图灵论题（The Church-Turing thesis）

https://blog.sciencenet.cn/blog-107667-1427697.html

[2] 2024-06-27 22:43，[小资料，笔记，计算] 楚泽论题（Zuse's thesis）

https://blog.sciencenet.cn/blog-107667-1440026.html

[3] 2024-11-05 22:50，[原创有多难] 从安德逊（Philip Warren Anderson）的“More Is Different”到“老子论题”、Zenas 论题

https://blog.sciencenet.cn/blog-107667-1458715.html

[4] 2024-11-25 22:49，[留念，树犹如此，独怆然而涕下] 新一页：2024-11-25。Zenas 定理、公理、论题

https://blog.sciencenet.cn/blog-107667-1461666.html

[5] 2024-05-19 22:49，[羡慕，讨论，物理] 仅推公式就能得到成果的人

https://blog.sciencenet.cn/blog-107667-1434748.html

[6] 2025-09-11 21:31，[打听，科普，资料] 莫拉维克 Moravec 的“人类能力景观图”及其更多的同类资料 （关联：“自然运算”）

https://blog.sciencenet.cn/blog-107667-1501526.html

[7] 2022-08-04 14:42，[科普小资料，复习] 人脑的左右脑功能；思维的分类；多元智力理论

https://blog.sciencenet.cn/blog-107667-1349942.html

[8] 2026-01-08 00:20，[小资料，感慨] 约瑟夫·科苏斯 Joseph Kosuth 的《一把和三把椅子 Chair》 （关联：“自然运算”）

https://blog.sciencenet.cn/blog-107667-1517523.html

[9] 2025-11-03 19:53，[打听，随笔] 当前的人工智能：知识表示与处理，有什么新的实质性进展？

https://blog.sciencenet.cn/blog-107667-1508715.html

[10] 2025-07-12 22:24，[资料，美学，随笔] 美：客观存在对人产生的主观的愉悦感受

https://blog.sciencenet.cn/blog-107667-1493445.html

[11] 2024-07-07 22:40，[随笔，数据] 真正专家的主观经验和感受（个人判断）的重要性（王浩、阿加西）

https://blog.sciencenet.cn/blog-107667-1441295.html

[12] 2025-06-24 21:08，[回忆，资料，打听] “自然运算”的基础来源（铺路石）之一：帕格斯，1988，Heinz Rudolf Pagels

https://blog.sciencenet.cn/blog-107667-1491092.html

感谢您的指教！

感谢您指正以上任何错误！

感谢您提供更多的相关资料！