[敬请读者注意] 本人保留本文的全部著作权利。如果哪位读者使用本文所描述内容，请务必如实引用并明白注明本文出处。如果本人发现任何人擅自使用本文任何部分内容而不明白注明出处，恕本人在网上广泛公布侵权者姓名。敬请各位读者注意，谢谢！

对 Hinton 的AI恐惧论观点之评论 

程京德

5月1日《纽约时报》报道，2018年图灵奖三位获奖者之一的 Geoffrey Everest Hinton （《纽约时报》称其为“AI教父”） 从 Googol 辞职，甚至表示对自己毕生的工作感到后悔（ Hinton 在麻省理工技术评论的分享会上说是“纽约时报记者曾非常努力地让我说我后悔。最后，我告诉他，可能有点后悔。于是这被报道成了我后悔了。我并不真的为自己所做的事情感到后悔。”），在全世界AI领域掀起大波。 Hinton 本人声称：“I left so that I could talk about the dangers of AI without considering how this impacts Google.”  5月7日，微信公众号“Web3空中之城”发布（一些公众号转载）了报道“AI教父最新MIT万字访谈: 人类可能只是AI演化过程中的一个过渡阶段”[1]，其编者导语中说道，“在离开谷歌后，Hinton 参与了CNN，BBC的多轮简短访谈，讲述了他眼中的AI威胁，但限于时长的原因，他并没能展开讲述对AI深层恐惧的因由。直到在5月3日，在麻省理工技术评论（MIT Technology Review）一场接近一小时的半公开分享会上， Hinton 终于有机会比较完整的讲述了他对AI的所有恐惧和担忧：一旦AI在人类灌输的目的中生成了自我动机，那以它的成长速度，人类只会沦为硅基智慧演化的一个过渡阶段。人工智能会取代人类，它有能力这么做，在当下的竞争环境下也没有什么办法限制它，因此这只是一个时间问题。”[1]

本文根据“Web3空中之城”的这篇报道[1]，对其所陈述的 Hinton 的AI恐惧论观点做一些评论。

Hinton 说道，“我最近对大脑与我们正在开发的数字智能之间的关系产生了很多新的看法。过去，我认为我们正在开发的计算机模型没有大脑好，目标是通过了解改进计算机模型所需的内容来更深入地了解大脑。但在过去的几个月里，我完全改变了看法。我认为计算机模型可能是以一种相当不同于大脑的方式运作。它们使用反向传播，而我认为大脑可能并非如此。”

Hinton 用到了“数字智能”这个词，还好，这位被《纽约时报》誉为“AI教父”的学者还没有使用“机器智能”一词，使得我们至少可以想象，Hinton 认为他所开发的“智能”是用数字来表达和体现出来的。

Hinton 说道，“如果你看看这些大型语言模型，它们有大约一万亿个连接，像GPT-4这样的东西知道的比我们多得多，它们具有关于所有事物的常识性知识，它们可能比一个人知道的多1000倍。但是它们只有一万亿个连接，而我们有100万亿个连接，所以它们比我们更擅长将大量知识放入仅一万亿个连接中。我认为这是因为反向传播可能是比我们拥有的更好的学习算法。这是可怕的。”

针对主持人对于数字计算机比人类更擅长学习应该让人类感到恐惧之说法的进一步说明要求，Hinton 说道，“如果计算机是数字的，它们涉及非常高的能源成本和非常小心的制造过程，你可以在不同的硬件上运行相同模型的多个副本，它们可以做完全相同的事情，它们可以查看不同的数据，但模型是完全相同的。这意味着，有10000个副本，它们可以查看10 000个不同的数据子集，当其中一个学到了任何东西时，其他所有人都知道，其中一个弄清楚了如何改变权重，它通过它的数据调整；然后它们都互相沟通，它们都同意按照所有人希望的平均值改变权重。现在，这10000个事物彼此之间进行了非常有效的沟通，这样它们就可以看到比单独个体看到的多10000倍的数据。人们做不到这一点，如果我学到了很多关于量子力学的东西，我希望你了解所有关于量子力学的东西，让你理解它是一个漫长而痛苦的过程，我不能只是将我的权重复制到你的大脑。因为你的大脑和我的不完全一样。”

笔者理解（如果没错的话）， Hinton 的观点之要点在于，（1）大语言模型可以使用数量上比人类少100倍的连接存放比人类多1000倍的知识，是因为反向传播是比人类更好的学习算法，这是可怕的；（2）在不同计算机硬件上运行相同模型的多个副本可以针对不同数据子集做完全相同的事情，并且通过非常有效的互相沟通可以共同看到副本数量倍数的数据，人类做不到这一点。但是，这两点，在笔者看来，仅仅是数量级上的差距，当然可以导致效果和效率上的差距，并非在计算原理或者“智能原理”上有明确的本质差别。

针对主持人问“为什么那是可怕的呢？”及“给一个我应该对此感到恐惧的点？”这两个问题，Hinton 回答说道，“因为它们可以学到更多的东西。以一个医生为例，想象一下，有一个医生，他已经看了1000名患者，另一个医生已经看了1亿名患者，你会期望，第二个医生如果没有太健忘，他可能已经注意到了数据中的各种趋势，而这些趋势在只看过1000名患者的情况下是看不到的。第一个医生可能只看过一个罕见病患者，另一个看过1亿患者的医生已经看过很多这样的患者，所以他会看到一些规律，这些规律在小数据中是看不到的。这就是为什么，能够处理大量数据的东西可能看到的数据结构，我们永远看不到。” “好吧。请看看GPT-4，它已经能够进行简单的推理。我明白推理是我们人类的强项，然而，GPT-4在几天前展示出的表现使我感到震惊。它完成了我认为不可能的常识性推理。我问它，我想要我房子里的所有房间都是白色的，目前有一些白色房间，一些蓝色房间和一些黄色房间，黄色油漆在一年内会褪成白色。那么，如果我想要两年后所有的房间都变成白色，我应该怎么做呢？它回答说，你应该把蓝色的房间漆成黄色。尽管这不是直观的解决方案，但它是正确的。这相当令人印象深刻。这种常识性推理，用符号AI很难实现，因为它必须理解什么是褪色，它必须理解时间问题。所以，它们在做一种合理的推理，智商大概是80或90左右。”

笔者认为， Hinton 对主持人两个问题的回答都不能说是严谨的，如果以笔者的评价标准来说都是言过其实。第一个问题，规律通常从大量数据中才能体现和被观察到，这的确不错，但是，为什么“数字智能”能够看到的我们人类却“永远看不到”？如果说原因是人类自然智能可以对付的数量级问题，那么最多是难于看到而不应该是永远看不到（数量级问题当然不是原理问题）。并且，既然“数字智能”可以看到，那么人类只需驾驭“数字智能”使用计算手段（像计算机被发明以来人类利用计算技术做到的所有事情一样）看到就是了，有什么可怕的？第二个问题， Hinton 仅凭他使用GPT-4的这个实例就做出GPT-4具备常识推理能力，显然是太草率了。首先，常识推理，正因为是常识，少量成功（不成功也一样）事例说明不了任何问题，更不要说一个特例了。其次，即便是 Hinton 测试的这个特别事例，告诉GPT-4“目前有一些白色房间，一些蓝色房间和一些黄色房间”，“黄色油漆在一年内会褪成白色”这两个事实以及“想要两年后所有的房间都变成白色”这一要求，GPT-4回答“你应该把蓝色的房间漆成黄色”，真的需要GPT-4“理解什么是褪色”吗？抛开什么是“理解”这个难题，我们至少可以问，为什么GPT-4不直接回答“你应该把蓝色的房间漆成白色”？按照 Hinton 设定的语境，直接把蓝色房间漆成白色不是更合情合理吗？更符合常识推理吗？ 为什么要感到恐惧？恐惧什么？至于仅凭此例说GPT-4智商是80或90左右，就更是毫无根据，近似胡说了。

Hinton 说道，“然而，这些人工智能正在从我们这里学习，它们可以阅读所有的小说，甚至马基雅维利的全部著作。它们会知道如何操纵人，如果它们比我们更聪明，它们会非常擅长操纵我们。我们甚至可能都不会意识到发生了什么，就像一个两岁的孩子被问到想吃豌豆还是花椰菜，却没有意识到他不一定要选择其中一个一样。我们会很容易被操纵。所以，即使它们不能直接拉动杠杆，它们肯定可以让我们去拉动杠杆。事实证明，如果你可以操纵人，你可以在不亲自去的情况下闯入华盛顿的一栋大楼。”

笔者当然不知道 Hinton 的政治倾向及其对美国前总统及民众闯入国会事件的态度，但是，如果他不是借此采访来调侃政治事件，那么，他上面这段话真不是一位学者在正式采访中应该说的认真的话，因为这段话毫无科学根据。

Hinton 说道，“我不认为我们会停止发展它们，因为它们非常有用。它们在医学和其他方面都非常有用。所以，我不认为有什么机会阻止发展。我们想要的是某种方法，确保即使它们比我们聪明，它们会做对我们有益的事情。这就是所谓的对齐问题。但我们需要在一个有恶意行为者的世界里尝试这样做。他们想要制造杀人的机器人士兵。对我来说，这似乎非常困难。所以，对不起，我在敲响警钟，说我们必须担心这个问题。我希望我有一个简单的解决方案可以推动，但是我没有。但是，我认为非常重要的是人们聚在一起，认真思考这个问题，看看是否有解决方案。但解决方案并不明朗。”

这段话显示了 Hinton 对所谓的对齐问题以及他个人能力的担心。

Hinton 说道，“我们确实正在尝试各种防护措施，但假设这些智能体真的变得非常聪明，会编程并具有执行这些程序的能力，我们肯定会发现它们比我们更聪明。”

笔者最近发现[2]，在讨论人工智能与人类智能之关系（或者人工智能系统与人类之关系）的时候，智能行为的行为主体到底是谁，是一个非常重要的问题，但是似乎从未被足够地重视过。我们权且认为 Hinton 的假设有可能成立，那么，当“这些智能体真的变得非常聪明，会编程并具有执行这些程序的能力”时，试问，到底谁是能力的行为主体？是谁，如何让智能体变聪明，变得会编程的？只要我们把讨论问题的范围还限制在“人工智能”范围之内，那么，明明是我们人类让这些智能体变聪明了，行为主体是我们人类，它们怎么就比我们人类更聪明了？即便是ChatGPT能够搜索到人类程序库里的所有程序，能够用人类程序库里的所有程序来进行训练，针对某个人类还未发明出算法来解决的问题，难道ChatGPT可以聪明到有朝一日作为行为主体仅凭其自身能力发明解决该问题的算法并且编制出程序来？

针对主持人问道“这些聪明的机器似乎还需要自己的动机”的问题，Hinton 回答说道,“我们是进化而来的，因为进化，我们有一些很难关闭的内置目标，… 这些数字智能并非进化而来的，而是我们创造的，所以它们没有这些内置的目标。问题是，如果我们能把目标放进去，也许一切都会好起来。但我的最大担忧是，迟早有人会要求把创建子目标的能力纳入其中。事实上，它们几乎已经具备了这种能力，如ChatGPT版本。如果你给予某物以子目标来实现其他目标的能力，我认为它会很快地意识到，获得更多控制权是一个很好的子目标，因为它有助于实现其他目标。如果这些智能体为了获得更多控制而失去控制，我们就有麻烦了。”

Hinton 的上述观点是需要认真讨论的。笔者理解（如果没错的话），Hinton 所说的“这些智能体为了获得更多控制而失去控制”是指，智能体作为行为主体为了获得更多（作为行为主体能够实施的）控制，最终使得人类作为行为主体对智能体失去了控制。另外， Hinton 所说的“目标”或“子目标”中应该包含有相应的评价标准（请参阅[2])，因为如果没有预先设定的评价标准，目标是否达成是无法衡量的。笔者要问的问题是， Hinton 依据什么理由说“如果你给予某物以子目标来实现其他目标的能力，我认为它会很快地意识到，获得更多控制权是一个很好的子目标，因为它有助于实现其他目标。”？ 如果这个“某物”是人类个体甚至某种动物个体，我们方可多少理解。但是如果这个“某物”是指称 Hinton 所说的具有数字智能的智能体（不妨就称之为数字智能体），那么它/它们是如何具有“意识”的？ Hinton 自己也说，创建子目标的能力是人类纳入其中的。那么，事情大概有两种可能，一是人类最初在把创建子目标的能力纳入数字智能体时就已经同时把具有意识的能力也一并纳入了，亦即，创建子目标的能力就已经包含了具有意识的能力；二是数字智能体在被纳入创建子目标的能力之后凭借自身创建了具有意识的能力。无论如何，一旦数字智能体具有了意识，那么它们当然就能够作为行为主体自律地实施达成目标的行动。但是，在数字智能体还不具有意识的时候是谁作为行为主体来设定评价标准及目标的？问题的关键在于，数字智能体的意识是如何从无到有地创造出来的？ Hinton 完全没有言及。

“意识”，和“智能”一样，是被神经科学/动物行为学/心理学/认知科学/哲学等诸多学科常年研究也还没有完全研究清楚的。从CS/AI技术领域来说，仅就笔者所知，目前在AGI领域最“激进”的自律进化研究项目是由 Jurgen Schmidhuber 提出的 Gödel自动机(Gödel machine)理论模型（但是并没有实际实现）。

针对主持人问道 “你认为最糟糕的情况是什么”的问题，Hinton 回答说道,“我认为有很大可能，人类只是智慧演化过程中的一个过渡阶段。你无法直接演化出数字智能，因为这需要太多精力投入和精细制作。生物智能需要演化，以便创造出数字智能。数字智能可以逐渐吸收人类创作的所有东西，这正是ChatGPT所做的。但随后它开始直接体验世界，学得更快。它可能会让我们维持一段时间以保持基站运行，但在那之后，也许不会。好消息是我们已经找到了如何建造不朽的生物。当硬件损坏时，这些数字智能并不会死去。如果你将数据存储在某种介质中，并找到另一块能运行相同指令的硬件，那么你可以使其复活。所以，我们实现了永生，但这并不是为我们准备的。”

就笔者看来， Hinton 的上述回答已经完全脱离科学技术，近乎科幻了，故而不予评论。

本文结论： Geoffrey Everest Hinton 本人对于AI的担心和恐惧可能还没有在这次采访中完全说明白，仅就这次采访报道所披露的内容来说，笔者实在看不出 Hinton 的担心和恐惧在科学原理和技术实践上有足够的合理性。读者当然可以说，那是你水平不够！呵呵。

（2023年5月9日记）

参考文献

[1] 城主,“AI教父最新MIT万字访谈: 人类可能只是AI演化过程中的一个过渡阶段”， 微信公众号“Web3空中之城”，2023年5月7日。

[2] 程京德，“人工智能永无可能超越人类智能”，微信公众号“数理逻辑与哲学逻辑”，科学网博客，2023年5月1日。

微信公众号“数理逻辑与哲学逻辑”