[敬请读者注意] 本人保留本文的全部著作权利。如果哪位读者使用本文所描述内容，请务必如实引用并明白注明本文出处。如果本人发现任何人擅自使用本文任何部分内容而不明白注明出处，恕本人在网上广泛公布侵权者姓名。敬请各位读者注意，谢谢！

ChatGPT 的原理局限性：它永远不会做什么？ 

程京德

ChatGPT 在全世界各行各业的热度不减，到处都是它的话题，笔者的逻辑学科普文章里也拿它举例。现在似乎大家都在夸它的功能强效果好，本文则试图说明它在原理上的局限性，理清它永远不会做什么，仅供想利用它做科研做事业做生意的人们参考。

先来提个简单问题：“ChatGPT 永远不会做什么？”一个明显可能的回答可以是：“首先，ChatGPT 不会感知自己的存在。它是一种机器，没有意识，也没有自我意识。它无法感受自己的情绪，也不能产生真实的思想。其次，ChatGPT 不会从外部获取信息。ChatGPT 是一个封闭的系统，它不能从外部获取任何信息，除非这些信息被人为输入。它的计算结果受到训练数据的影响。因此，它的回答可能是不准确的或存在偏见。它永远不会具有独立的判断力。此外，ChatGPT 不会做有关道德和价值观的决策。它不能识别道德规范和价值观念，也不能评估任何行为的道德价值。因此，它不能作出有关道德和价值观的决策。最后，ChatGPT 不会产生自主性。它只能回答问题，不能主动对外界产生影响。它不能对外界产生贡献，也不能对外界造成影响。”但是这个回答显然太肤浅了，接下来让我们列举 ChatGPT 从原理上来说的不可能（亦即，如果不在工作原理上做改动，那么永远也学不会的功能）：

（1）不可能提供100%确定的正确答案 

ChatGPT 的基本工作原理是深层学习（笔者从来都认为“深层学习”才是对“deep learning”之本质的中文准确翻译），其数学基础是概率论。这就意味着，ChatGPT 永远不可能对问题给出100%确定的正确答案，即便是偶尔给出正确答案，或者是直接来自于数据源或者是碰巧“凑”出来的，而并非由清晰定义的算法“逻辑地”计算出来的。这大概是 ChatGPT（及其它基于同样基本工作原理的工具）最本质的特点。所以，尽管 ChatGPT 能够在以相对优劣为评价标准的领域内给出效果极佳的答案，但是对于以绝对优劣为评价标准的领域（比如，逻辑学、离散数学之全部、连续数学之大部、以及基于这些的众多科学理论、日常生活中要求是非对错黑白分明的场景等等）内要求绝对确定的正确性的应用，就无能为力了。请注意，扩展 ChatGPT 的数据源的规模（比如，把维基百科全书改为不列颠百科全书）也并不可能从根本上上解决此问题。

（2）不可能具备概念性创新的能力 

尽管 ChatGPT 能够通过在大规模数据集上的训练以及它基于大规模语言模型的优秀的言词组合能力“创造”出效果极佳的新内容（具体不论），但是，受其基本工作原理限制（亦即，在规模上把“大规模”扩展到“超大规模”也无用），它不可能自己主动提出新的概念及其清晰定义。实际上，新概念的提出和定义本身就要求绝对优劣的评价标准。但是，ChatGPT（及其它基于同样基本工作原理的工具）在工作原理上缺少的应该是提出和定义新概念时所需的认知机制和能力。如果没有提出和定义新概念的能力，那么做科研基本上就无望了（做人类的“科研助手”当然别论）。

（3）不可能具备真正的一般逻辑推理能力 

尽管 ChatGPT 能够通过其优秀的言词组合能力“创造”出貌似“逻辑推理”的效果，但是， 受其基本工作原理限制，它不可能自己主动地以其掌握的数据作为前提“逻辑地”推导出正确性依赖于前提的“逻辑结论”。从人类到计算机程序，没有一般的逻辑系统作为基础，通用的逻辑推理机制的建立是不可能的。而 ChatGPT（及其它基于同样基本工作原理的工具）恰恰缺少一般的逻辑系统作为基础。所以，尽管 ChatGPT 在某些场景下根据其预埋的“逻辑路径”可以组合出让提问者认为是“逻辑结论”的答案，但是完全没有一般性和通用性。

（4）不可能具备发现和预测的一般能力

从哲学或逻辑学理论上来说，这个无能是上面（3）的直接结果。但是，即便是不追求一般性或者通用性，ChatGPT 对它通过在大规模数据集上的训练以及它基于大规模语言模型的优秀的言词组合能力偶然“创造”出的新内容，ChatGPT 自身并没有评价标准去判断是不是对全世界是“新”的（对提问者是不是新的不论）。那么，发现和预测也就无从谈起了。所以，做科研做事业做生意的人如果自己具备相当的认知水平可以判断 ChatGPT 给出的“新”内容，那么作为参考可能还是有用的，但是如果提问者本人不具备相当的认知水平而对 ChatGPT 给出的“新”内容都信以为真，那么迟早会跌落进一个“大坑”。

（5）不可能自我评价并渐进地修改评价标准而达到能力的自律成长

基于神经网络的深层学习方法由于在层次自动深化利用了计算机的高速计算性能，使得这种方法有效并且极具实用性，在许多领域获得了巨大的成功。但是，笔者孤陋寡闻，似乎没看到 ChatGPT（及其它基于同样基本工作原理的工具）具有自我评价并渐进地修改评价标准而达到能力的自律成长的机制。在笔者看来，似乎目前还没有什么基础理论能够对这种机制的建立起到支撑作用，所以，这种自动化机制似乎永无可能。如果 ChatGPT 永无可能建立起这种自动化机制，那么就永无可能自律成长。所以，完全不用担心 ChatGPT 迟早有一天会超越人类。

最后申明一句。上文中最初的问题是笔者提问 ChatGPT，回答是它给笔者的（连续问了几次，本人挑选了最像样的回答），笔者有意为之的。本文其余部分全部为笔者原创。由此申明也可以看出，ChatGPT 工具们对人类社会认知逻辑准则的冲击。 

微信公众号“数理逻辑与哲学逻辑”