吕乃基

ChatGPT横空出世后，笔者上传了“ChatGPT管窥（上）——产业哲学的视角（合集）”。之后，关于chatGPT的各种评论令人应接不暇，且头绪太多，技术本身发展太快，加之笔者自己的能力有限，“ChatGPT管窥（下）”的跟进一时搁浅（搁置、放弃一篇写作中的文章的理由）。经过半个多月的冷处理，逐步浮现出两个概念：认知，以及知识论。

1.

自笛卡尔到19世纪末，认识过程的主流是从A、B、C等个别、特殊的事例，经分析、抽象、比较、分类和归纳等到一般和普遍，从现象到本质的过程。从知识的角度来理解，是将个别、分散、多变，或多或少嵌入于语境和场景的知识逐级抽象，经由比较、分类、归纳和假说等过程，形成具有不同程度普遍性和脱域，属于本质、规律的知识，也就是从知其然到知其所以然；然后再回过去理解A、B、C等个别、特殊的事例。不仅如此，还可以扩展到理解D、E、F等原先未知或知之甚少的事例。简言之，由个别和具体经普遍和抽象再到扩大的个别和具体。

马克思的“两条道路”是对这一认识过程的高度总结。“在第一条道路上,完整的表象蒸发为抽象的规定；在第二条道路上，抽象的规定在思维行程中导致具体的再现”。先从有限领域得出“抽象的规定”，然后由此推及较多的有限领域，在反复循环中趋于无限。

传统的“看山三阶段”说的大致也是这一点。更宏大的表述是老子的《道德经》，“虚无无形谓之道，化育万物谓之德。以无为之谓道，舍之之谓德。”先得道，然后有德（参见：https://blog.sciencenet.cn/blog-210844-779231.html ）

这是人类得以超越有限领域探究无限世界的认识论基础，也是当下部分人依然傲视人工智能的底气之一。虽然人工智能在一个个有限领域例如围棋胜过人类，但不能举一反三，把知识由个别领域迁移到更广阔的世界。

2.

但这次不一样。chatGPT超越有限领域，构建大模型，以此作为服务于诸多有限领域的基础。

chatGPT的运行，可以说是经由另类“认识”过程的知识的“生成”。这一“生成”过程既不是如认识过程的“第一条道路”那样，先上升到普遍和“本质”的高度，也就是“抽象的规定”，而是将之前人类尽可能多的知识按某种规则秩序建构大规模知识模型，可方便随时调用；也不是居高临下，在“第二条道路”上由本质推出现象，普遍推出个别，原因推出结果，将普适性知识再嵌入用户特殊和个别的语境和场景；而是一旦用户提问，凭籍巨量的知识，带有暴力（穷尽，会在“稀疏”模型中得到改进）性质的算法，以及不可思议的算力，直接将大规模知识模型用于个别具体的问题，强调条理和面面俱到。

“它尽可能多地从世界的映射（也就是文本）中学习关于世界的知识。”（GPT-4创造者Ilya Sutskever：第二次改变AI浪潮的方向（2023-3-27）https://mp.weixin.qq.com/s/rZBEDlxFVsVXoL5YUVU3XQ ）

 ChatGPT 的训练数据主要来自互联网文本数据，样本容量极其庞大，从而保证了大语言模型参数的估计精度。因此，大语言模型具有比较强的泛化能力，即样本外预测能力。特别是大语言模型具有非线性规模效应，随着规模的增加，其预测能力呈现非线性增加。

洪永淼 汪寿阳ChatGPT等AI将如何改变经济学乃至社会科学的研究范式？（2023-3-30）https://mp.weixin.qq.com/s/fNmak0Mo9GEiMd_3Q-MvQA 

ChatGPT所依赖的数据集之源大致可分为六类：维基百科、书籍、期刊、Reddit 链接、Common Crawl 和其他数据集。

严格引用维基百科中的文本，以说明性的文字形式写成，并且跨越多种语言和领域。书籍主要用于训练模型的故事讲述能力和反应能力。杂志期刊的论文通常来说更有条理、理性和细致，从而为数据集提供了坚实而严谨的基础。数据集包括 ArXiv（全球最大的预印本系统）和美国国家卫生研究院的资料等。Reddit 链接代表流行内容的风向标，对输出优质链接和后续文本数据具有指导作用。

ChatGPT 数据集之谜https://mp.weixin.qq.com/s/dq_hCzPyR3GRWI3sqCeOXQ 

维基百科（刘文博, 乔双, 维基类百科的社会知识论分析, 华中科技大学学报(社会科学版), 2019，5,88-92）在其中起到了特别重要的作用。词条的每一次编辑和修改过程，通常都只是针对原有内容的某一个部分，而不是推倒重来。遵循保留正确内容、修改错误内容的原则，也正是所有维基类百科默认的原则。因而维基类百科的内容会不断地得到完善，符合认识实践求真的要求。

chatGPT要能够“理解”用户的问题，而且是用自然语言。业内人士挂在嘴边的一句话是，chatGPT不理解它提供给用户的回答。有趣的是，它却“听”（看）懂了用户的问题。它是怎么做到的？有网友说，看、听的多了，也就知晓了，如同婴幼儿牙牙学语，通过与妈妈和更多人的对话，以及听到他人间的对话，结合场景，逐步知道字词句与物和事的关系。这样看来，婴幼儿会长大，chatGPT对提问和回答的理解早晚会同步，不是坠向不理解，而是提升到理解。

ChatGPT，一头是拥有尽可能接近于人类知识（隐性知识除外）总和的大模型所能提供的知识，包括维基百科这样的普适性知识，还有更大量不同程度的地方性知识，以及以图像视频音频形式表达的知识（模型能学到文本中没有的信息）等。因主体而异的个人知识，因场景而异的地方性知识，在大规模模型中被抹平和得以均衡，因而chatGPT所拥有的知识超越个人和场景，相对稳定且普适。虽然其中的内容会涉及由知其所以然推出知其然这样的因果关系，如万有引力和天体运行，但在内容的“生成”过程中并不区分出居高临下“本质”知识和位于低层的现象知识，而是按概率“生成”文本。ChatGPT的另一头是提供给甲方所需的知识。

3.

在两头的中间是知识的转换。ChatGPT是继数据库和搜索引擎之后的全新一代的“知识表示和调用方式”（哈工大自然语言处理研究所，ChatGPT 调研报告）。先用模型预测下一个词，把预测出来的词带入模型，去预测再下一个词是什么，不断迭代。甚至“给定某书中的一页，预测下一页。这有很多种情况，是一个非常复杂的高维空间，但自回归Transformers能处理得很好。”让各类语言类任务统一成“生成式”任务，按最大概率安排框架、段落和词句。ChatGPT自己说，“我使用的是一种叫做概率编程的技术，通过学习大量的文本数据，匹配关键字和上下文，再从已知数据中生成答案。回答问题时，我会根据所学数据和模型给出最可能正确的回答，但不能保证每个回答都是正确的。”尽量全面，克服个体认知的局限，至少让自己看似“客观中立”,四平八稳，不偏不倚。

转换的要义是满足甲方之需，chatGPT并不在意由“因”推出“果”，重要的是目的论。据此目的在大模型中搜寻相关的条目，按最大的概率组织回答整体纲要、段落和词句。Transformer最大的突破在于把原来序列的算法，变成了并行的算法，同时处理所有单词。Transformer在本质上是一个提取相关性的机器。有人说，chatGPT吃进去的是数据，挤出来的是满足甲方特殊需求的相关性。由此可见，转换，不是因果性使然和基于推理，而是在目的性引导下的选择、排列和组合。

https://mp.weixin.qq.com/s/XxGSmdDLRJNKlxBtHzXxnw 

在对话过程中，若用户指出其错误，ChatGPT 会认错，听取意见并优化答案。ChatGPT会质疑不正确的问题。例如被询问“哥伦布 2015 年来到美国的情景”的问题时，机器人会说明哥伦布不属于这一时代并调整输出结果。ChatGPT会承认自己无知和不了解专业技术。

有趣的是，chatGPT的运行（非传统意义上的“认识”）过程有几分接近林林总总的后现代思潮，如现象论、反基础主义和反本质主义等。与大数据的认识论雷同（参见：大数据与认识论四、大数据认识论的认识史和知识论依据），由于数据量太庞大，且原因错综复杂，互相套叠，数据产生的速度也非常快，因而止步于“知其然”和相关性，不求“知其所以然”和因果性。OpenAI认为，通用人工智能是“一般情况下比人更老练（smart）的人工智能系统”。既回应来自世界各个角落的甲方与千奇百怪的问题，又互不冲突，保持“自我”于同一时间段在内容上的相对一致，应对得体。这一点类似于哈贝马斯的“商谈伦理”。“算法用强大而未知的相关性替代了神秘主义和因果霸权”（王育琨）

如果或许可以提出“ChatGPT的认识论和知识论”。在某种意义上，chatGPT回答特定问题的过程可以这样理解：即从不确定、混沌、包罗万象，叠加和纠缠的大模型，“塌缩”到确定、条理分明和针对性的有限结论。

Gartner将生成性AI（以chatGPT为代表）列为未来具有影响力技术之一，生成性AI可以学习并抽象出输入数据的内在模式，并利用这些模式生成新的类似内容。人类只需设置好场景，生成性AI就会自主输出想要的结果，不仅带来零边际成本的内容生产变革，在某种程度上也可以避免来自人类思想和经验的偏见。