博文

《AI浪潮：神迹与笑话齐飞，chatGPT 也是大观了》

已有 4204 次阅读 2023-2-5 06:20 |个人分类:立委科普|系统分类:教学心得

60天月活破亿，ChatGPT之父传奇：16岁出柜，20岁和男友一同当上CEO

立委：chatGPT 的面世，比尔盖茨认定是可与电脑的发明以及互联网的诞生一样级别的划时代事件，我认为是恰当的，因为人类迎来了人机交互的新时代。

这个图再看，还是两个字：震撼。

这可不是任何广告或营销可以梦想的，这是信息时代的“桃李不言下自成蹊”，滚雪球一样“口口相传”，一波未平一波又起，热度持续攀升。根子还是模型过硬，触到了人类的痛点还是G点。原来NLP可以创造这样的奇迹，这可是以前做梦也无法想象的事。貌似超过一切神迹。好像一个无所不能的魔术师，它每天在那里给你变魔术，都是现场的、即兴的、无法事先做手脚的，你服还是不服？

神迹与笑话齐飞，大众还是选择了原谅笑话，与神迹共舞，这也是大观了。

LeCun 就是没明白这一点。尽管人家平时看上去不仅是大牛，而且也接地气。但这次他是选择性失明，小看了“对齐”导致的超级核弹效应。

哈，已经上亿的用户量，不怪他常常罢工。好在罢工的时候，还总是临时、现场给你唱个幽默自嘲的小曲儿啥的。（不会太久，随着多模态LLM时代的到来，这个 rap 就该可以现场演唱给你听。）

Li Chen：所以难的不是语言，而是人脑袋里怎么想的，怎么去理解的。即便是同样一句话，在不同场景里，也就是所谓的context，效果也不一样。而具体的context应该是无穷无尽的，再多的参数也cover不过来。

霄云：Right, but for service chatbot, this is not a problem. The number of actions that it can carry out is limited.

So chatgpt essentially demonstrates conversational user interface for general public is good enough now. May not be good for professional domains without domain dependent model.

Li Chen：是的，现在这个chat才算是可用的chat，给普通人玩足够了。以前的真心就是3，5轮之后就不想在继续了。某种意义上说所谓的闲聊机器人应该没有太大的继续研究的价值了。

立委：@lc 说的对，chatGPT 之前的所有聊天系统，包括小冰，都没有真正做到，chatGPT 算是 “终结”了聊天。只有它才第一次以这样的规模和自然度，让它成为聊天的天花板。总还是可以挑剔的，众口难调。但挑剔的地方大多不过是一种不同偏好的折射。关键是，人机交流已经解决了。

chatGPT 碾压以前所有的聊天系统，是典型的降维打击。功夫在chat外，本质是搞定了人机接口：人类第一次见识了，面对机器，不需要编代码（或用什么咒语，例如所谓 prompt engineering），只要直接跟它说干嘛就行。它听得懂任何语言。聊天只是外壳和表象。它的存在远远大过聊天，但凡文字语言类任务，它无所不能。碾压聊天也只是其NLP泛化的AGI道路上的顺带副产品而已。

霄云：Now the only thing left is how to cheaply ground the understanding with easy to build interaction logic and service APIs .

立委：exactly

利鹏：我堂堂人类，怎么样才能不被小ChatGPT取代？

立委：说难也不难：一闭眼一跺脚，掐断电源，禁止信息流通。

少平：人类收版权就可以了[Grin]

Minke：language is not mind

立委：interesting

语言和思维的关系记得在普通语言学课上就是一个焦点问题，就好比鸡与蛋的问题一样，一直纠缠不清。纠缠不清的原因之一是稍微像样一点具有一些条理的思维，总是与语言裹在一起的，无法分离。

直到1957年乔老爷提出句法要独立研究不要被语义干扰这才从理论上给出了一条把语言与思维剥离的可能性。但实际中的对象也还是混沌一片的，毕竟“绿色思想在睡觉”这样的思维实验的案例不是真实现象的常态。

直到今天遭遇了 chat’gpt …… 到了 chat 这种似人非人的生成物，这才第一次大批量地让我们见识了，什么叫形式与内容的貌合神离。原来语言还带这么玩的呀，一本正经不妨碍胡说八道。

毛老：符号与所代表的内容本来就是可以分离的。

立委：是啊，机器翻译就是把内容从源语符号中剥离，然后借着目标语符号吐出来。

语言是符号，以前以为，因此思维也必然是符号，现在没有以前那么确定了。也许思维的本真形态更靠近向量空间，只是到了脱口而出的那一刻，才穿戴整齐变成了符号的形式：语音流或文字流。

毛老：思维是一种活动，语言只是思维的表达。

立委：符号学派一直是这样建模的：语言是表层符号，吃进去或吐出来的时候就是这样。消化在内，就成了深层符号，所谓 logical form 或者逻辑语义表示，tree 或 dag 就是它的形式化数据结构。以为这才是思维的真谛。现在开始动摇了，也许我们脑袋里的思维长得不是这个样子。只不过这个样子作为理论，比较方便我们理解自己，方便做符号形式的逻辑演算而已。而且建立表层符号与深层符号表示的映射比较直观，增强了可解释性。

Li Chen：这个有道理的，其实人类自己也不确定所谓的思维，意识到底是什么。只不过符号，语言这个东西更容易理解交流，然后人类的文明都在这个基础上发展而来，所以想从根本上不谈符号，不谈逻辑，又显得不太现实。

立委：符号的离散性、有限性和结构性，帮助人类认知世界万物。从而构成了文明的基础，方便了知识传承。

毛老：是啊，所以离开符号的AI 终究不会是完整的AI。不管它做得多么像模像样，终究还会“胡说八道”。既然是“一本正经的胡说八道”，就不能说已经通过了图灵测试。如果是一个人在“一本正经地胡说八道”，别人就会说：这个人钟点不准。十三点。

立委：问题是，一本正经，是人都可以判断。胡说八道则不然。判断其胡说八道，以及胡说八道的程度，因人而异。如果是专业领域的胡说八道，绝大多数老百姓是感觉不到的。非专业的胡说八道其实各人的敏感度也不同。图灵测试规定了裁判的选择标准了吗？需要多少生活阅历多少教育程度才够格? 这是从裁判的角度。

从内容角度，胡说八道本身也有区别，有的胡说八道九成以上的人都可以轻易识别，也有的胡说八道（或“狡辩”）则需要专家中的精英才可以识破。还有一些似是而非或似非而是的灰色地带，说胡说也可以但换个角度胡说却成了洞见。其实人类社会很多警句、禅悟，包括鸡汤，都离胡说不远。这是因为就好像狂人日记一样，出格的、不同寻常的胡言乱语，往往暗藏玄机。

语言的问题，相对比较黑白分明，道地不道地，找几个 native speakers 来，容易达成共识。内容的问题比较容易灰色很多是软约束。有些乍看是胡说的东西，往后退一步或换个角度又言之成理了。甚至 1+1=3，这种数学上纯粹的胡说，在场景中可能就是合理的语义表达。譬如，团队工作往往是一加一等于三，两个恋人结合也往往是一加一等于三：成了核心家庭。语言中这样说1+1=3，一点也不违和。前面把模型绕晕又得到模型认可的两个大苹果加四个小苹果等于八个小苹果也是如此。说到底这些都是层次纠缠，形式逻辑兜不住不同层次的搅合。可层次纠缠是客观存在的语言表现，因此让“胡说”与否的判断变得格外困难。加上内容层面的默认、脑补、覆盖等日常认知措施，都有因人不同的设定，事情就更加复杂。狡辩/雄辩在人类社会之所以普遍存在，也是因为很多内容表示具有两可的空间。最后一条，多数人都有过胡说八道的表现有多有少，完全免疫极少。

其实，我们以前一直以为自然语言是喜马拉雅山上的珠穆朗玛峰，高不可攀。所以当我后来有机会把parsing做到96%以上的时候，我觉得自己马上就要登顶了，兴奋莫名。

可是回头看自然语言，在 LLM 面前，最多就是个小山丘。什么内递归，外递归，什么习惯用法，语义相谐，篇章远距离，计算风格，都不在话下。

那天跟 @李志飞聊，他说他最惊诧的是，LLM 除了语言表现外，你让他 parse 出中间结构，它也能做得有模有样。中间结构本来就是内部的，但现在它也可以外露，进一步说明语言结构是搞定了。既然语言结构搞定了，逻辑搞定也是早晚的事儿，因为二者都是封闭集。搞不定的还是知识点，这个由于 80-20 的大数定律，没办法在有限的数据中穷尽它。结果就是真假混杂。

志飞：

相当于在不断产生下一个词的同时把CYK给跑了[捂脸]

用FSA的办法干了CFG的活？而且是zeroshot，只能跪舔chatgpt了

立委：FSA 干掉 CFG 有充分的理论依据，我在我的小书中阐述过，实践中也证实过。“小书”指的是：李维郭进《自然语言处理答问》（商务印书馆 2020）。

关键就是 deep 多层。神经正好就是 deep 和多层。所以，我们符号这边多年的探索和创新，从架构上看，与深度学习是殊途同归。从这个角度，我们用 FSA 多层架构的符号办法搞定了自然语言的结构，与LLM的搞定，道理是相通的。

问题是符号多层可以搞定结构，但搞不定鸡零狗碎的“语义搭配”，更搞不定计算风格。而 LLM 特别擅长这些鸡零狗碎。

白硕：这是对符号的误读，也是前期符号路线不成功的根源。好的符号路线，这些因素都是理所当然要搞定的。

立委：白老师说过的搞定语义相谐的力量对比，感觉其实调用的手段严格说不属于符号手段。再者，符号系统如果希望像chat那样搞定计算风格例如写出莎士比亚，我持有怀疑的感觉。

白硕：那是过去的符号手段把人的思想都给禁锢了。

志飞：deep和多层的区别和联系是啥？

立委：差不多。也可以说 deep强调的是有合适的表示空间，多层强调的是有足够的学习空间。前者是 tensor 或其他表示（例如符号这边的graphs），后者是过程。宏观上看，AI两条路线的走向是如此的平行，回头看，不这样就很难驯服自然语言这个 monster：

自然语言之所以被看成是大山，主要不是结构，更主要的是那些鸡零狗碎的搭配。里面参杂了种种规则与反规则的矛盾统一。可是现在回头看，那些鸡零狗碎也还是有限的，可以穷尽的或分级 generalize 的，不过就是需要的参数量足够大（或者在符号这边，足够多的符号特征以及分层的大小规则），是我们当年无法想象的参数量级。

尽管如此，面对知识（点）的海洋，billion 级别的参数搞定语言有余，但很多知识还是无法捕捉。前几天估算过，捕捉到的也不过就是 20% 左右吧，但给人的感觉却是80%上下。

志飞：结构是经典力学，鸡零狗碎是量子力学？

立委：这说法有点意思。lol

LLM 搞定语言的最大功绩就是让我们借助它有了泰山登顶，有一种 “一览众山小” 的视野。但横在泰山前面的是真正的知识喜马拉雅山，包括各个领域的知识壁垒。

志飞：难道记忆知识不是暴力模型最擅长的吗

立委：知识点与知识结构不同。后者是可以分层归纳学习到的，包括逻辑和深层推理，也是迟早的事儿，都是封闭集合。

志飞：现在GPT不也在“搞定”逻辑推理吗？前面那个语法解析就是一个高度复杂的逻辑推理。

立委：知识点可不是，是真正意义的组合爆炸，谈不上规律，只是事实的捆绑，或曰图谱绑架。感觉暴力学习只能搞定飘在上面的百分之N。越往后貌似边儿越长。

志飞：只要数据规模和模型capacity再大一万倍，何忧？

霄云：数据没有了。

志飞：现在互联网数据也就用了万分之一？更别说无穷无尽的视频数据。

霄云：有效的人就那么几个。计算存储的增长速度比人要大很多，如果核聚变能源变成现实。养一个太难了，他们估计还会用 llm produce。

video 能不能反哺文本有定论吗？也许计算增加后有可能。

志飞：没定论，但大概率相互增强，比如说视频里有大量常识，比如说不会反重力。

Minke：看完西游记模型就蒙圈了。紧接着看了10年的新闻联播[LetDown]

立委：前不久看到报道，说每天坚持看新闻联播的人，健康、乐观、长寿。lol

志飞：在大数据面前这些噪音都会被AI放到边缘地带。

白硕：

为民：这个厉害，人都没有这么严密。

霄云：I actually think chatgpt violated the maximum relevancy principle of conversation, even if it want to interpret this way, it should have clarified first. This is a subtle point, however.

梁焰：就是，要不然他总可以狡辩：“ more context is needed. ‘

白硕：脑补的保守策略和激进策略。

霄云：Maybe their alignment is too strong. 有几个labelers 喜欢转牛角尖。

For service chatbot this is no good. But then again it should compute implied meaning that can be grounded to actions, instead of literal meaning .

白硕：反正端到端，最后都归结为[ThumbsUp]和[ThumbsDown]。