博文
《谈两种复杂度》短视频科普
||
00:00
00:12
我是AIGC频道数字主播小雅，今天播报的立委两分钟的题目是“两种复杂度”。我们要区分两种"复杂度"。一种是 Kolmogorov 复杂度（K氏复杂度），它指的是描述一个对象所需的最短指令的长度。另一种是模型复杂度，它指的是机器学习模型本身的参数数量或者灵活性（模型的大小）。当我们说数据的最简洁表示就是 K氏复杂度时，我们指的是第一种复杂度。K氏复杂度衡量的是数据的内在信息量（类似于以前所说的深层结构、语义表示），并非数据的表面形式。比如，一个看似随机的字符串，如果它实际上是由一个简单的程序生成的，那么它的 K氏复杂度就很低。换句话说，K氏复杂度反映的是数据的规律性和可压缩性。当一个机器学习模型的参数过多，灵活性过高时，它可能会过度拟合训练数据中的噪声，导致在新数据上的泛化能力下降。这时我们说模型过于"复杂"，需要通过缩小模型的规模或使用正则化等技术来限制其复杂度。一个好的无监督学习模型应该能学习到接近数据的 K氏复杂度的表示（所谓无损压缩的理想）。也就是说，模型应该能抓住数据的内在规律，用尽量简洁的方式来表示数据，而不是简单地记住数据的表面形式。这一点为什么重要？换句话说，不懈追求无损压缩的理想为什么是获得智能的关键？信息的无损压缩（注意不是指传统的表层模态形式的无损压缩，例如音乐的无损压缩只是形式的无损压缩，与这里讲的信息内容的无损压缩不同）以达到K氏复杂度为天花板。换句话说，任何数据对象的K氏复杂度等于是该对象的深层语义。在深层语义的层面，不同数据的相同的语义就可以自然对齐，从而帮助实现不同数据的相互转换。这是对作为压缩器的大模型能够完成任何端到端AI任务（即逼近任何函数）的信息论意义上的解释。形式之间的转换作为智能任务，无论是机器翻译，还是文生图，图生图，文生音乐，文生视频，图生视频，看图说话，等等，都有一个预设。那就是输入和输出具有类似的意义，即有可以相通或对齐的K氏复杂度。完全不相干的形式无法转换和映射，也就不会具有相同的K氏复杂度。例如心电图与交响乐，就不兼容。它们各自的K氏复杂度对于对方等同于随机噪音，没有 shared 信息可以作为映射的依据。当我们说大模型像个魔术师，可以把任何形式转换成任何其他形式。其实里面蕴含了一个前提，就是转换的形式之间有可以对齐或意义兼容的 shared 深层结构，在意义空间它们是可以相互关联的。这个预设通常不需要特别明示，因为这是不言而喻的，而且在实际的AI应用中，人类想要模型帮助达成的某个智能任务，会自然而然遵循这个预设。否则，那个胡乱转换的智能任务指令就是一个不可理解的目标。人类自己都不理解目标是什么的话，也就谈不上是个正经的“任务”，也无法给出达成目标的任何黄金标准。当通用大模型把 input pattern 和 output pattern 都能压缩得很好的话，二者在意义空间的对应关系就剩下一层窗户纸了。大模型在多语言机器翻译上的成功是上述解说的最典型的显现。对于一个数据集C做压缩，目标当然是C的K氏复杂度，模型F的复杂度必须恰到好处，F不能太大，也不能太小。太大，譬如 模型规模大于数据集，就 overfitting，就无法逼近K氏复杂度。太小，模型“吃不下”数据，也不能做到好的压缩。scaling law 虽然是个经验法则，但理论规定了大模型与大数据之间适配边界，具体的适配比例，决定于实际效果的实验。我是小雅，每次两分钟，分享立委先生对于AI大模型的有角度的思考。谢谢聆听，咱们下次再见。
【相关】
https://blog.sciencenet.cn/blog-362400-1438945.html
上一篇：《介绍监督学习的数学原理》短视频科普
下一篇：大模型以来，觉得可以留个记录
