|
12.3 从向量逻辑到张量逻辑
谷歌搞了个深度学习的演示网页,非常直观:http://playground.tensorflow.org/
先让我们来看一个简单的分类问题。假设你有两组样本数据点:橙色组和蓝色组。要区分每一个数据点是橙色类的还是蓝色类的,你该如何编写代码?
这就是最最简单的“聚类”。很容易,只需像下面那样任意画一条对角线来分隔两组数据点。谷歌机器学习就是这样做的,它很快就划出了漂亮的分界线:
不过,同样的一条线对于分属4个区域的聚类,就无能为力了:
怎样才能正确划分一个4个区域的聚类,答案是增加隐层。也就是把单层向量空间扩展为多重的张量空间:
不过,这种简单扩充隐层的做法,并不总是有效的。
当聚类的图形是圆形之类曲线时,用二次函数、三角函数等作为特征基,效果非常好:
但是,对于更复杂的图形,TensorFlow Playground 有时会进入死角。 谜一般的隐层,是高阶逻辑的迷宫,仿若黑箱,知其然不知其所以然。
如果特征基和隐层构造得当,众多神经元组成的深度神经网络能提取更多特征,解决更复杂更抽象的问题,这时梯度下降的多级迭代就会出奇奏效:
甚至,哪怕有噪音影响,通过一步步算法迭代,机器依然能自己成功算出了最佳匹配模型。精妙至极、完美之至。
最令人惊叹的是,如此复杂(哪怕混入了很多噪音样本点)的样本聚类,并不是引入了什么高深的算法。上面机器学习中的核心算法不过是一条小学五年级的公式:aX+bY=c
为什么如此简单的算法就能完美推导如比复杂的结论呢?因为深度学习模型,是张量空间,远远超越了向量空间(通常我们把有限维的实线性空间叫做矢量空间、向量空间)一阶逻辑的局限性。
张量之神奇,从谷歌这个小小演示中一目了然!曾经,人工智能专家都认为深度学习的成功不过是瞎猫碰上死耗子,只是花拳绣腿假摆式而已,并无理论的支撑。恰恰相反,深度学习所依赖的张量空间,不仅内力深厚,而且力量无穷无尽,远超常人想象。
机器学习专家早年之所以对深度学习嗤之以鼻,是因为深度学习模型不是凸函数、没有极值点、无法线性回归,殊不知函数、极值、线性都只是向量空间的概念,而张量空间远不是小儿科的向量所能完美表达的。
当前的深度学习模型中最流行的线性聚类、梯度下降、稀疏自动编码等等,都是传统机器学习常用方法,都是基于线性空间的概念。但是,深度学习模型并不是线性空间,而是张量空间。以线性空间为基础来研究张量空间,初步阶段的,当然可以,因为向量就是一阶张量、矩阵就是二阶张量。但就此以为张量如向量般简单性质,显然狭隘了。
虽然深度学习一波又一波冲击着人工智能的最前沿,不过业界对深度学习理论的理解,其实才刚刚起步。
在深度学习下阶段发展中,至少有一点是非常值得关注的,那就是“群”。
很少有人注意到群论对于深度学习模型具有特殊意义。
张量逻辑与向量逻辑差异巨大,群论正是解答张量高阶逻辑的一把金钥匙。当年,伽罗瓦另辟蹊径不以传统线性一阶逻辑思维解答问题,而是创造了一种全新思维的张量模式算法,实现了对整个代数方程(隐含虚数i的张量)的逻辑解答。伽罗瓦群是解决复杂系综问题最具跨越性的重大突破。
为什群论和张量有深刻内在关系呢?
先简要一提:
群的定义有4条,除了代表完备性质的封闭性、单位元、逆元,群的根本属性就就一条结合律:(AB)C=A(BC)
我们再来看看张量,前面说过所谓张量就是矩阵乘积:(矩阵A*矩阵B)
而,矩阵乘积基本性质也是结合律:(矩阵A*矩阵B)*矩阵C=矩阵A*(矩阵B*矩阵C)
那么,这又有什么意义吗?
最直接的,群论一剑封喉直指“聚类”,从样本点(元素)聚类到关系结构(算法)聚类。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-10-20 11:20
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社