|
12.4 伽罗华可解群
深度学习模型如上图所示,如果我们把其中的连线参数一个个都记下来,会发现每一隐层都可以记为一个矩阵,而多个层级的隐层整体相当于矩阵的连乘:
由于多个矩阵乘积,也就是高阶张量,并不是一阶逻辑的,所以我们很难理解其中的逻辑。比如,棋迷们都看出alpha go的棋法高超,但对于它为什么这样下,它是如何想的,人类却知其然不知其所以然。对我们而言,深度学习多层隐层如同黑箱。
那么,有没有什么办法能够厘清其中逻辑,以一种简洁形式呈现出来呢?
有!
前面说过,仅含向量的空间必然是向量空间,所以高阶张量一定不仅仅包含了向量,一定还包含着旋量。
那么,如果把旋量结构作为基本构件,以此来审视张量模型会不会比较一目了然呢?
当年,伽罗华灵光一现,最先就想到了这点。
伽罗华之前,求解高次代数方程的实数根,千年来都一直是可望不可即的天书。伽罗华另辟蹊径,不以向量为基础,而以旋量为出发点。很快,他就发现如果一个代数系统对应的伽罗华群是由一串循环单群组成,则这个代数方程有根式解。
我们来简要看看伽罗华证明的实质:
首先,伽罗华群即置换群,由于置换可以分解成更小单位的轮换,而轮换又可以矩阵表达,所以置换可以传化为轮换矩阵的乘积,所以置换的实质就是张量。也就是说,伽罗华群的元素是张量。
同时,也因为存在轮换子结构,所以置换群可以由更小单位的素数阶循环单群分解,当这种分解是完备时,则此置换群有完备根式解。
换句话说,循环单群是解答置换张量系统的关键,又因为素数阶循环单群的实质是素数分圆方程(旋量结构),所以说伽罗华理论的核心就是旋量结构。
简而言之,如果伽罗华群的‘因数分解’由一串素数分圆结构组成,则可解。
回到深度学习,因为它是张量模型,所以它能解决其它向量空间模型无法解答的机器学习难题。
不利的一面是,张量系统复杂性意味着运算量巨大,还难以理解。
不过,群论恰好长于简化复杂系综的演算,也容易领会。那么,如果我们把一般的深度学习参数系统,转化为某种群结构,是否可行呢?这样的结构会不会拥有更高级的训练学习能力呢?
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-10-20 15:45
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社