|
8.7 线性空间和manifold
manifold英文原意为“多层”体(中国把这个词翻译为颇具文艺范的词“流形”,这个朦胧诗般的词语严重误导了大家对其本意“多层体”的理解)。
如果我们把线性空间看作一张平面板,那么manifold“流形”就可以形象的看作很多平面板络在一起的多层几何体。
形象而言,manifold是一种由n层的a维线性空间叠放而成的‘a的n次方维’的多层次结构系统:
如果多层平板叠放曲率较大,它可能是这个样子的:
也可能是这个样子的:
前几节我们探讨了,所有的深度学习模型的根本要点在于两个方面:
1、提取一个层次的特征基系,线性组合之,相当于加法:S =∑an
2、在多个隐层提取不同层次特征基系,逐层复合之,相当于乘法:f1(f2(f3(x)))= f1*f2*f3
第一,同一个层次的特征基系统 S =∑an,是一个线性空间,形象看就是一张平板。
第二,如果这张平板通过线性变换(平移、伸缩、旋转)映射为另一张平板,相当于线性变换函数的复合作用f1(f2(f3(x)))。这是简化版的manifold“流形”结构。
因为其中的平移、伸缩不改变特征方向(即不改变特征基,其线性变换相对简单),所以“流形”结构分析更重要的是探讨改变了特征方向的旋转变换(群生成元)。
爱因斯坦引入“流形”模型分析广义相对论,是经典物理学的巨大飞跃,逻辑深度远远超过牛顿线性空间参照系的局限性。
流形多层体的特征基维度是a的n次方(拓扑上连续可微即n趋于ℵ1,此时a的n次方为ℵ2)。比如,广义相对论的闵氏广义黎曼空间是n阶4维张量(4的n次方维特征向量),相当于10维流形结构。
同样道理,深度学习模型多隐层的类似“流形”结构,也必将推动AI发展跨过线性空间参照系的局限性,飞跃全新的高度。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-11-22 19:46
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社