8.9 开启另一扇窗

   深度学习AI大放异彩，取得不俗成绩。那是否意味着从此深度学习走向康庄大道，再无阻隔呢？ 遇到问题时，是不是只要多加几个隐层就万事如意呢？ 哥德尔不完备性定理是否从此可以抛诸脑后了呢？

   最起码在目前，这种想法过于天真了。根据代数基本定律，代数完备解必须在复空间才能实现，而复数意味着无穷维特征方向，这意味着要彻底解决完备性问题，需要构造无穷多层的隐层才行，但是没有哪台计算机可以装载无穷深度的隐层。如果你的深度学习模型只有有限层，那么很有可能最优解无法落地到你的特征参照系中，特征分析值也许会跳出三界外让你永远摸不着。

    并且，即使不考虑无穷层的硬件难度，仅仅是提升隐层深度，也很可能导致维数灾难（计算量过载）。因为特征向量与隐层深度是a的n次方的指数关系，添加隐层虽然能有效提升匹配精度，但运算量的付出常常也是难以承受的。理论是美好的，应用却是曲折的，令人沮丧。

    实际应用时，我们会发现深度学习纸上谈兵的运筹帷幄也许实施不了。大多数现实深度学习模型都比较复杂，多个矩阵的复合乘积，很可能数天、数月、数年机器运行都得不了结果。因为多层次逻辑结构的复合，涉及到“多重逻辑与”运算。前面提到过，哪怕是维度不太高的矩阵乘积，运算量也大得惊人。特别是多重线性映射的张量复合乘积运算，海量演算量的时效性更是无法容忍。

    有人会想到，利用卷积定理来简化张量复合乘积运算。这里简要捋一捋：

    深度学习模型运算的本质，是矩阵乘积。两个隐层复合的情况如下：

   既然是矩阵乘积，也许可以考虑转化为卷积，再以以卷积矩阵相乘，如下：

      多层线性空间情况以卷积矩阵表示,如下：

       多层线性空间多层卷积变换如下：

    通过傅立叶变换以后，繁杂的矩阵海量运算变成了简单数乘。运算量问题似乎不用操心了，深度学习机制的困难也就迎刃而解了。

    进一步看，傅里叶变换的特征基exp(ipr)是全体线性时不变系统的公共基，这必然使得它具有广泛深远意义。 因为矩阵乘积的交换率依赖其共同本征函数系的完备性，所以可判断线性时不变系统是完备的系统。

【运算量估计】

    傅里叶变换对偶空间如同客观事物属性表征的两个面，一个事物的时空域的特征属性核函数唯一地对应于其频域的特征属性。因此，简洁的频域数据，反映的是同一事物的特征属性，它与时空域复杂的特征属性矩阵（或高阶张量）意义等同。二者都都唯一表征了同一个事物内禀属性。在时空域复合函数极大似然匹配一个事物、则频域亦同样极大似然匹配一个事物。

   同一个层次的概念形成一个线性空间，由确定的特征基（本征函数、特征向量）作为坐标轴。然后，同一个层次的事物可以通过本层次的线性空间的进行向量分解，即计算投影值（特征值）。 在深度学习训练阶段，系统把猫的特性通过一层又一层逻辑空间的表达，每一层线性分解可以分别看作在此层特征粒子上的投影参数。当训练结束时，系统会得到一个猫属性的特征参数组合，这是多重特征的高阶张量。因为不同层次的逻辑空间，特征基的概念属性也会不同，特征基具备层次性，而多层特征基的复合结构中包含了高阶逻辑的‘联合逻辑与’。与一般线性空间的向量分解不同的是，卷积适用于复杂的多层次线性空间，它可以实现多层逻辑空间子要素的复合层次分解，因为卷积是多重线性映射的投影、是多重线性映射的‘联合逻辑与’运算。

  多重线性映射空间的高阶逻辑‘与’，通过傅立叶变换，将转换成简单的数乘，即点一阶逻辑‘与’门。 换句话说，异常复杂的交错叠加关系的两个系统，通过傅立叶变换，在对偶域将呈现简单点逻辑关系。

  既然对线性时不变系统的处理可以变得非常简单，首先想到的是，如果我们面对一个非线性时不变系统时，可不可以想点办法，扩充凑出一个线性时不变的系统呢？

  时不变系统的意义，正如字面含义，要点在于“不变量”。一切的随机现象，虽然作为单个‘个体’而言随机事件是不确定的，但是作为‘整体’属性的概率分布(数学期望）却是不变的。‘个体’事件也许偶发，但大量个体汇集的‘整体’现象符合大数法则概率稳定。系统的固有特征属性，是关键。在大量个体堆积的试验中，随机非确定的单个‘个体’现象虽然不具备确定的可验证性，但是其‘整体’系统固有特征属性的概率特征却是不变的、可验证的、可重复实验的。

  这就是说，‘个体’不稳定的随机系统，可以扩充到完备空间时，从而成为‘整体’稳定的时不变系统。

    人总是要吃饭的、树要喝总是水的、海枯石烂的爱情总是令人神往的，无论世界如何变化，有些东西总是永恒不变的。本质上，这是大量随机事件的共同不变性的系统固有特征属性体现。整体的概率属性体现的是大量个体的共同不变的系统固有特征属性。这种不变性，成为扩充凑出一个线性时不变的基础。比如，通过引入概率本证态概念，可以把‘个体’事件的随机性转换为‘整体’概率（数学期望）的稳定性，从而把单个电子通过夫琅禾费点孔现象扩充为高阶张量下的“线性时不变系统”。

    在上一章节，我曾经探讨过关于“单个电子通过夫琅禾费点孔的衍射图”的有趣问题时发现，要解释这个独特现象，必须要引入“概率本征态”的概念。【在经典物理中，一个物体绝对不可能穿过比它自身更小的障碍孔，当障碍屏“点孔”非常小时，经典粒子将会比“点孔”大，这时经典粒子不能通过比其更小的“点孔”。但是对于量子现象则有所不同，类似贯穿势垒的量子隧穿效应，具备某能量（频率）电子将会闯过障碍“点孔”、另一些则穿不过去。这对于单个电子而言，相当于逻辑上的概率性，而这种表征不同频率（可能还包含自旋方向、角动量等等不同属性）的电子的穿透性的概率幅，表征了‘概率本证态’。】 上述以‘概率本证态’来解释单个电子通过夫琅禾费点孔的衍射图 ，实际上隐含的引入了“时不变”的理念。 单电子通过夫琅禾费点孔，当电子没有通过，接受屏黑黢黢一片。这个没啥可说的。单电子通过夫琅禾费点孔，有时电子可以遂穿，这种情况接受屏会出现一个电子点。那么此时此刻接受屏是一个光点，构成了‘点孔’+‘光点’现象。这个现象可以看作一个“系统”，包含了点孔、光点、狭缝等等要素。

  另一个形象的例子是，计算机硬件和软件都是线性系统的：

  计算机硬件 <= 集成电路板 <= 逻辑或门＋逻辑与门＋逻辑非门

  计算机软件 <= 程序 <= 基本语句＋封装函数＋数据  

   但是，无论是计算机硬件，或是软件都无法单独使用，是不完备的。

   我们知道，一个成功运行的计算机系统是硬件＋软件的集合体。裸机要运行必须安装配套的软件系统，完整的计算机系统实际是硬件（不完备线性空间）的逻辑扩充。

   这和完备的量子态空间必须超越实体空间（硬件），扩充（软件）逻辑的‘概率本证态’等概念的意义是一样的。只有依赖‘概率本证态’这种非实体的软概念，量子态空间才成为完备的线性时不变系统。

  只要你愿意，一方面，任何系统都可以分解为线性系统（或者多重线性映射系统），以矩阵（或者高阶张量）表达；另一方面，一切随机系统都可以扩充拼凑成时不变的完备系统，从而能厘清内在简洁规律。这意味着，所有的系统都可以扩充为线性时不变系统，通过卷积定律轻而易举实现高阶逻辑演算。

    但是，但是，但是请注意，一个随机系统扩充到是线性时不变系统，往往代价是扩充到阿列夫2阶无穷大特征属性。也许量子计算机可以达到这种特征维度，但是在当前电子计算机时代是可望不可即的。如果我们希望在当下突破深度学习演算瓶颈，显然需要另辟蹊径。幸运的是，上帝给你关了一扇门,必然会为你开启另一扇窗。

    这扇新窗户就是“群”。通过群理论，‘n阶a维’特征属性张量将简化表达为‘m维’群生成元流形。

   细想一下，我们人类所不擅长的高阶逻辑，下一代AI又凭借什么来演绎呢？

   究其根本，因为高阶逻辑的张量复合乘法蕴含着群因子，比如狭义相对论对应洛伦兹群、不确定性原理对应海森堡群，所有已知复杂系统都由确定的单群复合而成。多重矩阵乘积的深度学习人工智能至少与李群匹配，所以其逻辑层次必然高于我们熟知的一阶逻辑。也许我们大脑能模糊地、笼统地、感性地理解某些高阶张量系统，但是量化地、精确地、理性地分析高阶张量，数学视野来看目前似乎只有李群可以实现。

   如果将张量特征向量的代数演算（李代数结构），同胚到群生成元（李群结构）。以多特征方向的群生成元来替代单一特征方向的向量，来度量系统特征属性，将大大简化运算量。

   历史上科学最初是由宗教圈养的，而如今科学早已摆脱宗教束缚。深度学习AI最初由矩阵乘积而来，未来秉承高阶逻辑的AI能够突破矩阵束缚吗？未来秉承高阶逻辑的AI能够从演算n阶m维张量走向运算m维流形吗？未来秉承高阶逻辑的AI能够在群生成元参照系演绎魔群光辉吗？

  在广义黎曼空间闵氏度规下，10维时空流形 = n阶4维张量

   后面，我们会详细探讨‘域扩张’形成的高阶张量，其不同层次“不变性”与相应群变换（完备性）的深刻内在关系。