8.4 卷积是什么鬼

    先用一个网络上搞笑形象的例子简要说说卷积是什么：

    有一个七品县令，喜欢用打板子来惩戒那些市井无赖，并且如果没犯大罪，只打一板然后释放回家，以示爱民如子。有一个无赖，想出人头地却没有真本事。怎么办？炒作呗！怎么炒作？找名人呀！他想到了他们县的头号名人——县令。于是无赖光天化日之下，站在县衙门前撒了一泡尿。后果是可想而知，挨了县令一个板子。然后这家伙昂首挺胸回家，身上啥事也没有。第二天如法炮制，第三天又来，第四天……每天去县衙门领一个板子，然后拍拍屁股回家。没多久，这无赖的名气已经和衙门口的臭气一样，传遍八方了！。

    县令大人噤着鼻子，呆呆地盯着案子上的惊堂木，拧着眉头思考一个问题：这么多天打板子怎么不好使捏？……想当初，本老爷金榜题名时，数学可是得了满分，今天好歹要解决这个问题：

    ——人（系统）挨板子（脉冲），会有什么表现（输出）？

    ——费话，疼呗！

    ——我问的是：会有什么表现？

    ——看疼到啥程度。

    像这无赖的体格，每天挨一个板子啥事都不会有，连哼一下都不可能，你也看到他那得意洋洋的嘴脸了（输出0.1）；如果一次连揍他十个板子，他可能会皱皱眉头，咬咬牙，硬挺着不哼（输出1）；揍到二十个板子，他会疼得脸部扭曲，象猪似地哼哼（输出2）；揍到三十个板子，他可能会象驴似地嚎叫，一把鼻涕一把泪地求你饶他一命（输出3）；揍到四十个板子，他会大小便失禁，勉强哼出声来（输出4）；揍到五十个板子，他连哼一下都不可能（输出5）——死啦！

    县令铺开坐标纸，以打板子的个数作为X轴，以哼哼的程度（输出）为Y轴，绘制了一条曲线：

    ——呜呼呀！这曲线象一座高山，弄不懂弄不懂。为啥那个无赖连挨了三十天大板却不喊绕命呀？

    —— 呵呵，因为你打一次的时间间隔（Δτ=24小时）太长了，所以那个无赖承受的痛苦程度一天一利索，没有叠加，始终是一个常数；如果缩短打板子的时间间隔（建议 Δτ=0.5秒），那他的痛苦程度可就迅速叠加了；等到这无赖挨三十个大板（t=30）时，痛苦程度达到了他能喊叫的极限，会收到最好的惩戒效果，再多打就显示不出您的仁慈了。

    ——还是不太明白，时间间隔小，为什么痛苦程度会叠加呢？

    ——这与人（线性时不变系统）对板子（脉冲、输入、激励）的响应有关。什么是响应？人挨一个板子后，疼痛的感觉会在一天内慢慢消失（衰减），而不可能突然消失。这样一来，只要打板子的时间间隔很小，每一个板子引起的疼痛都来不及完全衰减，都会对最终的痛苦程度有不同的贡献：  

    t个大板子造成的痛苦程度=Σ(第τ个大板子引起的痛苦*衰减系数)

    [衰减系数是（t-τ）的函数]

    数学表达为：y(t)=∫T(τ)H(t-τ) dτ  

   [即：T和H的卷积]

    白话说，即板子的疼痛‘与’痛苦衰减的乘积联合作用，决定了整体输出的效果是笑呵呵或是死翘翘。

   ——拿人的痛苦来说卷积的事，太残忍了。除了人以外，其他事物也符合这条规律吗？

   ——其实天地之间很多事情也遵循此道。好好想一想，铁丝为什么弯曲一次不折，快速弯曲多次却会轻易折掉呢？

    上面打板子的例子，对初学者可能还是一头雾水。我们还可以换个角度，来进一步审视卷积的真面目。见下图：

    下面，我们再从两个西格玛级数的乘积来理解“卷的积”：

    卷积类似上面等式右边的一堆数据乘积，展开后复杂得只有不断的用一堆顿号来省略表达。

    当然，在等式左边是很简单的，只不过是普通简单‘点’乘而已。

    进一步分析,如果从等式左边推导等式右边，不难，按部就班一步步算就行了。

    但如果从等式右边推导到等式左边呢，还有章可循么？比如，一堆大数据给你，你能够从中推导出一个简单的规律吗？

    这就像在迷宫中寻找出路，从出口到入口总是比较简单，但从入口到出口却容易迷失。

    在不知道出口的情况下自入口摸索前行，如果单凭蛮力往往困惑丢失方向而不可达到。

    一大堆多元函数相加会得到什么，很难说。‘卷的积’并不讨人喜欢。 痛苦的是，尽管‘卷积’杀脑细胞，但它却是逻辑运算绕不开的坎。

   在数字电路中，“门”是实现基本逻辑关系的电路。最基本的逻辑关系是‘与’、‘或’、‘非’，相应的最基本的逻辑门是‘与’门、‘或’门和‘非’门。也就是说，这三种基本逻辑门构成了现代电子计算机的逻辑运算基石。在一阶逻辑中，通过三种基本逻辑门完全能够解决向量空间（线性空间）的逻辑运算。这就是图灵机的基本原理。

   遗憾，一阶逻辑对于特征属性分析是有局限性的，无法解答多重复合特征属性系统的问题。

   我们知道，对复杂的系统而言，各个对象之间看作“点”概念时往往不具备简单线性关系。但是如果把“一个点”对象体谱分析扩展为“一群序列”子集合，则此对象体可视作一个“集合”体系，则在微分几何学视角下，具备微分度量的多重线性关系，即多重复合特征属性。所以，一阶逻辑下的非线性关系对象，可以在高阶逻辑中以多重线性关系表达（比如张量）。

　如果两个函数彼此之间不具备简单正比关系，却具备微分偏线性关系，则需要面对麻烦的矩阵乘积。这类似逻辑“与”运算中，完成一个任务需要几个步骤， 每个步骤有几种方案，则实现方式是‘乘积’，当方案比较复杂时就意味着矩阵乘积是不可避免的。

   由此，自然会想到，一阶逻辑的局限性，通过张量偏微分度量是否可以完美解决呢？

   一阶逻辑的三种基本逻辑门，‘或’门相当于加法，由向量空间扩展到张量空间时加法依然简单；‘非’门即状态反相，由向量空间扩展到张量空间时反相依然简单。

   难就难在‘与’门，逻辑‘与’门相当于复合乘法，矩阵乘法已然困难重重，何况高阶张量。高阶张量相乘难于上青天，硬算当然无从入手，啃不了这块硬骨头。

   幸运的是，从卷积出发，却是一条明路。

   值得一提的是，‘与’门在概率论中即联合概率。

   两个变量f(x,y)分布叫做联合概率密度，记为f(x)∩f(y) ，其中f(x)、f(y)系单个变量的概率分布。

    一般而言，x和y可能相互影响，所以 f(x)∩f(y) <> f(x)f(y)

    不过，当且仅当x和y相互独立时，有f(x)∩f(y)=f(x)f(y)

    线性空间中相互独立即线性无关，换句话说，联合概率能否分解成两个单变量的简单乘法，当且仅当两个单变量线性无关时。

    这意味着，不具备简单线性关系的两个函数，如果具备连续谱分析特征属性下的多重线性关系，则在微分度量形式下有：f(x)∩f(y)=f(x)f(y)

    进一步，如果微分形式下有f(x)∩f(y)=f(x)f(y)，则其‘整体’（积分后）是什么东东呢？

    帅呆了，这，就是“卷积”！

    以下是推论过程：

   
   显然,卷积就是一阶逻辑司空见惯的逻辑‘与’门的高阶逻辑推广,即联合概率密度，任何多重线性系统（符合叠加原理）的多重乘积，都可以视为卷积。

   所谓“注意力”指的是主观对于客观事物的关注度，是主观作用客观的复合（主观*客观），所以能够借用卷积算子。

   事实上，表达复合作用的‘与’门，是逻辑分析的重要基础，特别是对于隐含复合特征属性的张量演算。但是，‘与’门所涉及的联合乘积运算量巨大，演算非常麻烦。那么，有没有什么好的办法可以简化联合概率密度的运算呢？

    如果以exp(ipr)作为卷积因子，这种特殊卷积会带来奇迹。它能把高阶逻辑多重复合乘积‘与’轻而易举转换为一阶逻辑的简单乘积‘与’， 从而实现从庞大数据到简单规律的升华。

   傅立叶变换理论中有一个著名的“卷积”定理：两个函数的卷积等于其傅立叶变换后的简单乘积。

   为什么复杂的卷积能够转换为简洁的乘法运算呢，是因为exp(ipr)是所有线性时不变系统的共同本征函数系，因此exp(ipr)可以在线性系统中随意穿越，从逻辑运算括号中渗析而出，从而变成简单乘法。

  乍一看，傅立叶变换呈现出有悖常理的奇异性质：时空域的波群越复杂庞巨，则频域的值会越加简洁。为什么会这样呢？ 直观理解，这是因为傅立叶谱分析的特征基exp（ipr）有独一无二的绝杀技：不同参数的exp（ipr）两两正交(如同不同频率的波两两正交)。这意味着复杂庞巨的以exp（ipr）为元素的矩阵(或高阶张量)，两两叠加后内含的exp（ipr）元素相乘会因为正交性而化为零值，变成简洁易算的稀疏矩阵（sparse matrix)。 所以我们有可能从复杂庞巨的exp（ipr）的高阶张量群集运算中，获知非常简洁的规律。
   
　　这种‘波集群’叠加与‘点元素’逻辑轨迹的对应映射，非常吻合人类大脑的神经网络运行模式。众所周知，当人类的被感知触发时，一方面大量神经细胞受激形成各自的脉冲，一方面大脑能自动汇集收敛为‘一心一意’的点轨迹逻辑。神经网络由大量的神经元共同触发的脉冲共同作用，不同频谱叠加混绞，思维过程却能形成一个收敛点轨迹逻辑。复杂的信号群、简单的点轨迹逻辑，快速运算，不仅是大脑特性，亦是卷积的特性。

　　换句话说，当各型杂类异常复杂的波混绞一起时，很有可能因为相互正交而呈现独特简洁的单一规律。
　　而这，是傅立叶变换的本源、是波粒二象性的本源、也可能是神经网络逻辑的本源。
　　一方面，exp（ipr）是万事万物的共同原料；一方面，exp（ipr）能超越时空化繁为简。
　　一方面是大道，大到阿列夫2级无穷大
　　一方面是至简，简至一个粒子点轨迹

　　同时,这也是卷积定理的本源。卷积本身是‘集群’波的多重复合乘积运算，但其傅立叶变换后则为变形为元素‘点’的普通乘积运算。
　　请注意，因为积分函数是集群运算，涉及无穷多个微分点的共同运算，所以卷积所蕴含的函数复合乘积是非常复杂的。一般而言硬算积分乘积根本就算不出来。事实上，不仅连续值的积分乘积演算困难，即使离散值的矩阵乘积也常因为海量运算而不得不知难而退。
　  幸运的是，通过傅立叶之手，时域复杂的卷积，频域将变换为一年级小学生都可以演算的简单乘积：
　　时域：波涛汹涌、惊涛拍岸、万千混沌湮灭；
　　频域：朗朗晴空、水平如镜、一轮独舟荡漾 。

    exp（ipr）是所有线性时不变系统的共同本征函数系。它能表达万物、广纳百川，无所不至、无所不及。 从微观粒子到广阔宇宙、从量子力学到相对论、从实体物质空间到逻辑概率波、从李代数到李群、从特征向量到群生成元，处处可见它动人舞姿美妙旋律。这家伙拥有完美绝伦的深厚内力，拥有征服世界的非凡神器......

    卷积定理的诀窍也在于傅里叶变换的exp(ipr)特征基，通过exp(ipr)基把复杂庞大的卷积演算在对偶域变成了简单乘法，把微分的多重线性映射变成了整体的简单线性关系，把高维演算降维化为一维运算，这是卷积神经网络的核心理论基础。

    如果某个空间不是一个完备系统，那么我们是否可以想办法扩充其中的随机变量为不变的概率分布量，凑成线性时不变系统，引入exp(ipr)特征基，然后通过傅里叶变换，把多重线性映射的逻辑与转换成矢量空间一阶的逻辑与，然后哗哗哗......轻松搞定，呵呵呵