第七章 张量

7.1 张量简介

    深度学习模型的逻辑结构是高阶张量。张量究竟是何方圣神？以张量来度量特征空间到底有什么优势呢？

   “张量”既不是张良的哥哥，也是不张飞的弟弟，张量不姓张，不是一个人名。

    张量是一种量，一种张开的量。

   比如，肉眼看一个细胞，是一个粒子，一个数据。

   如果通过放大镜、显微镜，我们会发现细胞是一个包含细胞核、核糖体、细胞质、内质网、高尔基体、囊泡、溶酶体、线粒体、细胞骨架、细胞膜、中心粒等等特征结构。放大镜下，细胞是一个有很多特征属性的系统，有一群数据。

   张量就相当于这种放大镜。它把一个点粒子数据放大，呈现出多特征属性的系统，使我们能观察到其内部更加细微的系统结构。（如同波粒二象性，张量把一个点通过谱分析展开为一列特征值数据。）

   下面转一篇网友关于张量的科普解读：

   给物体一个力，物体会有一个加速度。经典力学告诉我们，力F和加速度a具有这样的关系：

   F = m a

   在坐标轴x、y、z三维空间上，实验现象告诉我们的规律是：

   F_x = m a_x

   F_y = m a_y

   F_z = m a_z

   如果我们想把上面三个公式写成一个式子，简化为点符合的表达式，可以写成熟悉的矢量形式：

  其中F和a都是列矩阵，而m也写成粗体，注意这里的m不再是标量，而是一个张量，以3×3矩阵表示：

   则，可以把三个分量式统一矩阵形式表达（矩阵形式可以清晰表现其中系统化的分量关系）：

   现在，假设我们这个世界变得奇怪一些。 往一个方向推物体，和往另一个方向推物体的质量m分量可能是不一样的。这样，三个方向的牛顿第二定律可以写成

   F_x = m_x a_x

   F_y = m_y a_y

   F_z = m_z a_z

   这时候，不能再用一个简单的矢量式子F = ma 把这三个物理量表达式写在一起了。

   但类似的张量形式还可以用：

其中F、m、a 都是张量，m 张量式子如下：

  此时 F = m a的表达式子的细节是：

   接下去，让我们这个世界变得更奇怪些。往x方向推物体，物体不但会在x方向上有加速度，也会在y，z方向上有加速度。x方向的力与三个方向上的加速度的关系可写成三维分量叠加的方式：

   F_x = m_{xx} a_x + m_{xy} a_y + m_{xz} a_z

   当然，y方向、z方向的力也可以写成类似关系式。

   这时候，更加不可能用一个简单的矢量式子F = ma 把这三个物理量的表达式写在一起。但仍然可以写出矩阵形式的公式，把三个方向的力和三个方向的加速度用一个公式联系起来：

    进一步，张量不仅仅是二阶矩阵，还可以是三阶、四阶....n阶的形式

    三阶的F=ma的张量图形大至如下：

       三维空间中一个三阶张量有27个分量，似乎可以构成一组3个矩阵，每个矩阵都是3×3个元素。设想“三张平面”构成一个“立方体”。如下图所示：

   对很多朋友而言，对于表示二阶张量的矩阵应该接触过，但看到高阶张量可能就会晕菜了。其实日常工作中，做数据挖掘、数据分析、报表分析的人士应该都了解的，只是不太熟悉这个名词而已。看看上下这两个图形，多像啊

         更复杂些，在n维空间中，一个三阶张量有n^3个分量，也可以构成n个矩阵，每个矩阵都是n×n个元素。设想“n张平面”构成一个“立方体”，好像一块积木。如下图所示：

     更高阶的张量画不出来，只能靠想象了......

     简而言之，具有0个特征属性的量叫做0阶张量（标量），具有1个特征属性的量叫做1阶张量（向量），具有2个特征属性乘积复合的量叫做2阶张量，具有3个特征属性乘积复合的量叫做3阶张量......具有n个特征属性乘积复合的量叫做n阶张量

    如果一个n阶张量是m维线性空间复合乘积而得，则这个张量称为n阶m维张量,具有‘m的n次方’维特征属性。

【注：为简洁描述，本文中对张量、张量积、张量场未予区分。如果没有特别说明 [比如左K（G）模张量积]，本文所涉张量主要指线性空间张量积。】