|
第七章 张量
7.1 张量简介
深度学习模型的逻辑结构是高阶张量。张量究竟是何方圣神?以张量来度量特征空间到底有什么优势呢?
“张量”既不是张良的哥哥,也是不张飞的弟弟,张量不姓张,不是一个人名。
张量是一种量,一种张开的量。
比如,肉眼看一个细胞,是一个粒子,一个数据。
如果通过放大镜、显微镜,我们会发现细胞是一个包含细胞核、核糖体、细胞质、内质网、高尔基体、囊泡、溶酶体、线粒体、细胞骨架、细胞膜、中心粒等等特征结构。放大镜下,细胞是一个有很多特征属性的系统,有一群数据。
张量就相当于这种放大镜。它把一个点粒子数据放大,呈现出多特征属性的系统,使我们能观察到其内部更加细微的系统结构。(如同波粒二象性,张量把一个点通过谱分析展开为一列特征值数据。)
下面转一篇网友关于张量的科普解读:
给物体一个力,物体会有一个加速度。经典力学告诉我们,力F和加速度a具有这样的关系:
F = m a
在坐标轴x、y、z三维空间上,实验现象告诉我们的规律是:
F_x = m a_x
F_y = m a_y
F_z = m a_z
如果我们想把上面三个公式写成一个式子,简化为点符合的表达式,可以写成熟悉的矢量形式:
其中F和a都是列矩阵,而m也写成粗体,注意这里的m不再是标量,而是一个张量,以3×3矩阵表示:
则,可以把三个分量式统一矩阵形式表达(矩阵形式可以清晰表现其中系统化的分量关系):
现在,假设我们这个世界变得奇怪一些。 往一个方向推物体,和往另一个方向推物体的质量m分量可能是不一样的。这样,三个方向的牛顿第二定律可以写成
F_x = m_x a_x
F_y = m_y a_y
F_z = m_z a_z
这时候,不能再用一个简单的矢量式子F = ma 把这三个物理量表达式写在一起了。
但类似的张量形式还可以用:
其中F、m、a 都是张量,m 张量式子如下:
此时 F = m a的表达式子的细节是:
接下去,让我们这个世界变得更奇怪些。往x方向推物体,物体不但会在x方向上有加速度,也会在y,z方向上有加速度。x方向的力与三个方向上的加速度的关系可写成三维分量叠加的方式:
F_x = m_{xx} a_x + m_{xy} a_y + m_{xz} a_z
当然,y方向、z方向的力也可以写成类似关系式。
这时候,更加不可能用一个简单的矢量式子F = ma 把这三个物理量的表达式写在一起。但仍然可以写出矩阵形式的公式,把三个方向的力和三个方向的加速度用一个公式联系起来:
进一步,张量不仅仅是二阶矩阵,还可以是三阶、四阶....n阶的形式
三阶的F=ma的张量图形大至如下:
三维空间中一个三阶张量有27个分量,似乎可以构成一组3个矩阵,每个矩阵都是3×3个元素。设想“三张平面”构成一个“立方体”。如下图所示:
对很多朋友而言,对于表示二阶张量的矩阵应该接触过,但看到高阶张量可能就会晕菜了。其实日常工作中,做数据挖掘、数据分析、报表分析的人士应该都了解的,只是不太熟悉这个名词而已。看看上下这两个图形,多像啊
更复杂些,在n维空间中,一个三阶张量有n^3个分量,也可以构成n个矩阵,每个矩阵都是n×n个元素。设想“n张平面”构成一个“立方体”,好像一块积木。如下图所示:
更高阶的张量画不出来,只能靠想象了......
简而言之,具有0个特征属性的量叫做0阶张量(标量),具有1个特征属性的量叫做1阶张量(向量),具有2个特征属性乘积复合的量叫做2阶张量,具有3个特征属性乘积复合的量叫做3阶张量......具有n个特征属性乘积复合的量叫做n阶张量
如果一个n阶张量是m维线性空间复合乘积而得,则这个张量称为n阶m维张量,具有‘m的n次方’维特征属性。
【注:为简洁描述,本文中对张量、张量积、张量场未予区分。如果没有特别说明 [比如左K(G)模张量积],本文所涉张量主要指线性空间张量积。】
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-12-25 01:22
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社