博文

范数

已有 8516 次阅读 2020-4-27 11:30 |个人分类:高数|系统分类:科研笔记

（一）引入

在介绍主题之前，先来谈一个非常重要的数学思维方法：几何方法。在大学之前，我们学习过一次函数、二次函数、三角函数、指数函数、对数函数等，方程则是求函数的零点；到了大学，我们学微积分、复变函数、实变函数、泛函等。我们一直都在学习和研究各种函数及其性质，函数是数学一条重要线索，另一条重要线索——几何，在函数的研究中发挥着不可替代的作用，几何是函数形象表达，函数是几何抽象描述，几何研究“形”，函数研究“数”，它们交织在一起推动数学向更深更抽象的方向发展。

函数图象联系了函数和几何，表达两个数之间的变化关系，映射推广了函数的概念，使得自变量不再仅仅局限于一个数，也不再局限于一维，任何事物都可以拿来作映射，维数可以是任意维，传统的函数图象已无法直观地表达高维对象之间的映射关系，这就要求我们在观念中，把三维的几何空间推广到抽象的n维空间。

由于映射的对象可以是任何事物，为了便于研究映射的性质以及数学表达，我们首先需要对映射的对象进行“量化”，取定一组“基”，确定事物在这组基下的坐标，事物同构于我们所熟悉的抽象几何空间中的点，事物的映射可以理解为从一个空间中的点到另一个空间的点的映射，而映射本身也是事物，自然也可以抽象为映射空间中的一个点，这就是泛函中需要研究的对象——函数。

从一个线性空间到另一个线性空间的线性映射，可以用一个矩阵来表达，矩阵被看线性作映射，线性映射的性质可以通过研究矩阵的性质来获得，比如矩阵的秩反映了线性映射值域空间的维数，可逆矩阵反映了线性映射的可逆，而矩阵的范数又反映了线性映射的哪些方面的性质呢？矩阵范数反映了线性映射把一个向量映射为另一个向量，向量的“长度”缩放的比例。

范数是把一个事物映射到非负实数，且满足非负性、齐次性、三角不等式，符合以上定义的都可以称之为范数，所以，范数的具体形式有很多种（由内积定义可以导出范数，范数还也可以有其他定义，或其他方式导出），要理解矩阵的算子范数，首先要理解向量范数的内涵。

范数理论是矩阵分析的基础，度量向量之间的距离、求极限等都会用到范数，范数还在机器学习、模式识别领域有着广泛的应用。

（二）0 范数、1 范数、2 范数

分别列举常用的向量范数和矩阵范数的定义：

（1）向量范数

1-范数：

$||x||_1 = \sum_{i=1}^N|x_i|$ ，即向量元素绝对值之和，matlab调用函数norm(x, 1) 。

2-范数：

$||\textbf{x}||_2 =\sqrt{\sum_{i=1}^Nx_i^2}$ ，Euclid范数（欧几里得范数，常用计算向量长度），即向量元素绝对值的平方和再开方，matlab调用函数norm(x, 2)。

$\infty$ -范数： $||\textbf{x}||_\infty = \max_{i}|x_i|$ ，即所有向量元素绝对值中的最大值，matlab调用函数norm(x, inf)。

$-\infty$ -范数： $||\textbf{x}||_{-\infty}=\min_i|x_i|$ ，即所有向量元素绝对值中的最小值，matlab调用函数norm(x, -inf)。

p-范数： $||\textbf{x}||_p = (\sum_{i=1}^N|x_i|^p)^{\frac{1}{p}}$ ，即向量元素绝对值的p次方和的1/p次幂，matlab调用函数norm(x, p)。

（2）矩阵范数

1-范数：

$||A||_1 = \max_j\sum_{i=1}^m|a_{i,j}|$ ，列和范数，即所有矩阵列向量绝对值之和的最大值，matlab调用函数norm(A, 1)。

2-范数：

$||A||_2 = \sqrt{\lambda_1}$ ， $\lambda<br/>$ 为 $A^TA$ 的最大特征值。谱范数，即A'A矩阵的最大特征值的开平方。matlab调用函数norm(x, 2)。

$\infty$ -范数：

$||A||_\infty = \max_i\sum_{j=1}^N|a_{i,j}|$ ，行和范数，即所有矩阵行向量绝对值之和的最大值，matlab调用函数norm(A, inf)。

F-范数：

$||A||_F=\left(\sum_{i=1}^m\sum_{j=1}^n|a_{i,j}|^2\right)^{\frac{1}{2}}$ ，Frobenius范数，即矩阵元素绝对值的平方和再开平方，matlab调用函数norm(A, ’fro‘)。

核范数： $||A||_* = \sum_{i=1}^{n}\lambda_i, \lambda_i$ 是A的奇异值，即奇异值之和。

（3）图形理解

经常会听到p范数（p norm）的说法，其实很简单，可以看成2范数的扩展，但是有一点需要注意：p的范围是[1, inf)。p在(0,1)范围内定义的并不是范数，因为违反了三角不等式（||x+y|| <= ||x|| + ||y||，此处x和y是向量。

在p范数下定义的单位球（unit ball）都是凸集（convex set，简单地说，若集合A中任意两点的连线段上的点也在集合A中，则A是凸集），但是当0<p<1时，在该定义下的unit ball并不是凸集（注意：我们没说在该范数定义下，因为如前所述，0<p<1时，并不是范数）.下图展示了p取不同值时unit ball的形状。