向量与矩阵的模

archive time: 2024-12-25

这一篇来学习模的概念

• 内积
• 向量模
• 特殊矩阵
• 矩阵模
  • 实矩阵模
    • 谱半径估计
    • 诱导实矩阵模
  • 复矩阵模
  • Frobenius 模
• 后记

模是对于向量或者矩阵本身的一种衡量指标，不过通常是用在差值上， 例如判断两个向量 $v_1$ 和 $v_2$ 是否接近，可以尝试计算 $\Vert v_1-v_2\Vert$

内积

要了解向量的模，首先要了解内积

内积又称为标量积，点积，是两个列向量进行运算后得到某个标量的过程

对于 $x,y\in {\mathbb{F}}^n$， $x\cdot y=x^{†}y={\sum }_{i=1}^n{\overline{x}}_i{y}_i$

其中 $x^{†}$ 表示对 $x$ 进行共轭转置， 而 ${\overline{x}}_i$ 表示将 $x$ 向量的第 $i$ 个元素取共轭

对于实数，$x^{†}=x^T$，${\overline{x}}_i=x_i$

所以对于 $Ax\cdot y$，我们可以表示为 $(Ax{)}^{†}y$， 即 $x^{†}{A}^{†}y=x\cdot (A^{†}y)$

向量模

向量的模是一种运算，定义为 $\Vert \cdot \Vert ={\mathbb{F}}^n\mapsto \mathbb{F}$， 其中 $\Vert x\Vert \ge 0$，并且 $\Vert x\Vert =0⟺x=0$

特别的，$\Vert \alpha x\Vert =|\alpha |\cdot \Vert x\Vert$，其中 $\alpha \in \mathbb{F}$， 并且 $\Vert x+y\Vert \le \Vert x\Vert +\Vert y\Vert$

• $L$-$2$ 模：又称为 欧几里得模，定义为 $\Vert x{\Vert }_2=\sqrt{x\cdot x}=\sqrt{x^{†}x}$
• $L$-$1$ 模：定义为 $\Vert x{\Vert }_1={\sum }_{i=1}^n|x_i|$
• $L$-$\infty$ 模：定义为 $\Vert x\Vert {}_{\infty }={\max }_{1\le i\le n}|x_i|$

其中对于复向量，其 $L$-$\infty$ 模，对应其各自元素的模的最大值

通常描述中的模指的是 $L$-$2$ 模

对于 $L$-$1$ 模和 $L$-$2$ 模， 通常有 $\Vert x{\Vert }_1\le \sqrt{n}\Vert x{\Vert }_2$， 其中 $x\in {\mathbb{F}}^n$

特殊矩阵

要介绍矩阵模之前，需要了解一些特殊矩阵：

• 对称矩阵：对于 $A\in {\mathbb{F}}^{n\times n}$，如果 $A^T=A$，那么 $A$ 就是对称矩阵
• 反对称矩阵：对于 $A\in {\mathbb{F}}^{n\times n}$，如果 $A^T=-A$，那么 $A$ 就是反对称矩阵
• 正规矩阵：对于 $A\in {\mathbb{R}}^{n\times n}$，如果 $A^{T}A=A{A}^T$，那么 $A$ 就是正规矩阵
• 正交矩阵：对于 $A\in {\mathbb{R}}^{n\times n}$，如果 $A^{T}A=\mathcal{I}$，那么 $A$ 就是正交矩阵

对于正规矩阵 $A\in {\mathbb{R}}^{n\times n}$， 我们有 $\Vert A^{T}x{\Vert }_2=\Vert Ax{\Vert }_2$

$$\begin{array}{rl}\Vert A^{T}x{\Vert }_2^2& =(A^{T}x)\cdot (A^{T}x)=x^{T}A{A}^{T}x\\ & =x^T{A}^{T}Ax=Ax\cdot Ax\\ & =\Vert Ax{\Vert }_2^2\end{array}$$

对于正交矩阵 $A\in {\mathbb{R}}^{n\times n}$， 我们有 $\Vert Ax{\Vert }_2=\Vert x{\Vert }_2$

$$\begin{array}{rl}\Vert Ax{\Vert }_2^2& =(Ax)\cdot (Ax)=x^T{A}^{T}Ax\\ & =x^T\mathcal{I}x=x^{T}x\\ & =\Vert x{\Vert }_2^2\end{array}$$

换言之，正交矩阵保留了向量的长度特征， 特别的，正交矩阵 $A$ 的每一个列向量组成了一个正交归一系统， 即列向量之间两两正交且模长都是 $1$

对于复矩阵，我们有类似实矩阵的特殊矩阵：

• 厄米矩阵：对于 $A\in {\mathbb{C}}^{n\times n}$，如果 $A^{†}=A$，那么 $A$ 就是厄米矩阵
• 反厄米矩阵：对于 $A\in {\mathbb{C}}^{n\times n}$，如果 $A^{†}=-A$，那么 $A$ 就是反厄米矩阵
• 复正规矩阵：对于 $A\in {\mathbb{C}}^{n\times n}$，如果 $A^{†}A=A{A}^T$，那么 $A$ 就是复正规矩阵
• 酉矩阵：对于 $A\in {\mathbb{C}}^{n\times n}$，如果 $A^{†}A=\mathcal{I}$，那么 $A$ 就是酉矩阵

矩阵模

接下来就是矩阵的模，类似向量模的定义， 矩阵模定义为 $\Vert \cdot \Vert ={\mathbb{F}}^{n\times n}\mapsto \mathbb{F}$， 其中 $\Vert A\Vert \ge 0$，并且 $\Vert A\Vert =0⟺A=0$

同样，$\Vert \alpha A\Vert =|\alpha |\cdot \Vert A\Vert$，其中 $\alpha \in \mathbb{F}$， 并且 $\Vert A+B\Vert \le \Vert A\Vert +\Vert B\Vert$

如果定义了向量模，我们可以用向量模来定义矩阵模，即 诱导矩阵模（induced matrix norm）

其中对于诱导矩阵模，有 $\Vert AB\Vert \le \Vert A\Vert \cdot \Vert B\Vert$， 定义 $\Vert \mathcal{I}\Vert =1$

实矩阵模

对于 $A\in {\mathbb{R}}^{n\times n}$，我们有：

$$\Vert A\Vert =\underset{x\in {\mathbb{R}}^n,x\ne 0}{\max }\frac{\Vert Ax\Vert }{\Vert x\Vert }$$

即对于所有的 $x\in {\mathbb{R}}^n$，$\Vert Ax\Vert \le \Vert A\Vert \cdot \Vert x\Vert$

所以我们也有 $\Vert A{\Vert }_1$，$\Vert A{\Vert }_2$ 和 $\Vert A\Vert {}_{\infty }$

谱半径估计

对于 $A\in {\mathbb{R}}^{n\times n}$，对于所有的诱导矩阵模，都应该满足 $\rho (A)\le \Vert A\Vert$

令 $\lambda \in \sigma (A)$，其中 $|\lambda |=\rho (A)$，设 $u$ 是 $\lambda$ 对应的特征向量， 则 $\Vert Au\Vert =\Vert \lambda u\Vert =\rho (A)\Vert u\Vert$， 又有 $\Vert Au\Vert \le \Vert A\Vert \cdot \Vert u\Vert$， 即 $\rho (A)\Vert u\Vert \le \Vert A\Vert \cdot \Vert u\Vert$， 由于 $u\ne 0,\Vert u\Vert \ne 0$，可得 $\rho (A)\le \Vert A\Vert$

诱导实矩阵模

定义 $A\in {\mathbb{R}}^{m\times n}$ 的 $L$-$1$ 模为：${\max }_{1\le j\le n}{\sum }_{i=1}^m|a_{ij}|$， 即各个列向量元素的绝对值的和的最大值

定义 $A\in {\mathbb{R}}^{m\times n}$ 的 $L$-$\infty$ 模为：${\max }_{1\le i\le m}{\sum }_{j=1}^n|a_{ij}|$， 即各个行向量元素的绝对值的和的最大值

定义 $A\in {\mathbb{R}}^{n\times n}$ 的 $L$-$2$ 模为：$\sqrt{\rho (A^{T}A)}=\sqrt{\rho (A{A}^T)}$， 即矩阵与其转置的积的谱半径的平方根

复矩阵模

复矩阵的模和实矩阵类似，但是需要说明的是，$A^{†}A$ 是厄米矩阵，这意味着其特征值虚部一定为 $0$， 或者说，其特征值可以认为是实数¹，是可以比较的，而复数的绝对值就是复数的模，也是实数， 所以对应的将绝对值换成取模，转置换成共轭转置就可以得到对应复数模的定义

Frobenius 模

不过不是所有的矩阵模都是从向量模诱导出来的， 例如对于 $A\in {\mathbb{F}}^{m\times n}$，其 Frobenius 模定义如下：

$$\Vert A\Vert {}_F=\sqrt{\sum _{i=1}^m\sum _{j=1}^n{a}_{ij}^2}$$

后记

矩阵模，或者说模，非常具有迷惑性的一点就是模的结果的类型可以和矩阵元素类型不同， 这点在复数矩阵上体现得淋漓尽致，归结到一点就是复数无序，无法比较， 但是我们又时常需要对元素进行比较，所以有了一定的妥协

It works!