《机器学习数学基础》补充资料：正交基

已经用两篇文章，介绍了线性代数的两个基本定理：

• 定理 1：秩—零化度定
• 定理 2：矩阵基本子空间

本文介绍第三个定理：正交基。

定理3：正交基

设 $m\times n$ 矩阵 $A$ ， r = rank A ≤ min ⁡ { m , n } r=\text{rank}\pmb{A}\le\min\{m,n\} r=rankA≤min{m,n} 。 { v 1 , ⋯   , v r } \{\pmb{v}_1,\cdots,\pmb{v}_r\} {v1​,⋯,vr​} 是 $A$ 的行空间 $C(A^T)$ 的一组基， { u 1 , ⋯   , u r } \{\pmb{u}_1,\cdots,\pmb{u}_r\} {u1​,⋯,ur​} 是列空间 $C(A)$ 的一组基。

令 ${\sigma }_1^2,\cdots ,{\sigma }_n^2$ （ ${\sigma }_i\ge 0$ ）是 $n\times n$ 的矩阵 $A^{\text{T}}A$ 的特征值，$e_1,\cdots ,e_n$ 为相应的单位特征向量，则有：

$$A^{\text{T}}{Ae}_i={\sigma }_i^2{e}_i,i=1,\cdots ,n\text{\hspace{1em}(3.1)}$$

其中，$\{\begin{array}{l}{e}_i^{\text{T}}{e}_i=1,i=j\\ e_i^{\text{T}}{e}_i=0,i\ne j\end{array}$ 。

将（3.1）式写成矩阵相乘的形式：

$$A^{\text{T}}A\left[\begin{array}{ccc}{e}_1& \cdots & e_n\end{array}\right]=\left[\begin{array}{ccc}{e}_1& \cdots & e_n\end{array}\right]\left[\begin{array}{ccc}{\sigma }_1^2& \cdots & 0\\ ⋮& \ddots & ⋮\\ 0& \cdots & {\sigma }_n^2\end{array}\right]$$
令 $E=\left[\begin{array}{ccc}{e}_1& \cdots & e_n\end{array}\right]$ ，则 $E^{\text{T}}E=I$ ，故 $E^{\text{T}}=E^{-1}$ ，则 $E$ 是正交矩阵。对上式右乘 $E^{\text{T}}$ 后，得：

$$A^{\text{T}}A=E\left[\begin{array}{ccc}{\sigma }_1^2& \cdots & 0\\ ⋮& \ddots & ⋮\\ 0& \cdots & {\sigma }_n^2\end{array}\right]E^{\text{T}}$$

所以，$\text{rank}(A^{\text{T}}A)=\text{rank}(diag({\sigma }_1^2,\cdots ,{\sigma }_n^2))$ 。

根据前面的假设 $r=\text{rank}A$ ，可以假设 ${\sigma }_1\ge {\sigma }_2\ge \cdots {\sigma }_r>0$ ，且 $\sigma +r+1=\cdots ={\sigma }_n=0$ ，则 $\text{rank}(A^{\text{T}}A)=r$ 。

根据定理1，$\dim N(A)=n-rankA=n-r$ 。

另外：${\Vert \begin{array}{c}{Ae}_i\end{array}\Vert }^2=e_i^{\text{T}}{A}^{\text{T}}{Ae}_i={\sigma }_i^2{e}_i^{\text{T}}{e}_i={\sigma }_i^2$

所以，$\Vert \begin{array}{c}{Ae}_i\end{array}\Vert ={\sigma }_i,(1\le i\le n)$ 。

若 $i=r+1,\cdots ,n$ ，$\Vert \begin{array}{c}{Ae}_i\end{array}\Vert =0$ ，即 ${Ae}_i=0$ 。

因为 { e 1 , ⋯   , e n } \{\pmb{e}_1,\cdots,\pmb{e}_n\} {e1​,⋯,en​} 线性独立，且 $\dim N(A)=n-r$ ，所以 { e r + 1 , ⋯   , e n } \{\pmb{e}_{r+1},\cdots,\pmb{e}_n\} {er+1​,⋯,en​} 是 $A$ 的零空间 $N(A)$ 的基。

根据定理2，从子空间的正交补可知， { e 1 , ⋯   , e r } \{\pmb{e}_1,\cdots,\pmb{e}_r\} {e1​,⋯,er​} 为 $A$ 的行空间 $C(A^{\text{T}})$ 的基。

将（3.1）式左乘 $A$ ，得：

$${AA}^{\text{T}}{Ae}_i={\sigma }_i^2{Ae}_i,i=1,\cdots ,n$$
则 $m\times m$ 矩阵 ${AA}^{\text{T}}$ 有非零特征值 ${\sigma }_1^2,\cdots ,{\sigma }_r^2$ ，对应特征向量为 ${Ae}_i,i=1,\cdots ,r$ 。

令：$u_i=\frac{{Ae}_i}{{\sigma }_i},i=1,\cdots ,r$

对于 $1\le i,j\le r$ ，

$${u_i}^{\text{T}}{u}_j={\left(\frac{{Ae}_i}{{\sigma }_i}\right)}^{\text{T}}\left(\frac{{Ae}_j}{{\sigma }_j}\right)=\frac{e_i^{\text{T}}{A}^{\text{T}}{Ae}_j}{{\sigma }_i{\sigma }_j}=\{\begin{array}{l}1(i=j)\\ 0(i\ne j)\end{array}$$
则 { u 1 , ⋯   , u r } \{\pmb{u}_1,\cdots,\pmb{u}_r\} {u1​,⋯,ur​} 构成了 $A$ 的列空间 $C(A)$ 的一组单位正交基。

因为 ${AA}^{\text{T}}$ 和 $A^{\text{T}}A$ 有相同的非零特征值，${AA}^{\text{T}}$ 另有 $m-r$ 个零特征值。

根据格拉姆-施密特正交化方法（参阅《机器学习数学基础》第3章3.5.1节），得左零空间 $N(A^{\text{T}})=N({AA}^{\text{T}})$ 的单位正交基 { u r + 1 , ⋯   , u m } \{\pmb{u}_{r+1},\cdots,\pmb{u}_m\} {ur+1​,⋯,um​} 。

因为 $N(A^{\text{T}})=C(A{)}^{\perp }$ （定理2）， { u 1 , ⋯   , u m } \{\pmb{u}_1,\cdots,\pmb{u}_m\} {u1​,⋯,um​} 是 ${\mathbb{R}}^m$ 的单位正交基。

综上可得：

对于 $m\times n$ 矩阵 $A$ ，秩为 $r$ ，则：

• $r=\text{rank}A=\text{rank}{A}^{\text{T}}=\text{rank}(A^{\text{T}}A)=\text{rank}({AA}^{\text{T}})$
• $C(A^{\text{T}})=C(A^{\text{T}}A),C(A)=C({AA}^{\text{T}})$
• $N(A)=N(A^{\text{T}}A),N(A^{\text{T}})=N({AA}^{\text{T}})$
• $A^{\text{T}}A$ 的特征值为 ${\sigma }_1^2,\cdots ,{\sigma }_n^2$ ，对应单位正交的特征向量 $e_1,\cdots ,e_n$
• ${AA}^{\text{T}}$ 的特征值为 ${\sigma }_1^2,\cdots ,{\sigma }_m^2$ ，对应单位正交的特征向量 $u_1,\cdots ,u_m$
• ${Ae}_i={\sigma }_i{u}_i,{\sigma }_i>0,i=1,\cdots ,r$ ，且 ${Ae}_i=0,i=r+1,\cdots ,n$
• $A^{\text{T}}{u}_j=\sigma e_j,{\sigma }_j>0,j=1,\cdots ,r$ ，且 $A^{\text{T}}{u}_j=0,j=r+1,\cdots ,m$

基本子空间的单位正交基

• 行空间 $C(A^{\text{T}})$ 的基： { e 1 , ⋯   , e r } \{\pmb{e}_1,\cdots,\pmb{e}_r\} {e1​,⋯,er​} ，$\dim C(A^{\text{T}})=r$
• 零空间 $N(A)$ 的基： { e r + 1 , ⋯   , e n } \{\pmb{e}_{r+1},\cdots,\pmb{e}_n\} {er+1​,⋯,en​}，$\dim N(A)=n-r$
• 列空间 $C(A)$ 的基： { u 1 , ⋯   , u r } \{\pmb{u}_1,\cdots,\pmb{u}_r\} {u1​,⋯,ur​} ，$\dim C(A)=r$
• 左零空间 $N(A^{\text{T}})$ 的基： { u r + 1 , ⋯   , u m } \{\pmb{u}_{r+1},\cdots,\pmb{u}_m\} {ur+1​,⋯,um​} ，$\dim N(A^{\text{T}})=m-r$

定理4：奇异值分解

此定理已经在《机器学习数学基础》第3章3.5.3节详细介绍，此处不赘述。

术语比较