《机器学习数学基础》补充资料：线性变换和最小二乘

《机器学习数学基础》的第1章1.3.2节、第2章2.2.3节均介绍了与线性映射、线性变换有关的内容，并指出矩阵就是两个向量空间的线性变换的表达形式。

本文以一个示例，讲解如何理解线性变换，并且以此进一步理解最小二乘法。

1. 以示例理解

以参考文献 [1] 中提供的示例，说明矩阵与线性变换的关系。

设向量空间 ${\mathbb{P}}_2$ 是二次函数 $p(t)=a_0+a_{1}t+a_2{t}^2$ 的集合，基为 $\beta =[v_1,v_2,v_3]$ ，向量 $v_j=t^{j-1},(j=1,2,3)$ 。

$p(t)$ 可以用 $\beta$ 表示：

$$p(t)=a_0{v}_1+a_1{v}_2+a_2{v}_3\text{\hspace{1em}(1.1)}$$

则其坐标向量为：

$$[p{]}_{\beta }=\left[\begin{array}{c}{a}_0\\ a_1\\ a_2\end{array}\right]$$

假设有如下线性变换：

$$q(t)=T(p(t))=p(t+1)\text{\hspace{1em}(1.2)}$$

根据线性变换的加法和数量乘法封闭性，可得：

$$\begin{array}{rl}q(t)& =T(a_0{v}_1+a_1{v}_2+a_3{v}_3)\\ & =a_{0}T(v_1)+a_{1}T(v_2)+a_{2}T(v_3)\end{array}\text{\hspace{1em}(1.3)}$$

上式可以理解为：向量 $v_j$ 经 $T$ 的映射后结果为 $T(v_j)$ （此结果称为像），即：

$$\begin{array}{rl}& T(v_1)=T(t^0)=(1+t{)}^0=1=v_1\\ & T(v_2)=T(t^1)=(1+t{)}^1=v_1+v_2\\ & T(v_3)=T(t^2)=(1+t{)}^2=1+2t+t^2=v_1+2v_2+v_3\end{array}\text{\hspace{1em}(1.4)}$$

上述系数可以写成：

$$[T(\beta )]=\left[\begin{array}{ccc}1& 0& 0\\ 1& 1& 0\\ 1& 2& 1\end{array}\right]\text{\hspace{1em}(1.5)}$$

将（1.4）代入（1.3）式，得：

$$q(t)=a_0{v}_1+a_1(v_1+v_2)+a_2(v_1+2v_2+v_3)=(a_0+a_1+a_2)v_1+(a_1+2a_2)v_2+a_2{v}_3$$

所以 $q(t)$ 的坐标向量为：

$$[q{]}_{\beta }=\left[\begin{array}{c}{a}_0+a_1+a_2\\ a_1+2a_2\\ a_2\end{array}\right]$$

可以通过“矩阵乘法”将 $[q{]}_{\beta }$ 和 $[p{]}_{\beta }$ 联系起来：

$$[q{]}_{\beta }=\left[\begin{array}{ccc}1& 1& 1\\ 0& 1& 2\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{a}_0\\ a_1\\ a_2\end{array}\right]=[T{]}_{\beta }[p{]}_{\beta }\text{\hspace{1em}(1.6)}$$

其中 $[T{]}_{\beta }$ 称为线性变换 $T$ 基于基 $\beta$ 的表示矩阵。

对比（1.5）和（1.6）式，发现 $[T{]}_{\beta }$ 和 $[T(\beta )]$ 互为转置矩阵。

2. 线性变换与矩阵

线性变换 $T:\mathbb{V}\to \mathbb{W},\dim \mathbb{V}=n,\dim \mathbb{W}=m$ ，${\beta }_{\mathbb{V}}=[v_1,\cdots ,v_n]$ 是向量空间 $\mathbb{V}$ 的基，${\beta }_{\mathbb{W}}=[w_1,\cdots ,w_m]$ 是向量空间 $\mathbb{W}$ 的基。

线性映射 $y=T(x)$ 对应矩阵乘法 $[y{]}_{{\beta }_{\mathbb{W}}}=A[x{]}_{{\beta }_{\mathbb{V}}}$ ，其中 $m\times n$ 阶线性变换表示矩阵 $A$ 的第 $j$ 列即为 $T(v_j)$ 基于 ${\beta }_{\mathbb{W}}$ 的坐标向量 $[T(v_j){]}_{{\beta }_{\mathbb{W}}}$ ：

$$A=\left[\begin{array}{cccc}[T(v_1){]}_{{\beta }_{\mathbb{W}}}& \cdots & [T(v_j){]}_{{\beta }_{\mathbb{W}}}& [T(v_n){]}_{{\beta }_{\mathbb{W}}}\end{array}\right]$$

$T$ 与线性变换的表示矩阵 $A$ 的关系，如下图所示：

图中的 $L_{\mathbb{V}}:\mathbb{V}\to {\mathbb{R}}^n,L_{\mathbb{W}}:\mathbb{W}\to {\mathbb{R}}^m$ 表示向量在对应基中的映射，即将向量分别映射为相应向量空间中的坐标（以相应的基）。

3. 解释最小二乘${}^{[2]}$

《机器学习数学基础》第3章3.6.1节专门介绍了正规方程的推导（如下所示的（3.1）式，即为正规方程），并且由此引出最小二乘法。

$$A^{T}A\hat{x}=A^{T}b\text{\hspace{1em}(3.1)}$$

正规方程（3.1）的解即为 $Ax=b$ 的最小二乘近似解（ $A$ 是 $m\times n$ 矩阵）。

如果 $A$ 的列向量线性无关，则 $rankA=n$ ，称 $A$ 满秩。

此时， N ( A ) = { 0 } N(\pmb{A})=\{\pmb{0}\} N(A)={0} ，行空间 $C(A^T)$ 充满整个 ${\mathbb{R}}^n$ 。

因为 $rankA=rank(A^{T}A)$ ，则 $A^{T}A$ （ $n$ 阶方阵）是可逆的，由此可知（3.1）存在唯一的最小二乘近似解：

$$\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b\text{\hspace{1em}(3.2)}$$

则最小误差平方的投影向量：

$$p=A\hat{x}=A(A^{T}A{)}^{-1}{A}^{T}b$$

正交投影矩阵为：

$$P=A(A^{T}A{)}^{-1}{A}^T\text{\hspace{1em}(3.3)}$$

向量 $b$ 和误差 $e$ 的关系：

因为 $(I-P{)}^2=I-2P+P^2=I-2P+P=I-P$

$I-P$ 也是一个投影矩阵，且：$(I-P)b=b-Pb=b-p=e$

因此，向量 $b$ 经 $I-P$ 正交投影至 $e\in N(A^T)$ 。

总结：

从线性变换角度，理解最小二乘：

• 向量 $b\in {\mathbb{R}}^m$ 经正交投影矩阵 $P=A(A^{T}A{)}^{-1}{A}^T$ 映射至列空间 $C(A)$ 的投影向量 $b$ ：$b\stackrel{P}{\to }p$
• 向量 $b\in {\mathbb{R}}^m$ 经正交投影矩阵 $I-P$ 映射至左零空间 $N(A^T)$ 的最小误差向量 $e$ ： $b\stackrel{I-P}{⟶}e$
• 向量 $b\in {\mathbb{R}}^m$ 经变换矩阵 $(A^{T}A{)}^{-1}{A}^T$ 映射到行空间 $C(A^T)$ 的最小平方近似解 $\hat{x}$ ：$b\stackrel{(A^{T}A{)}^{-1}{A}^T}{⟶}\hat{x}$
• 最小二乘解 $\hat{x}$ 经矩阵 $A$ 映射至列空间 $C(A)$ 的投影向量 $p$ ：$\hat{x}\stackrel{A}{\to }p$

因此，将向量 $b$ 映射至投影向量 $p$ 的正交投影矩阵 $P$ 可以理解为两个线性变换的复合：

$$b\stackrel{(A^{T}A{)}^{-1}{A}^T}{⟶}\hat{x}\stackrel{A}{\to }p$$

注意，以上讨论的前提，$A$ 的列向量线性无关，否则 $A^{T}A$ 不是可逆矩阵，如果不可逆，则不存在唯一的最小二乘近似解。

参考文献

[1]. https://ccjou.wordpress.com/2010/08/11/線性變換表示矩陣/

[2]. https://ccjou.wordpress.com/2009/10/28//從線性變換解釋最小平方近似/