引言

上一节介绍了维数灾难，随着维数增加对计算量与样本稀疏性造成的影响。本节将介绍降维的预备知识——对样本均值和样本方差进行矩阵表示。

场景介绍

已知数据集合$\mathcal{X}$由$N$个样本构成：
X = { x ( 1 ) , x ( 2 ) , ⋯   , x ( N ) } \mathcal X = \{x^{(1)},x^{(2)},\cdots,x^{(N)}\} X={x(1),x(2),⋯,x(N)}
任意样本$x^{(i)}(i=1,2,\cdots ,N)$均包含$p$维特征：
$$x^{(i)}=\left(\begin{array}{c}{x}_1^{(i)}\\ x_2^{(i)}\\ ⋮\\ x_p^{(i)}\end{array}\right)x^{(i)}\in {\mathbb{R}}^p,i=1,2,\cdots ,N$$
至此，数据集合$\mathcal{X}$可表示为$N\times p$的矩阵形式：
$$\mathcal{X}={\left(\begin{array}{c}{x}^{(1)},x^{(2)},\cdots ,x^{(N)}\end{array}\right)}^T={\left(\begin{array}{c}{x}_1^{(1)},x_2^{(1)},\cdots ,x_p^{(1)}\\ x_1^{(2)},x_2^{(2)},\cdots ,x_p^{(2)}\\ ⋮\\ x_1^{(N)},x_2^{(N)},\cdots ,x_p^{(N)}\end{array}\right)}_{N\times p}$$

样本均值与样本方差

假设数据集合$\mathcal{X}$是 一维数据集合：

• 其样本均值(Sample Mean)$\bar{\mathcal{X}}$表示具体如下：
  $$\bar{\mathcal{X}}=\frac{1}{N}\sum _{i=1}^N{x}^{(i)}$$
• 样本方差(Sample Convariance)$\mathcal{S}$具体表示如下：
  $$\mathcal{S}=\frac{1}{N}\sum _{i=1}^N(x^{(i)}-\bar{\mathcal{X}}{)}^2$$

对应地，如果数据集合$\mathcal{X}$中的样本$x^{(i)}(i=1,2,\cdots ,N)$是$p$维向量。这样一个集合，它的 样本均值和样本方差如何表示呢？

• 样本均值：
  $$\bar{\mathcal{X}}=\frac{1}{N}\sum _{i=1}^N{x}^{(i)}$$

• 样本方差：
  $$\mathcal{S}=\frac{1}{N}\sum _{i=1}^N(x^{(i)}-\bar{\mathcal{X}})(x^{(i)}-\bar{\mathcal{X}}{)}^T$$

由于$x^{(i)}$是一个$p$维向量，因而样本均值$\bar{\mathcal{X}}$同样是一个$p$维向量形式：
$$\bar{\mathcal{X}}={\left(\begin{array}{c}\frac{1}{N}{\sum }_{i=1}^N{x}_1^{(i)}\\ \frac{1}{N}{\sum }_{i=1}^N{x}_2^{(i)}\\ ⋮\\ \frac{1}{N}{\sum }_{i=1}^N{x}_p^{(i)}\end{array}\right)}_{p\times 1}$$

对应的样本方差是一个$p\times p$的方阵形式：
$${\mathcal{S}}_{p\times p}=\frac{1}{N}\sum _{i=1}^N(x^{(i)}-\bar{\mathcal{X}}{)}_{p\times 1}\cdot (x^{(i)}-\bar{\mathcal{X}}{)}_{1\times p}^T$$

样本均值与样本方差的矩阵表示

样本均值的矩阵表达

将样本均值公式展开，写成如下向量乘法形式：
$$\bar{\mathcal{X}}=\frac{1}{N}\sum _{i=1}^N{x}^{(i)}=\frac{1}{N}{\left(\begin{array}{c}{x}^{(1)},x^{(2)},\cdots ,x^{(N)}\end{array}\right)}_{p\times N}\cdot {\left(\begin{array}{c}1\\ 1\\ ⋮\\ 1\end{array}\right)}_{N\times 1}$$
定义如下符号：
元素均为1的$N$维列向量。
$${\left(\begin{array}{c}1\\ 1\\ ⋮\\ 1\end{array}\right)}_{N\times 1}={\mathcal{I}}_N$$
样本均值$\bar{\mathcal{X}}$可表示为如下形式：
$$\begin{array}{rl}\bar{\mathcal{X}}& =\frac{1}{N}\left(\begin{array}{c}{x}^{(1)},x^{(2)},\cdots ,x^{(N)}\end{array}\right)\cdot {\mathcal{I}}_N\\ & =\frac{1}{N}{\mathcal{X}}^T\cdot {\mathcal{I}}_N\end{array}$$

样本方差的矩阵表达

同样本均值，将样本方差公式进行展开：
$$\begin{array}{rl}\mathcal{S}& =\frac{1}{N}\sum _{i=1}^N(x^{(i)}-\bar{\mathcal{X}})(x^{(i)}-\bar{\mathcal{X}}{)}^T\\ & =\frac{1}{N}\left[(x^{(1)}-\bar{\mathcal{X}})(x^{(1)}-\bar{\mathcal{X}}{)}^T+\cdots +(x^{(N)}-\bar{\mathcal{X}})(x^{(N)}-\bar{\mathcal{X}}{)}^T\right]\end{array}$$
将上述中括号中的元素表示为向量乘积的形式：
$$\mathcal{S}=\frac{1}{N}\left(x^{(1)}-\bar{\mathcal{X}},\cdots ,x^{(N)}-\bar{\mathcal{X}}\right)\cdot \left[\begin{array}{c}{\left(x^{(1)}-\bar{\mathcal{X}}\right)}^T\\ {\left(x^{(2)}-\bar{\mathcal{X}}\right)}^T\\ ⋮\\ {\left(x^{(N)}-\bar{\mathcal{X}}\right)}^T\end{array}\right]$$
其中，$\left(x^{(1)}-\bar{\mathcal{X}},\cdots ,x^{(N)}-\bar{\mathcal{X}}\right)$可拆成两个行向量的差值：
$$\begin{array}{rl}\left(x^{(1)}-\bar{\mathcal{X}},\cdots ,x^{(N)}-\bar{\mathcal{X}}\right)& =\left(x^{(1)},\cdots ,x^{(N)}\right)-\left(\bar{\mathcal{X}},\cdots ,\bar{\mathcal{X}}\right)\\ & ={\mathcal{X}}^T-\bar{\mathcal{X}}\cdot (1,1,\cdots ,1{)}_{1\times N}\\ & ={\mathcal{X}}^T-\bar{\mathcal{X}}\cdot {\mathcal{I}}_N^T\end{array}$$
将样本均值$\bar{\mathcal{X}}$的矩阵表示结果代入上式，并将${\mathcal{X}}^T$提出来：
注意该位置提取公因式的时候,${\mathcal{X}}^T$对应的公因式结果是${\mathcal{E}}_N$而不是单纯的1。其中${\mathcal{E}}_N$是N维单位矩阵。即：${\mathcal{X}}^T{\mathcal{E}}_N={\mathcal{X}}^T$

$${\mathcal{X}}^T-\frac{1}{N}{\mathcal{X}}^T\cdot {\mathcal{I}}_N\cdot {\mathcal{I}}_N^T={\mathcal{X}}^T\left({\mathcal{E}}_N-\frac{1}{N}{\mathcal{I}}_N{\mathcal{I}}_N^T\right)$$

由于$\left[\begin{array}{c}{\left(x^{(1)}-\bar{\mathcal{X}}\right)}^T\\ {\left(x^{(2)}-\bar{\mathcal{X}}\right)}^T\\ ⋮\\ {\left(x^{(N)}-\bar{\mathcal{X}}\right)}^T\end{array}\right]$是$\left(x^{(1)}-\bar{\mathcal{X}},\cdots ,x^{(N)}-\bar{\mathcal{X}}\right)$的转置形式，则有：
$$\left[\begin{array}{c}{\left(x^{(1)}-\bar{\mathcal{X}}\right)}^T\\ {\left(x^{(2)}-\bar{\mathcal{X}}\right)}^T\\ ⋮\\ {\left(x^{(N)}-\bar{\mathcal{X}}\right)}^T\end{array}\right]={\left[{\mathcal{X}}^T\left({\mathcal{E}}_N-\frac{1}{N}{\mathcal{I}}_N{\mathcal{I}}_N^T\right)\right]}^T={\left({\mathcal{E}}_N-\frac{1}{N}{\mathcal{I}}_N{\mathcal{I}}_N^T\right)}^T\cdot \mathcal{X}$$

至此，样本方差$\mathcal{S}$的矩阵结果表示如下：
$$\mathcal{S}=\frac{1}{N}{\mathcal{X}}^T({\mathcal{E}}_N-\frac{1}{N}{\mathcal{I}}_N{\mathcal{I}}_N^T)\cdot ({\mathcal{E}}_N-\frac{1}{N}{\mathcal{I}}_N{\mathcal{I}}_N^T{)}^T\cdot \mathcal{X}$$

我们将${\mathcal{E}}_N-\frac{1}{N}{\mathcal{I}}_N{\mathcal{I}}_N^T$称作中心矩阵(Centering Matrix)，用${\mathcal{H}}_N$表示。至此，样本方差$\mathcal{S}$的矩阵表示可化简为：
$$\mathcal{S}=\frac{1}{N}{\mathcal{X}}^T\mathcal{H}\cdot {\mathcal{H}}^T\mathcal{X}$$

中心矩阵的性质

中心矩阵的物理意义相当于对样本空间中的样本点进行平移，平移至样本空间的原点位置。

示例：
已知$\mathcal{K}$是由两个2维样本组成的样本集合，具体表示如下：
$$\mathcal{K}=\left(\begin{array}{c}12\\ 34\end{array}\right)$$
此时，数据集合中仅包含两个样本：$\mathcal{A}:(1,3)$，$\mathcal{B}:(2,4)$。其对应的中心矩阵${\mathcal{H}}_2$表示如下：
$$\begin{array}{rl}{\mathcal{H}}_2& ={\mathcal{E}}_2-\frac{1}{2}{\mathcal{I}}_2\cdot {\mathcal{I}}_2^T\\ & =\left(\begin{array}{c}10\\ 01\end{array}\right)-\frac{1}{2}\left(\begin{array}{c}11\\ 11\end{array}\right)\\ & =\left(\begin{array}{c}\frac{1}{2}-\frac{1}{2}\\ -\frac{1}{2}\frac{1}{2}\end{array}\right)\end{array}$$
此时，样本$\mathcal{K}$左乘中心矩阵${\mathcal{H}}_2$，具体结果如下：
$$\mathcal{K}\cdot {\mathcal{H}}_2=\left(\begin{array}{c}-\frac{1}{2}\frac{1}{2}\\ -\frac{1}{2}\frac{1}{2}\end{array}\right)$$
此时得到两个新的样本点：${\mathcal{A}}^{\prime }:(-\frac{1}{2},-\frac{1}{2})$，${\mathcal{B}}^{\prime }:(\frac{1}{2},\frac{1}{2})$。原始样本点与新样本点在样本空间中的表示如下：

其中橙色点是原始样本点；蓝色点是左乘中心矩阵后的新样本点。可以观察得到相比于原始样本点，新样本点向原点位置偏移，但样本点之间的相对位置没有变化。

观察中心矩阵$\mathcal{H}$：
$${\mathcal{H}}_{N\times N}={\mathcal{E}}_N-\frac{1}{N}{\mathcal{I}}_N{\mathcal{I}}_N^T$$

• 中心矩阵的转置${\mathcal{H}}^T$：
  由于$\mathcal{E}$是单位矩阵，因此有：${\mathcal{E}}^T=\mathcal{E}$
  $$\begin{array}{rl}{\mathcal{H}}^T& =({\mathcal{E}}_N-\frac{1}{N}{\mathcal{I}}_N{\mathcal{I}}_N^T{)}^T\\ & =({\mathcal{E}}_N{)}^T-\frac{1}{N}\cdot ({\mathcal{I}}_N^T{)}^T\cdot {\mathcal{I}}_N^T\\ & ={\mathcal{E}}_N-\frac{1}{N}{\mathcal{I}}_N{\mathcal{I}}_N^T\\ & =\mathcal{H}\end{array}$$
  由此可知，中心矩阵$\mathcal{H}$是一个对称矩阵；

• 中心矩阵的平方${\mathcal{H}}^2$：
  $$\begin{array}{rl}{\mathcal{H}}^2& =\mathcal{H}\cdot \mathcal{H}\\ & =({\mathcal{E}}_N-\frac{1}{N}{\mathcal{I}}_N{\mathcal{I}}_N^T)\cdot ({\mathcal{E}}_N-\frac{1}{N}{\mathcal{I}}_N{\mathcal{I}}_N^T)\\ & ={\mathcal{E}}_N-\frac{2}{N}{\mathcal{I}}_N{\mathcal{I}}_N^T+\frac{1}{N^2}{\mathcal{I}}_N{\mathcal{I}}_N^T\cdot {\mathcal{I}}_N{\mathcal{I}}_N^T\end{array}$$
  因为${\mathcal{I}}_N{\mathcal{I}}_N^T$它的结果是一个各元素均为1的$N\times N$的方阵，因而${\mathcal{I}}_N{\mathcal{I}}_N^T\cdot {\mathcal{I}}_N{\mathcal{I}}_N^T$结果是一个各元素均为$N$的$N\times N$的方阵。即：
  $${\mathcal{I}}_N{\mathcal{I}}_N^T\cdot {\mathcal{I}}_N{\mathcal{I}}_N^T=N\cdot {\mathcal{I}}_N{\mathcal{I}}_N^T$$
  将该结果带入上式：
  $$\begin{array}{rl}{\mathcal{H}}^2& ={\mathcal{E}}_N-\frac{2}{N}{\mathcal{I}}_N{\mathcal{I}}_N^T+\frac{1}{N}{\mathcal{I}}_N{\mathcal{I}}_N^T\\ & ={\mathcal{E}}_N-\frac{1}{N}{\mathcal{I}}_N{\mathcal{I}}_N^T\\ & =\mathcal{H}\end{array}$$

综上，因而有：
$${\mathcal{H}}^2=\mathcal{H}\cdot \mathcal{H}={\mathcal{H}}^T\cdot \mathcal{H}=\mathcal{H}\cdot {\mathcal{H}}^T=\mathcal{H}$$

回顾样本方差的矩阵表示，可以继续化简为如下形式：
$$\begin{array}{rl}\mathcal{S}& =\frac{1}{N}{\mathcal{X}}^T\mathcal{H}\cdot {\mathcal{H}}^T\mathcal{X}\\ & =\frac{1}{N}{\mathcal{X}}^T\mathcal{H}\cdot \mathcal{X}\end{array}$$

至此，我们介绍了样本均值与样本方差的矩阵表达，以及中心矩阵的相关性质。下一节将介绍PCA降维。

相关参考：
机器学习-降维2-样本均值&样本方差的矩阵表示