Bishop 模式识别与机器学习读书笔记_ch2.2 连续性概率分布

ch2.2 连续型概率分布

1. 高斯分布

⾼斯分布，也被称为正态分布，⼴泛应⽤于连续型随机变量分布的模型中。对于⼀元变量 $x$ 的情形，⾼斯分布可以写成下⾯的形式
$$\mathcal{N}(x|\mu ,{\sigma }^2)=\frac{1}{(2\pi {\sigma }^2{)}^{1/2}}\exp \{-\frac{(x-\mu {)}^2}{2{\sigma }^2}\}$$

此处，$\mu$ 表示均值，${\sigma }^2$ 表示方差。

import math
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
sns.set(style="darkgrid")

mu = 0
sigma = 1
x = np.arange(-5, 5, 0.1)
y = np.exp((x-mu)**2/(-2*sigma**2))/math.sqrt(2*math.pi*sigma**2)

plt.plot(x, y, 'r-')
plt.show()

对于 $D$-维向量 $\mathbf{x}$，高斯分布表示为
$$\mathcal{N}(\mathbf{x}|\mu ,\Sigma )=\frac{1}{(2\pi {)}^{D/2}|\Sigma {|}^{1/2}}\exp \{-\frac{1}{2}(\mathbf{x}-\mu {)}^T{\Sigma }^{-1}(\mathbf{x}-\mu )\}$$
此处，$\mu$ 表示 $D$ 维均值向量，$\Sigma$ 为 $D\times D$ 维的协方差矩阵，$|\cdot |$ 表示矩阵的行列式。

#!/usr/bin/python
#  -*- coding:utf-8 -*-

import numpy as np
from scipy import stats
import matplotlib as mpl
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
from matplotlib import cm


if __name__ == '__main__':
    x1, x2 = np.mgrid[-5:5:51j, -5:5:51j]
    x = np.stack((x1, x2), axis=2)
    print('x1 = \n', x1)
    print('x2 = \n', x2)
    print('x = \n', x)

    mpl.rcParams['axes.unicode_minus'] = False
    mpl.rcParams['font.sans-serif'] = 'SimHei'
    plt.figure(figsize=(9, 8), facecolor='w')
    sigma = (np.identity(2), np.diag((3,3)), np.diag((2,5)), np.array(((2,1), (1,5))))
    for i in np.arange(4):
        ax = plt.subplot(2, 2, i+1, projection='3d')
        norm = stats.multivariate_normal((0, 0), sigma[i])
        y = norm.pdf(x)
        ax.plot_surface(x1, x2, y, cmap=cm.Accent, rstride=1, cstride=1, alpha=0.9, lw=0.3, edgecolor='#303030')
        ax.set_xlabel('X')
        ax.set_ylabel('Y')
        ax.set_zlabel('Z')
    plt.suptitle('二元高斯分布方差比较', fontsize=18)
    plt.tight_layout(1.5)
    plt.show()

高斯分布会在许多不同的问题中产生，可以从多个不同的角度来理解。例如，我们可以看到，对于一个一元实值向量，使熵取得最大值的是高斯分布。这个性质对于多元高斯也成立。

当我们考虑多个随机变量之和的时候，也会产生高斯分布。拉普拉斯提出的中心极限定理（central limit theorem）告诉我们，对于某些温和的情况，⼀组随机变量之和（当然也是随机变量）的概率分布随着和式中项的数量的增加而逐渐趋向高斯分布（Walker,1969）。考虑 $N$ 个变量(特征或列) { x i ∈ R ∣ i = 1 , ⋯   , N } \{x_i\in R\vert i=1,\cdots,N\} {xi​∈R∣i=1,⋯,N}，每⼀个都是区间 $[0,1]$ 上的均匀分布，然后考虑均值（列均值）$(x_1+\cdots +x_N)/N$ 的分布。对于大的N，这个分布趋向于高斯分布，如图所示（样本点个数设定为10万）。

import matplotlib.pyplot as plt
from scipy.stats import uniform

plt.figure(figsize=(10, 5))

plt.subplot(1, 3, 1)
plt.xlim(0, 1)
plt.ylim(0, 5)
plt.annotate("N=1", (0.1, 4.5))
print(uniform.rvs(5)) # 与下一行相比，加不加参数“size=”，有天壤之别
plt.hist(uniform.rvs(size=100000), bins=20, density=True)

plt.subplot(1, 3, 2)
plt.xlim(0, 1)
plt.ylim(0, 5)
plt.annotate("N=2", (0.1, 4.5))
plt.hist(0.5 * (uniform.rvs(size=100000) + uniform.rvs(size=100000)), bins=20, density=True)

plt.subplot(1, 3, 3)
plt.xlim(0, 1)
plt.ylim(0, 5)
sample = 0
for _ in range(10):
    sample = sample + uniform.rvs(size=100000)
plt.annotate("N=10", (0.1, 4.5))
plt.hist(sample * 0.1, bins=20, density=True)

plt.show()

在实际应⽤中，随着 $N$ 的增加，分布会很迅速收敛为高斯分布。这个结论导致的⼀个结果是，⼆项分布（⼆元随机变量 $x$ 在 $N$ 次观测中出现次数 $m$ 的分布）将会在 $N\to \infty$ 时趋向于高斯分布。高斯分布有许多重要的分析性质，且需要对各种矩阵性质比较熟悉。我们强烈鼓励读者能够使用这里介绍的技术熟练操作高斯分布，因为这对于理解后续章节中出现的更加复杂的模型是非常有帮助的。

2. 高斯分布的几何结构

高斯函数中自变量 $x$ 的函数依赖关系是通过指数部分的二次型实现的，
$${\Delta }^2=(\mathbf{x}-\mathbf{\mu }{)}^T{\Sigma }^{-1}(\mathbf{x}-\mathbf{\mu })$$
这个量我们称为 $\mathbf{\mu }$ 到 $\mathbf{x}$ 的 Mahalanobis 距离，而当 $\Sigma =I$ 时，该量称为 $\mathbf{\mu }$ 到 $\mathbf{x}$ 的欧氏距离。该二次型如果是常数 ${\Delta }^2=const$ 可以描述为等高线，如下图所示

#导入模块
import numpy as np
import matplotlib.pyplot as plt

#建立步长为0.01，即每隔0.01取一个点
step = 0.01
x = np.arange(-10,10,step)
y = np.arange(-10,10,step)
#也可以用x = np.linspace(-10,10,100)表示从-10到10，分100份

#将原始数据变成网格数据形式
X,Y = np.meshgrid(x,y)
#写入函数，z是大写
Z = X**2/4+Y**2/5
#设置打开画布大小,长10，宽6
#plt.figure(figsize=(10,6))
plt.subplot(1,2,1)
#填充颜色，f即filled
plt.contourf(X,Y,Z)
#画等高线
plt.contour(X,Y,Z)
plt.subplot(1,2,2)
contour = plt.contour(X,Y,Z,[5,15],colors='k')
#等高线上标明z（即高度）的值，字体大小是10，颜色分别是黑色和红色
plt.clabel(contour,fontsize=10,colors=('k','r'))
plt.show()

注释： 由于此程序只考虑了高斯函数指数部分的相反数，所以等高线越往外值越大，如果考虑高斯函数的整体，则等高线越往里越大。

3. 高斯分布的性质

高斯函数本质上是对距离函数的一个非线性变换，主要体现在高斯函数指数部分的 $\mathbf{x}$ 到 $\mu$ 距离的二次型上
$${\Delta }^2=(\mathbf{x}-\mu {)}^T{\Sigma }^{-1}(\mathbf{x}-\mu )$$
其中，$\Delta$ 称为 $\mathbf{x}$ 到 中心点 $\mu$ 的 Mahalanobis 距离，当 $\Sigma =\mathbf{I}$时该距离退化成欧氏距离。由于矩阵 $\Sigma$ 是一个实对称矩阵，因此，可以实现矩阵的对角化，即存在一组线性无关的基底 $[{\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_D]$ 使得
$$\left[\begin{array}{c}{\mathbf{u}}_1^T\\ {\mathbf{u}}_2^T\\ ⋮\\ {\mathbf{u}}_D^T\end{array}\right]\cdot \Sigma \cdot [{\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_D]=\text{Diag}({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_D)$$
或 $\mathbf{U}\Sigma {\mathbf{U}}^T=\text{Diag}({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_D)$

即
$${\mathbf{u}}_i^T\Sigma {\mathbf{u}}_i={\lambda }_i,i=1,2,\cdots ,D$$
其中，基是标准正交基
$${\mathbf{u}}_i^T{\mathbf{u}}_i=1,{\mathbf{u}}_i^T{\mathbf{u}}_j=0$$

或 $\mathbf{U}{\mathbf{U}}^T=\mathbf{I}$

又因为
$$\begin{array}{rl}\Sigma & ={\mathbf{U}}^T\cdot \text{Diag}({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_D)\cdot \mathbf{U}\\ & =[{\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_D]\cdot \text{Diag}({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_D)\cdot \left[\begin{array}{c}{\mathbf{u}}_1^T\\ {\mathbf{u}}_2^T\\ ⋮\\ {\mathbf{u}}_D^T\end{array}\right]\\ & =\sum _i^D{\lambda }_i{\mathbf{u}}_i{\mathbf{u}}_i^T\end{array}$$

可知
$$\begin{array}{rl}{\Sigma }^{-1}& ={\mathbf{U}}^T\cdot \text{Diag}(1/{\lambda }_1,1/{\lambda }_2,\cdots ,1/{\lambda }_D)\cdot \mathbf{U}\\ & =[{\mathbf{u}}_1,{\mathbf{u}}_2,\cdots ,{\mathbf{u}}_D]\cdot \text{Diag}(1/{\lambda }_1,1/{\lambda }_2,\cdots ,1/{\lambda }_D)\cdot \left[\begin{array}{c}{\mathbf{u}}_1^T\\ {\mathbf{u}}_2^T\\ ⋮\\ {\mathbf{u}}_D^T\end{array}\right]\\ & =\sum _i^D\frac{1}{{\lambda }_i}{\mathbf{u}}_i{\mathbf{u}}_i^T\end{array}$$
将（2）带入 （1）得
$$\begin{array}{rl}{\Delta }^2& =(\mathbf{x}-\mathbf{\mu }{)}^T{\Sigma }^{-1}(\mathbf{x}-\mathbf{\mu })\\ & =(\mathbf{x}-\mathbf{\mu }{)}^T\sum _i^D\frac{1}{{\lambda }_i}{\mathbf{u}}_i{\mathbf{u}}_i^T(\mathbf{x}-\mathbf{\mu })\\ & =\sum _i^D\frac{1}{{\lambda }_i}(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{u}}_i\underset{y_i}{\underbrace{{\mathbf{u}}_i^T(\mathbf{x}-\mathbf{\mu })}}\\ & =\sum _i^D\frac{1}{{\lambda }_i}{y}_i^2\end{array}$$

或者
$$\begin{array}{rl}{\Delta }^2& =(\mathbf{x}-\mathbf{\mu }{)}^T{\Sigma }^{-1}(\mathbf{x}-\mathbf{\mu })\\ & =(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{U}}^T\cdot \text{Diag}(1/{\lambda }_1,1/{\lambda }_2,\cdots ,1/{\lambda }_D)\cdot \underset{\mathbf{y}}{\underbrace{\mathbf{U}(\mathbf{x}-\mathbf{\mu })}}\\ & ={\mathbf{y}}^T\cdot \text{Diag}(1/{\lambda }_1,1/{\lambda }_2,\cdots ,1/{\lambda }_D)\cdot \mathbf{y}\end{array}$$
由公式（3）可知，${\Delta }^2={\sum }_i^D\frac{1}{{\lambda }_i}{y}_i^2=const$，（椭圆的轴）此时，高斯密度函数也是常数，即可表示出等高线。通过坐标变换 $\mathbf{y}=\mathbf{U}(\mathbf{x}-\mathbf{\mu })$ 将椭圆的主轴做了旋转，坐标轴由 $x$ 轴转变为 $y$ 轴，如图所示。矩阵 $\mathbf{U}$ 是把原始坐标轴旋转到投影长度最大的的坐标轴，即通过特征值分解获得的特征向量。

对于高斯分布，有必要要求协方差矩阵的所有特征值 ${\lambda }_i$ 严格大于零，否则分布将不能被正确地归⼀化。⼀个特征值严格大于零的矩阵被称为正定（positive definite）矩阵。在第12章，我们会遇到⼀个或者多个特征值为零的高斯分布，那种情况下分布是奇异的，被限制在了⼀个低维的子空间中。如果所有的特征值都是非负的，那么这个矩阵被称为半正定（positive semidefine）矩阵。

注解： 数据如果在某个或者几个坐标轴的无投影的话，则可以用少数的坐标轴进行表示，即子空间。

现在考虑在由 $y_i$ 定义的新坐标系下高斯分布的形式。从 $\mathbf{x}$ 坐标系到 $\mathbf{y}$ 坐标系，我们有⼀个Jacobian矩阵 $\mathbf{J}$，它的元素可通过一下推导进行表示。

由公式 $\mathbf{y}=\mathbf{U}(\mathbf{x}-\mathbf{\mu })$ 可得 $\mathbf{x}={\mathbf{U}}^T\mathbf{y}+\mathbf{\mu }$，则
$${\mathbf{J}}_{ij}=\frac{\partial {\mathbf{x}}_i}{{\mathbf{y}}_j}={\mathbf{U}}_{ji}$$
或者 $\mathbf{J}={\mathbf{U}}^T$

其中，${\mathbf{U}}_{ji}$ 是矩阵 ${\mathbf{U}}^T$ 的元素。由于 $\mathbf{U}$ 矩阵的正交性，雅可比矩阵的行列式可表示为
$$|\mathbf{J}{|}^2=|{\mathbf{U}}^T{|}^2=|{\mathbf{U}}^T|\cdot |\mathbf{U}|=|{\mathbf{U}}^T\mathbf{U}|=|\mathbf{I}|=1$$
由 $\Sigma ={\mathbf{U}}^T\cdot \text{Diag}({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_D)\cdot \mathbf{U}$ 可知，
$$|\Sigma {|}^{1/2}=\prod _{j=1}^D{\lambda }_j^{1/2}\text{\hspace{1em}(5)}$$

将公式（2）和（5）带入高斯概率密度函数的
$$\begin{array}{rl}p(\mathbf{x})& =\frac{1}{(2\pi {)}^{D/2}|\Sigma {|}^{1/2}}\exp \{-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^T{\Sigma }^{-1}(\mathbf{x}-\mathbf{\mu })\}\\ & =\frac{1}{{\prod }_{j=1}^D(2\pi {)}^{1/2}{\prod }_{j=1}^D{\lambda }_j^{1/2}}\exp \{-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^T\sum _j^D\frac{1}{{\lambda }_j}{\mathbf{u}}_j{\mathbf{u}}_j^T(\mathbf{x}-\mathbf{\mu })\}\\ & =\frac{1}{{\prod }_{j=1}^D(2\pi {)}^{1/2}{\prod }_{j=1}^D{\lambda }_j^{1/2}}\exp \{-\sum _j^D\frac{1}{2{\lambda }_j}\underset{y_j}{\underbrace{(\mathbf{x}-\mathbf{\mu }{)}^T{\mathbf{u}}_j}}\underset{y_j}{\underbrace{{\mathbf{u}}_j^T(\mathbf{x}-\mathbf{\mu })}}\}\\ & =\frac{1}{{\prod }_{j=1}^D(2\pi {)}^{1/2}{\prod }_{j=1}^D{\lambda }_j^{1/2}}\exp \{-\sum _j^D\frac{y_j^2}{2{\lambda }_j}\}\\ & =\prod _{j=1}^D\frac{1}{(2\pi {\lambda }_j{)}^{1/2}}\exp \{-\frac{y_j^2}{2{\lambda }_j}\}\\ & =p(\mathbf{y})\end{array}$$
在新的坐标系 $\mathbf{y}$ 下，概率密度函数 $p(\mathbf{y})$ 仍然是不需要归一化的，因为
$$\int p(\mathbf{y})d\mathbf{y}=\prod _{j=1}^D\int \frac{1}{(2\pi {\lambda }_j{)}^{1/2}}\exp \{-\frac{y_j^2}{2{\lambda }_j}\}d{y}_j=1$$

3.1 高斯分布的期望

高斯概率密度函数 $p(\mathbf{x})=\frac{1}{(2\pi {)}^{D/2}|\Sigma {|}^{1/2}}\exp \{-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^T{\Sigma }^{-1}(\mathbf{x}-\mathbf{\mu })\}$ 有两个参数，$\mathbf{\mu }$ 和 $\Sigma$。下面分别计算高斯概率密度函数关于 $\mathbf{x}$ 的期望和方差。
$$\begin{array}{rl}\mathbb{E}[\mathbf{x}]& =\int \mathbf{x}p(\mathbf{x})d\mathbf{x}\\ & =\frac{1}{(2\pi {)}^{D/2}|\Sigma {|}^{1/2}}\int \exp \{-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^T{\Sigma }^{-1}(\mathbf{x}-\mathbf{\mu })\}\mathbf{x}d\mathbf{x}\\ & =\frac{1}{(2\pi {)}^{D/2}|\Sigma {|}^{1/2}}\int \exp \{-\frac{1}{2}\underset{{\mathbf{z}}^T}{\underbrace{(\mathbf{x}-\mathbf{\mu }{)}^T}}{\Sigma }^{-1}\underset{\mathbf{z}}{\underbrace{(\mathbf{x}-\mathbf{\mu })}}\}(\underset{\mathbf{z}}{\underbrace{\mathbf{x}-\mathbf{\mu }}}+\mathbf{\mu })d\mathbf{x}\\ & =\frac{1}{(2\pi {)}^{D/2}|\Sigma {|}^{1/2}}\int \exp \{-\frac{1}{2}{\mathbf{z}}^T{\Sigma }^{-1}\mathbf{z}\}(\mathbf{z}+\mathbf{\mu })d\mathbf{x}\\ & =\frac{1}{(2\pi {)}^{D/2}|\Sigma {|}^{1/2}}\int \underset{奇函数}{\underbrace{\exp \{-\frac{1}{2}{\mathbf{z}}^T{\Sigma }^{-1}\mathbf{z}\}\mathbf{z}}}d\mathbf{x}+\mathbf{\mu }\cdot \frac{1}{(2\pi {)}^{D/2}|\Sigma {|}^{1/2}}\int \exp \{-\frac{1}{2}{\mathbf{z}}^T{\Sigma }^{-1}\mathbf{z}\}d\mathbf{x}\\ & =\mathbf{\mu }\end{array}$$
所示，$\mathbf{\mu }$ 称为高斯分布的均值。

3.2 高斯分布的方差

要求多维高斯分布的方差，首先我们需要求 $\mathbb{E}[\mathbf{x}\cdot {\mathbf{x}}^T]$，
$$\begin{array}{rl}\mathbb{E}[\mathbf{x}\cdot {\mathbf{x}}^T]& =\frac{1}{(2\pi {)}^{D/2}|\Sigma {|}^{1/2}}\int \exp \{-\frac{1}{2}\underset{{\mathbf{z}}^T}{\underbrace{(\mathbf{x}-\mathbf{\mu }{)}^T}}{\Sigma }^{-1}\underset{\mathbf{z}}{\underbrace{(\mathbf{x}-\mathbf{\mu })}}\}(\mathbf{x}\cdot {\mathbf{x}}^T)d\mathbf{x}\\ & =\frac{1}{(2\pi {)}^{D/2}|\Sigma {|}^{1/2}}\int \exp \{-\frac{1}{2}{\mathbf{z}}^T{\Sigma }^{-1}\mathbf{z}\}(\mathbf{z}+\mathbf{\mu })(\mathbf{z}+\mathbf{\mu }{)}^{T}d\mathbf{z}\\ & =\frac{1}{(2\pi {)}^{D/2}|\Sigma {|}^{1/2}}\int \exp \{-\frac{1}{2}{\mathbf{z}}^T{\Sigma }^{-1}\mathbf{z}\}(\mathbf{z}{\mathbf{z}}^T+\underset{奇函数}{\underbrace{2\mathbf{\mu }{\mathbf{z}}^T}}+\mathbf{\mu }{\mathbf{\mu }}^T)d\mathbf{z}\\ & =\frac{1}{(2\pi {)}^{D/2}|\Sigma {|}^{1/2}}\int \exp \{-\frac{1}{2}{\mathbf{z}}^T{\Sigma }^{-1}\mathbf{z}\}\mathbf{z}{\mathbf{z}}^{T}d\mathbf{z}+\mathbf{\mu }{\mathbf{\mu }}^T\end{array}$$
由公式（4）$\mathbf{y}=\mathbf{U}(\mathbf{x}-\mathbf{\mu })$ 及上式代换 $\mathbf{z}=\mathbf{x}-\mathbf{\mu }$ 可得 $\mathbf{z}={\sum }_{j=1}^D{y}_j{\mathbf{u}}_j$，则上式可继续表示为
$$\begin{array}{rl}\mathbb{E}[\mathbf{x}\cdot {\mathbf{x}}^T]& =\frac{1}{(2\pi {)}^{D/2}|\Sigma {|}^{1/2}}\int \exp \{-\frac{1}{2}{\mathbf{z}}^T{\Sigma }^{-1}\mathbf{z}\}\mathbf{z}{\mathbf{z}}^{T}d\mathbf{z}+\mathbf{\mu }{\mathbf{\mu }}^T\\ & =\frac{1}{(2\pi {)}^{D/2}|\Sigma {|}^{1/2}}\int \exp \{-\frac{1}{2}\sum _{j=1}^D{y}_j{\mathbf{u}}_j^T{\Sigma }^{-1}{y}_j{\mathbf{u}}_j\}\sum _{i=1}^D{y}_i{\mathbf{u}}_i\sum _{j=1}^D{y}_j{\mathbf{u}}_j^{T}d\mathbf{y}+\mathbf{\mu }{\mathbf{\mu }}^T\\ & =\frac{1}{(2\pi {)}^{D/2}|\Sigma {|}^{1/2}}\int \exp \{-\frac{1}{2}\sum _{k=1}^D{y}_k^2{\mathbf{u}}_k^T\frac{1}{{\lambda }_k}{\mathbf{u}}_k{\mathbf{u}}_k^T{\mathbf{u}}_k\}\sum _{i=1}^D\sum _{j=1}^D{y}_i{y}_j{\mathbf{u}}_i{\mathbf{u}}_j^{T}d\mathbf{y}+\mathbf{\mu }{\mathbf{\mu }}^T\\ & =\frac{1}{(2\pi {)}^{D/2}|\Sigma {|}^{1/2}}\sum _{i=1}^D\sum _{j=1}^D{\mathbf{u}}_i{\mathbf{u}}_j^T\int \exp \{-\sum _{k=1}^D\frac{y_k^2}{2{\lambda }_k}\}{y}_i{y}_{j}d\mathbf{y}+\mathbf{\mu }{\mathbf{\mu }}^T\\ & {=}_{?}\sum _{i=1}^D{\mathbf{u}}_i{\mathbf{u}}_i^T{\lambda }_i+\mathbf{\mu }{\mathbf{\mu }}^T\\ & =\Sigma +\mathbf{\mu }{\mathbf{\mu }}^T\end{array}$$
则
$$\begin{array}{rl}cov[\mathbf{x}]& =\mathbb{E}[(\mathbf{x}-\mathbb{E}[\mathbf{x}])(\mathbf{x}-\mathbb{E}[\mathbf{x}]{)}^T]\\ & =\mathbb{E}[(\mathbf{x}-\mathbf{\mu })(\mathbf{x}-\mathbf{\mu }{)}^T]\\ & =\mathbb{E}[(\mathbf{x}{\mathbf{x}}^T-\mathbf{\mu }{\mathbf{x}}^T-\mathbf{x}{\mathbf{\mu }}^T+\mathbf{\mu }{\mathbf{\mu }}^T]\\ & =\mathbb{E}[\mathbf{x}{\mathbf{x}}^T]-\mathbf{\mu }{\mathbf{\mu }}^T\\ & =\Sigma \end{array}$$
因为高斯分布的参数矩阵 $\Sigma$ 控制着 $x$ 的方差，称为协方差矩阵。

3.2 高斯分布的弊端

高斯分布的参数包括均值向量 $\mathbf{\mu }$ 和 协方差矩阵 $\Sigma$ ，这种各向异性高斯分布虽然表达能力强，但是包含参数个数多，为 $D+D(D-1)/2=D(D+1)/2$个；为了减少参数个数，可降低高斯密度函数的表达能力，可设定 $\Sigma ={\sigma }^{2}I$， 变成各向同性高斯分布，此时的参数个数为 $D+1$ 个。

单高斯密度函数最大的问题是不能表达多高斯分布，需要借助更深层的学习，引入潜在变量和多模态高斯，主要应用于马尔可夫随机场和线性动态系统，一个有效的计算框架是概率图模型。

4. 高斯的极大似然

观测数据 $X=({\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n{)}^T$ 中每个样本（行向量）均独立采样于多维高斯分布
$$p({\mathbf{x}}_n|\mathbf{\mu },\Sigma )=\frac{1}{(2\pi {)}^{D/2}|\Sigma {|}^{1/2}}\exp \{-\frac{1}{2}({\mathbf{x}}_n-\mathbf{\mu }{)}^T{\Sigma }^{-1}({\mathbf{x}}_n-\mathbf{\mu })\}$$
则
$$p(X|\mathbf{\mu },\Sigma )=\prod _{n=1}^N\frac{1}{(2\pi {)}^{D/2}|\Sigma {|}^{1/2}}\exp \{-\frac{1}{2}({\mathbf{x}}_n-\mathbf{\mu }{)}^T{\Sigma }^{-1}({\mathbf{x}}_n-\mathbf{\mu })\}$$
即
$$\ln p(X|\mathbf{\mu },\Sigma )=\frac{ND}{2}\ln (2\pi )-\frac{N}{2}\ln |\Sigma |-\frac{1}{2}\sum _{n=1}^N({\mathbf{x}}_n-\mathbf{\mu }{)}^T{\Sigma }^{-1}({\mathbf{x}}_n-\mathbf{\mu })\text{\hspace{1em}(6)}$$
经过简单的整理，发现（6）只与两个量有关，分别为 ${\sum }_{n=1}^N{\mathbf{x}}_n$ 和 ${\sum }_{n=1}^N{\mathbf{x}}_n{\mathbf{x}}_n^T$ 有关，称为高斯分布的充分统计量。

通过极大似然的方式可以求出参数 $\mathbf{\mu }$,
$$\frac{\partial }{\partial \mathbf{\mu }}\ln p(X|\mathbf{\mu },\Sigma )=\sum _{n=1}^N{\Sigma }^{-1}({\mathbf{x}}_n-\mathbf{\mu })=0$$
即参数 $\mathbf{\mu }$ 的极大似然解为
$${\mathbf{\mu }}_{ML}=\frac{1}{N}\sum _{n=1}^N{\mathbf{x}}_n$$
为观测值的均值。

接下来对 log 似然函数关于参数 $\Sigma$ 求导数
$$\frac{\partial }{\partial \Sigma }\ln p(X|\mathbf{\mu },\Sigma )=\frac{\partial }{\partial \Sigma }\{-\frac{N}{2}\ln |\Sigma |-\frac{1}{2}\sum _{n=1}^N({\mathbf{x}}_n-\mathbf{\mu }{)}^T{\Sigma }^{-1}({\mathbf{x}}_n-\mathbf{\mu })\}=0$$
得
$${\mathbf{\Sigma }}_{ML}=\frac{1}{N}\sum _{n=1}^N({\mathbf{x}}_n-{\mathbf{\mu }}_{ML})({\mathbf{x}}_n-{\mathbf{\mu }}_{ML}{)}^T$$
这是一个有偏估计，因为
$$\mathbb{E}[{\mathbf{\mu }}_{ML}]=\mathbf{\mu }$$

$$\mathbb{E}[{\mathbf{\Sigma }}_{ML}]=\frac{N-1}{N}\mathbf{\Sigma }$$

为了得到无偏估计，我们需要做如下调整
$$\tilde{\mathbf{\Sigma }}=\frac{1}{N-1}\sum _{n=1}^N({\mathbf{x}}_n-{\mathbf{\mu }}_{ML})({\mathbf{x}}_n-{\mathbf{\mu }}_{ML}{)}^T$$

5. 高斯的贝叶斯推断

**问题：**高斯分布关于参数 $\mu$ 和 $\Sigma$ 的极大似然估计是一种点估计方法，过分地依赖观测数据，估计结果与总体分布难免有偏颇。

策略： 通过引入先验的方式开发贝叶斯方法，即引入超参数，由先验估计后验。

我们以简单的单变量高斯为例，假设总体分布的方差 ${\sigma }^2$ 已知，通过 $N$ 个采样 x = { x 1 , x 2 , ⋯   , x n } \mathbf{x}=\{x_1,x_2,\cdots,x_n\} x={x1​,x2​,⋯,xn​} 推断总体的均值 $\mu$. 关于参数 $\mu$ 的似然函数表示为
$$p(\mathbf{x}|\mu )=\prod _{n=1}^{N}p(x_n|\mu )=\frac{1}{(2\pi {\sigma }^2{)}^{N/2}}\exp \{-\frac{1}{2{\sigma }^2}\sum _{i=1}^N(x_i-\mu {)}^2\}$$
**注意：**似然函数并未归一化，也不是一个概率密度函数。

由于似然函数是关于参数 $\mu$ 的指数形式，可设定先验分布 $p(\mu )$ 为高斯分布，后验分布也将是高斯分布，使得似然与后验分布具有相同的指数形式。因此，先验分布设定如下
$$p(\mu )=\mathcal{N}(\mu |{\mu }_0,{\sigma }_0^2)=\frac{1}{(2\pi {\sigma }_0^2{)}^{1/2}}\exp \{-\frac{1}{2{\sigma }_0^2}(\mu -{\mu }_0{)}^2\}$$
则后验分布表示为
$$\begin{array}{rl}\ln p(\mu |\mathbf{x})& \propto \ln p(\mathbf{x}|\mu )+\ln p(\mu )\\ & =-\frac{N}{2}\ln (2\pi {\sigma }^2)-\frac{1}{2{\sigma }^2}\sum _{i=1}^N(x_i-\mu {)}^2-\frac{1}{2}\ln (2\pi {\sigma }_0^2)-\frac{1}{2{\sigma }_0^2}(\mu -{\mu }_0{)}^2\\ & =-\frac{1}{2{\sigma }^2}\sum _{i=1}^N(x_i-\mu {)}^2-\frac{1}{2{\sigma }_0^2}(\mu -{\mu }_0{)}^2+const\\ & =-\frac{1}{2{\sigma }^2}\sum _{i=1}^N(x_i^2-2x_i\mu +{\mu }^2)-\frac{1}{2{\sigma }_0^2}({\mu }^2-2{\mu }_0\mu +{\mu }^2)+const\\ & =-\frac{1}{2{\sigma }^2}(\sum _{i=1}^N{x}_i^2-2\mu \underset{N\cdot {\mu }_{ML}}{\underbrace{\sum _{i=1}^N{x}_i}}+N{\mu }^2)-\frac{1}{2{\sigma }_0^2}({\mu }^2-2{\mu }_0\mu +{\mu }^2)+const\\ & =-\frac{1}{2}(\frac{N}{{\sigma }^2}+\frac{1}{{\sigma }_0^2}){\mu }^2+(\frac{N\cdot {\mu }_{ML}}{{\sigma }^2}+\frac{{\mu }_0}{{\sigma }_0^2})\mu +const\\ & =-\frac{1}{2}(\frac{N}{{\sigma }^2}+\frac{1}{{\sigma }_0^2})\{{\mu }^2-2(\frac{N{\sigma }_0^2\cdot {\mu }_{ML}+{\sigma }^2{\mu }_0}{N{\sigma }_0^2+{\sigma }^2})\mu +(\frac{N{\sigma }_0^2\cdot {\mu }_{ML}+{\sigma }^2{\mu }_0}{N{\sigma }_0^2+{\sigma }^2}{)}^2\}+const\\ & =-\frac{(\mu -\frac{N{\sigma }_0^2\cdot {\mu }_{ML}+{\sigma }^2{\mu }_0}{N{\sigma }_0^2+{\sigma }^2}{)}^2}{2\frac{1}{\frac{N}{{\sigma }^2}+\frac{1}{{\sigma }_0^2}}}+const\end{array}$$
所以，后验分布为 $p(\mu |\mathbf{x})=\mathcal{N}(\mu |\tilde{\mu },\tilde{\sigma })$ ，其中，
$$\tilde{\mu }=\frac{N{\sigma }_0^2\cdot {\mu }_{ML}+{\sigma }^2{\mu }_0}{N{\sigma }_0^2+{\sigma }^2}=\frac{{\sigma }^2}{N{\sigma }_0^2+{\sigma }^2}{\mu }_0+\frac{N{\sigma }_0^2}{N{\sigma }_0^2+{\sigma }^2}{\mu }_{ML}\text{\hspace{1em}(7)}$$

$$\frac{1}{\widetilde{{\sigma }^2}}=\frac{N}{{\sigma }^2}+\frac{1}{{\sigma }_0^2}\text{\hspace{1em}(8)}$$

由公式（7）可知，后验均值是先验均值和极大似然均值的折中。

• $N=0$ 时，强烈依赖于先验，后验均值等于先验均值
• $N\to \infty$ 时，强烈依赖于似然，后验均值等于似然均值

相似地，由公式（8）可知，后验的精度会随着 $N$ 的增大而稳步增加

• $N=0$ 时，强烈依赖于先验，后验精度等于先验精度
• $N\to \infty$ 时，后验方差接近于 $0$ ，分布在极大似然均值附近变得陡峭

**注意：**对于固定的 $N$ ，当 ${\sigma }_0^2\to \infty$ 时，后验均值会退化成极大似然均值；后验方差 $\widetilde{{\sigma }^2}={\sigma }^2/N$，效果如下图所示。

$$\frac{1}{\widetilde{{\sigma }^2}}=\frac{N}{{\sigma }^2}+\frac{1}{{\sigma }_0^2}\text{\hspace{1em}(8)}$$

由公式（7）可知，后验均值是先验均值和极大似然均值的折中。

• $N=0$ 时，强烈依赖于先验，后验均值等于先验均值
• $N\to \infty$ 时，强烈依赖于似然，后验均值等于似然均值

相似地，由公式（8）可知，后验的精度会随着 $N$ 的增大而稳步增加

• $N=0$ 时，强烈依赖于先验，后验精度等于先验精度
• $N\to \infty$ 时，后验方差接近于 $0$ ，分布在极大似然均值附近变得陡峭

**注意：**对于固定的 $N$ ，当 ${\sigma }_0^2\to \infty$ 时，后验均值会退化成极大似然均值；后验方差 $\widetilde{{\sigma }^2}={\sigma }^2/N$，效果如下图所示。