线性判别分析(LDA)中计算类内散度在投影方向上的大小示例

发布于:2024-10-12 ⋅ 阅读:(205) ⋅ 点赞:(0)

通过一个具体的例子来解释 w T Σ 0 w w^T \Sigma_0 w wTΣ0​w 和 w T Σ 1 w w^T \Sigma_1 w wTΣ1​w 表示类内散度在投影方向上的大小。

假设:

我们有两类数据,每个类的协方差矩阵 Σ 0 \Sigma_0 Σ0​ 和 Σ 1 \Sigma_1 Σ1​ 以及投影方向 w w w 如下:

  • 类 0 的协方差矩阵 Σ 0 \Sigma_0 Σ0​:
    Σ 0 = [ 2 0.5 0.5 1 ] \Sigma_0 = \begin{bmatrix} 2 & 0.5 \\ 0.5 & 1 \end{bmatrix} Σ0​=[20.5​0.51​]

  • 类 1 的协方差矩阵 Σ 1 \Sigma_1 Σ1​:
    Σ 1 = [ 1 0.2 0.2 0.5 ] \Sigma_1 = \begin{bmatrix} 1 & 0.2 \\ 0.2 & 0.5 \end{bmatrix} Σ1​=[10.2​0.20.5​]

  • 投影方向(权重向量) w w w:
    w = [ 1 1 ] w = \begin{bmatrix} 1 \\ 1 \end{bmatrix} w=[11​]

计算类内散度在投影方向上的大小:

  1. 对于类 0:计算 w T Σ 0 w w^T \Sigma_0 w wTΣ0​w

我们计算 w T Σ 0 w w^T \Sigma_0 w wTΣ0​w,这表示类 0 在投影方向 w w w 上的类内散度大小。计算过程如下:
w T Σ 0 w = [ 1 1 ] [ 2 0.5 0.5 1 ] [ 1 1 ] w^T \Sigma_0 w = \begin{bmatrix} 1 & 1 \end{bmatrix} \begin{bmatrix} 2 & 0.5 \\ 0.5 & 1 \end{bmatrix} \begin{bmatrix} 1 \\ 1 \end{bmatrix} wTΣ0​w=[1​1​][20.5​0.51​][11​]

首先进行矩阵和向量相乘:
Σ 0 w = [ 2 0.5 0.5 1 ] [ 1 1 ] = [ 2 × 1 + 0.5 × 1 0.5 × 1 + 1 × 1 ] = [ 2.5 1.5 ] \Sigma_0 w = \begin{bmatrix} 2 & 0.5 \\ 0.5 & 1 \end{bmatrix} \begin{bmatrix} 1 \\ 1 \end{bmatrix} = \begin{bmatrix} 2 \times 1 + 0.5 \times 1 \\ 0.5 \times 1 + 1 \times 1 \end{bmatrix} = \begin{bmatrix} 2.5 \\ 1.5 \end{bmatrix} Σ0​w=[20.5​0.51​][11​]=[2×1+0.5×10.5×1+1×1​]=[2.51.5​]

然后再与 w T w^T wT 相乘:
w T Σ 0 w = [ 1 1 ] [ 2.5 1.5 ] = 1 × 2.5 + 1 × 1.5 = 4 w^T \Sigma_0 w = \begin{bmatrix} 1 & 1 \end{bmatrix} \begin{bmatrix} 2.5 \\ 1.5 \end{bmatrix} = 1 \times 2.5 + 1 \times 1.5 = 4 wTΣ0​w=[1​1​][2.51.5​]=1×2.5+1×1.5=4

因此,类 0 在投影方向上的类内散度大小为 4。

  1. 对于类 1:计算 w T Σ 1 w w^T \Sigma_1 w wTΣ1​w

我们再计算 w T Σ 1 w w^T \Sigma_1 w wTΣ1​w,这表示类 1 在投影方向 w w w 上的类内散度大小。计算过程如下:
w T Σ 1 w = [ 1 1 ] [ 1 0.2 0.2 0.5 ] [ 1 1 ] w^T \Sigma_1 w = \begin{bmatrix} 1 & 1 \end{bmatrix} \begin{bmatrix} 1 & 0.2 \\ 0.2 & 0.5 \end{bmatrix} \begin{bmatrix} 1 \\ 1 \end{bmatrix} wTΣ1​w=[1​1​][10.2​0.20.5​][11​]

同样,先进行矩阵和向量相乘:
Σ 1 w = [ 1 0.2 0.2 0.5 ] [ 1 1 ] = [ 1 × 1 + 0.2 × 1 0.2 × 1 + 0.5 × 1 ] = [ 1.2 0.7 ] \Sigma_1 w = \begin{bmatrix} 1 & 0.2 \\ 0.2 & 0.5 \end{bmatrix} \begin{bmatrix} 1 \\ 1 \end{bmatrix} = \begin{bmatrix} 1 \times 1 + 0.2 \times 1 \\ 0.2 \times 1 + 0.5 \times 1 \end{bmatrix} = \begin{bmatrix} 1.2 \\ 0.7 \end{bmatrix} Σ1​w=[10.2​0.20.5​][11​]=[1×1+0.2×10.2×1+0.5×1​]=[1.20.7​]

再与 w T w^T wT 相乘:
w T Σ 1 w = [ 1 1 ] [ 1.2 0.7 ] = 1 × 1.2 + 1 × 0.7 = 1.9 w^T \Sigma_1 w = \begin{bmatrix} 1 & 1 \end{bmatrix} \begin{bmatrix} 1.2 \\ 0.7 \end{bmatrix} = 1 \times 1.2 + 1 \times 0.7 = 1.9 wTΣ1​w=[1​1​][1.20.7​]=1×1.2+1×0.7=1.9

因此,类 1 在投影方向上的类内散度大小为 1.9。

总结:

  • 类 0 的类内散度 w T Σ 0 w = 4 w^T \Sigma_0 w = 4 wTΣ0​w=4
  • 类 1 的类内散度 w T Σ 1 w = 1.9 w^T \Sigma_1 w = 1.9 wTΣ1​w=1.9

这两个值都是标量,它们表示不同类在投影方向上(由权重向量 w w w 决定)的类内样本的分散程度。LDA 的目标是最小化这些类内散度,同时最大化类间差异,以确保在投影后各类能够尽可能分开。


微信公众号

今日签到

点亮在社区的每一天
去签到