通过一个具体的例子来解释 w T Σ 0 w w^T \Sigma_0 w wTΣ0w 和 w T Σ 1 w w^T \Sigma_1 w wTΣ1w 表示类内散度在投影方向上的大小。
假设：
我们有两类数据，每个类的协方差矩阵 Σ 0 \Sigma_0 Σ0 和 Σ 1 \Sigma_1 Σ1 以及投影方向 w w w 如下：
类 0 的协方差矩阵 Σ 0 \Sigma_0 Σ0：
Σ 0 = [ 2 0.5 0.5 1 ] \Sigma_0 = \begin{bmatrix} 2 & 0.5 \\ 0.5 & 1 \end{bmatrix} Σ0=[20.50.51]类 1 的协方差矩阵 Σ 1 \Sigma_1 Σ1：
Σ 1 = [ 1 0.2 0.2 0.5 ] \Sigma_1 = \begin{bmatrix} 1 & 0.2 \\ 0.2 & 0.5 \end{bmatrix} Σ1=[10.20.20.5]投影方向（权重向量） w w w：
w = [ 1 1 ] w = \begin{bmatrix} 1 \\ 1 \end{bmatrix} w=[11]
计算类内散度在投影方向上的大小：
- 对于类 0：计算 w T Σ 0 w w^T \Sigma_0 w wTΣ0w
我们计算 w T Σ 0 w w^T \Sigma_0 w wTΣ0w，这表示类 0 在投影方向 w w w 上的类内散度大小。计算过程如下：
w T Σ 0 w = [ 1 1 ] [ 2 0.5 0.5 1 ] [ 1 1 ] w^T \Sigma_0 w = \begin{bmatrix} 1 & 1 \end{bmatrix} \begin{bmatrix} 2 & 0.5 \\ 0.5 & 1 \end{bmatrix} \begin{bmatrix} 1 \\ 1 \end{bmatrix} wTΣ0w=[11][20.50.51][11]
首先进行矩阵和向量相乘：
Σ 0 w = [ 2 0.5 0.5 1 ] [ 1 1 ] = [ 2 × 1 + 0.5 × 1 0.5 × 1 + 1 × 1 ] = [ 2.5 1.5 ] \Sigma_0 w = \begin{bmatrix} 2 & 0.5 \\ 0.5 & 1 \end{bmatrix} \begin{bmatrix} 1 \\ 1 \end{bmatrix} = \begin{bmatrix} 2 \times 1 + 0.5 \times 1 \\ 0.5 \times 1 + 1 \times 1 \end{bmatrix} = \begin{bmatrix} 2.5 \\ 1.5 \end{bmatrix} Σ0w=[20.50.51][11]=[2×1+0.5×10.5×1+1×1]=[2.51.5]
然后再与 w T w^T wT 相乘：
w T Σ 0 w = [ 1 1 ] [ 2.5 1.5 ] = 1 × 2.5 + 1 × 1.5 = 4 w^T \Sigma_0 w = \begin{bmatrix} 1 & 1 \end{bmatrix} \begin{bmatrix} 2.5 \\ 1.5 \end{bmatrix} = 1 \times 2.5 + 1 \times 1.5 = 4 wTΣ0w=[11][2.51.5]=1×2.5+1×1.5=4
因此，类 0 在投影方向上的类内散度大小为 4。
- 对于类 1：计算 w T Σ 1 w w^T \Sigma_1 w wTΣ1w
我们再计算 w T Σ 1 w w^T \Sigma_1 w wTΣ1w，这表示类 1 在投影方向 w w w 上的类内散度大小。计算过程如下：
w T Σ 1 w = [ 1 1 ] [ 1 0.2 0.2 0.5 ] [ 1 1 ] w^T \Sigma_1 w = \begin{bmatrix} 1 & 1 \end{bmatrix} \begin{bmatrix} 1 & 0.2 \\ 0.2 & 0.5 \end{bmatrix} \begin{bmatrix} 1 \\ 1 \end{bmatrix} wTΣ1w=[11][10.20.20.5][11]
同样，先进行矩阵和向量相乘：
Σ 1 w = [ 1 0.2 0.2 0.5 ] [ 1 1 ] = [ 1 × 1 + 0.2 × 1 0.2 × 1 + 0.5 × 1 ] = [ 1.2 0.7 ] \Sigma_1 w = \begin{bmatrix} 1 & 0.2 \\ 0.2 & 0.5 \end{bmatrix} \begin{bmatrix} 1 \\ 1 \end{bmatrix} = \begin{bmatrix} 1 \times 1 + 0.2 \times 1 \\ 0.2 \times 1 + 0.5 \times 1 \end{bmatrix} = \begin{bmatrix} 1.2 \\ 0.7 \end{bmatrix} Σ1w=[10.20.20.5][11]=[1×1+0.2×10.2×1+0.5×1]=[1.20.7]
再与 w T w^T wT 相乘：
w T Σ 1 w = [ 1 1 ] [ 1.2 0.7 ] = 1 × 1.2 + 1 × 0.7 = 1.9 w^T \Sigma_1 w = \begin{bmatrix} 1 & 1 \end{bmatrix} \begin{bmatrix} 1.2 \\ 0.7 \end{bmatrix} = 1 \times 1.2 + 1 \times 0.7 = 1.9 wTΣ1w=[11][1.20.7]=1×1.2+1×0.7=1.9
因此，类 1 在投影方向上的类内散度大小为 1.9。
总结：
- 类 0 的类内散度 w T Σ 0 w = 4 w^T \Sigma_0 w = 4 wTΣ0w=4
- 类 1 的类内散度 w T Σ 1 w = 1.9 w^T \Sigma_1 w = 1.9 wTΣ1w=1.9
这两个值都是标量，它们表示不同类在投影方向上（由权重向量 w w w 决定）的类内样本的分散程度。LDA 的目标是最小化这些类内散度，同时最大化类间差异，以确保在投影后各类能够尽可能分开。