预备知识
正算子（正定算子）：设 H H H 是一个希尔伯特空间，具有内积 ⟨ ⋅ , ⋅ ⟩ \langle \cdot, \cdot \rangle ⟨⋅,⋅⟩。一个线性算子 A : H → H A: H \to H A:H→H 称为正定算子，如果它满足：
- 自伴性（self-adjoint）： ⟨ A x , y ⟩ = ⟨ x , A y ⟩ \langle A x, y \rangle = \langle x, A y \rangle ⟨Ax,y⟩=⟨x,Ay⟩ 对所有 x , y ∈ H x, y \in H x,y∈H（在复数情况下，为共轭对称）。
- 正定性： ⟨ A x , x ⟩ > 0 \langle A x, x \rangle > 0 ⟨Ax,x⟩>0 对所有非零 x ∈ H x \in H x∈H。
正定算子常用于定义新的内积结构。
核函数（kernel function）：核函数是一个二元函数 k : X × X → C k: X \times X \to \mathbb{C} k:X×X→C（或 R \mathbb{R} R)，其中 X X X 是一个集合（例如，输入空间）。核函数通常是 半正定核（positive definite kernel），即对任意有限点集 { x 1 , … , x m } ⊂ X \{x_1, \dots, x_m\} \subset X {x1,…,xm}⊂X，矩阵 [ k ( x i , x j ) ] i , j = 1 m [k(x_i, x_j)]_{i,j=1}^m [k(xi,xj)]i,j=1m 是正定的。核函数在再生核希尔伯特空间（RKHS）中用于定义内积。
带核函数的内积：指一个内积可以通过核函数显式表示，例如在积分形式或双线性形式中。这常见于函数空间（如 L 2 L^2 L2 空间），其中内积由核函数积分给出。
线性核
定义（带核函数的内积）：
设 H 1 = L 2 ( X , 1 μ 1 ) H_1 = L^2(X,_1 \mu_1) H1=L2(X,1μ1), H 2 = L 2 ( X 2 , μ 2 ) H_2 = L^2(X_2, \mu_2) H2=L2(X2,μ2) 是两个希尔伯特空间， A : H 1 → H 2 A: H_1 \to H_2 A:H1→H2 是正定算子，且 A A A 具有积分核 k : X 1 × X 2 → C k: X_1 \times X_2 \to \mathbb{C} k:X1×X2→C（即 ( A f ) ( x ) = ∫ X 1 k ( x , y ) f ( y ) d μ 1 ( y ) (A f)(x) = \int_{X_1} k(x, y) f(y) d\mu_1(y) (Af)(x)=∫X1k(x,y)f(y)dμ1(y))。定义带核函数的内积 ⟨ ⋅ , ⋅ ⟩ A \langle \cdot, \cdot \rangle_A ⟨⋅,⋅⟩A 为：
⟨ f , g ⟩ A = ∬ X 1 × X 1 k ( x , y ) f ( y ) g ( x ) ‾ d μ ( y ) d μ ( x ) , ∀ f , g ∈ H 1 . \langle f, g \rangle_A = \iint_{X_1 \times X_1} k(x, y) f(y) \overline{g(x)} d\mu(y) d\mu(x), \quad \forall f, g \in H_1. ⟨f,g⟩A=∬X1×X1k(x,y)f(y)g(x)dμ(y)dμ(x),∀f,g∈H1.
这个内积满足：
- 核函数关联：内积通过核函数 k k k 显式表示。
- 正定性：由于 A A A 正定， ⟨ f , f ⟩ A > 0 \langle f, f \rangle_A > 0 ⟨f,f⟩A>0 对所有非零 f ∈ H f \in H f∈H。
- 与正算子的关系： ⟨ f , g ⟩ A = ⟨ A f , g ⟩ \langle f, g \rangle_A = \langle A f, g \rangle ⟨f,g⟩A=⟨Af,g⟩，体现了从正算子出发的构造。
关键性质和解释
为什么从正算子出发？
正定算子 A A A 提供了构造新内积的基础。新内积 ⟨ ⋅ , ⋅ ⟩ A \langle \cdot, \cdot \rangle_A ⟨⋅,⋅⟩A 本质上是“加权”内积，其中 A A A 调整了原始内积的结构。核函数 k k k 则是 A A A 的积分表示，使得内积可以显式计算。核函数的作用：
- 核函数 k k k 捕捉了算子 A A A 的作用。例如，在机器学习中， k k k 常用于定义相似性度量；在泛函分析中， k k k 是再生核。
- 表达式 ⟨ f , g ⟩ A = ∬ k ( x , y ) f ( y ) g ( x ) ‾ d μ ( y ) d μ ( x ) \langle f, g \rangle_A = \iint k(x, y) f(y) \overline{g(x)} d\mu(y) d\mu(x) ⟨f,g⟩A=∬k(x,y)f(y)g(x)dμ(y)dμ(x) 表明内积是 f f f 和 g g g 通过核函数 k k k 的“双线性耦合”。如果 k k k 是 Dirac delta 函数（即 k ( x , y ) = δ ( x − y ) k(x, y) = \delta(x - y) k(x,y)=δ(x−y))，则退化为标准 L 2 L^2 L2 内积。
再生核希尔伯特空间（RKHS）联系：
核函数 k k k 本身可以定义一个 RKHS。具体地，定义特征映射 ϕ : X → H \phi: X \to H ϕ:X→H 为 ϕ ( x ) = k ( ⋅ , x ) \phi(x) = k(\cdot, x) ϕ(x)=k(⋅,x)，则：
⟨ ϕ ( x ) , ϕ ( y ) ⟩ A = ⟨ k ( ⋅ , x ) , k ( ⋅ , y ) ⟩ A = k ( x , y ) , \langle \phi(x), \phi(y) \rangle_A = \langle k(\cdot, x), k(\cdot, y) \rangle_A = k(x, y), ⟨ϕ(x),ϕ(y)⟩A=⟨k(⋅,x),k(⋅,y)⟩A=k(x,y),
这满足 RKHS 的再生性质。然而，注意 H H H 带内积 ⟨ ⋅ , ⋅ ⟩ A \langle \cdot, \cdot \rangle_A ⟨⋅,⋅⟩A 不一定是 RKHS（除非 A = I A = I A=I)，但核函数 k k k 可以用于构造另一个 RKHS。有限维情况（离散例子）：
如果 H = R n H = \mathbb{R}^n H=Rn 带标准内积 ⟨ x , y ⟩ = x T y \langle x, y \rangle = x^T y ⟨x,y⟩=xTy，且 A A A 是 n × n n \times n n×n 正定矩阵，则：- 新内积： ⟨ x , y ⟩ A = x T A y \langle x, y \rangle_A = x^T A y ⟨x,y⟩A=xTAy。
- 核函数：定义 k : R n × R n → R k: \mathbb{R}^n \times \mathbb{R}^n \to \mathbb{R} k:Rn×Rn→R 为 k ( x , y ) = x T A y k(x, y) = x^T A y k(x,y)=xTAy。
- 内积表示： ⟨ x , y ⟩ A = ∑ i , j = 1 n A i j x i y j \langle x, y \rangle_A = \sum_{i,j=1}^n A_{ij} x_i y_j ⟨x,y⟩A=∑i,j=1nAijxiyj，其中 A i j A_{ij} Aij 是矩阵元素，相当于离散核函数。
这里， k ( x , y ) = x T A y k(x, y) = x^T A y k(x,y)=xTAy 是正定核，且内积直接由核函数给出。
非线性核
在某个高维（甚至无限维）特征空间 H \mathcal{H} H 中，两个样本 x , y \mathbf{x}, \mathbf{y} x,y 的内积 ⟨ ϕ ( x ) , ϕ ( y ) ⟩ H \langle \phi(\mathbf{x}), \phi(\mathbf{y}) \rangle_{\mathcal{H}} ⟨ϕ(x),ϕ(y)⟩H，可以通过原始空间中的核函数 K ( x , y ) K(\mathbf{x}, \mathbf{y}) K(x,y) 间接计算。
即：
K ( x , y ) = ⟨ ϕ ( x ) , ϕ ( y ) ⟩ H K(\mathbf{x}, \mathbf{y}) = \langle \phi(\mathbf{x}), \phi(\mathbf{y}) \rangle_{\mathcal{H}} K(x,y)=⟨ϕ(x),ϕ(y)⟩H
其中 ϕ : R d → H \phi: \mathbb{R}^d \to \mathcal{H} ϕ:Rd→H 是从原始空间到特征空间的映射。其中 ϕ ( a x + b y ) ≠ a ϕ ( x ) + b ϕ ( y ) \phi( ax+by)\neq a\phi(x)+b\phi(y) ϕ(ax+by)=aϕ(x)+bϕ(y) 存在 a , b ∈ R , x , y ∈ H a,b\in \mathbb{R},x,y\in \mathcal{H} a,b∈R,x,y∈H 可称为非线性映射。
Mercer定理的保证
Mercer定理给出了核函数作为内积的充要条件：
定理：若函数 K ( x , y ) K(\mathbf{x}, \mathbf{y}) K(x,y) 是对称、连续且正定的（即对任意有限样本集 { x i } i = 1 n \{\mathbf{x}_i\}_{i=1}^n {xi}i=1n，矩阵 [ K ( x i , x j ) ] n × n [K(\mathbf{x}_i, \mathbf{x}_j)]_{n \times n} [K(xi,xj)]n×n 是半正定矩阵），则存在一个特征空间 H \mathcal{H} H 和映射 ϕ \phi ϕ，使得：
K ( x , y ) = ⟨ ϕ ( x ) , ϕ ( y ) ⟩ H . K(\mathbf{x}, \mathbf{y}) = \langle \phi(\mathbf{x}), \phi(\mathbf{y}) \rangle_{\mathcal{H}}. K(x,y)=⟨ϕ(x),ϕ(y)⟩H.
结论：
- 多项式核、RBF核等均满足Mercer条件，因此它们必然对应某个高维空间中的内积。
- 我们无需显式构造 ϕ \phi ϕ，只需计算 K ( x , y ) K(\mathbf{x}, \mathbf{y}) K(x,y) 即可隐式得到高维内积。
具体核函数的特征映射示例
(1) 多项式核 K ( x , y ) = ( γ x ⊤ y + r ) d K(\mathbf{x}, \mathbf{y}) = (\gamma \mathbf{x}^\top \mathbf{y} + r)^d K(x,y)=(γx⊤y+r)d
- 特征映射 ϕ \phi ϕ：
将原始特征 x = [ x 1 , x 2 ] ⊤ \mathbf{x} = [x_1, x_2]^\top x=[x1,x2]⊤ 映射到高维空间（以 d = 2 d=2 d=2 为例）：
ϕ ( x ) = [ γ x 1 2 , 2 γ x 1 x 2 , γ x 2 2 , 2 γ r x 1 , 2 γ r x 2 , r ] ⊤ \phi(\mathbf{x}) = [\gamma x_1^2, \sqrt{2} \gamma x_1 x_2, \gamma x_2^2, \sqrt{2\gamma r} x_1, \sqrt{2\gamma r} x_2, r]^\top ϕ(x)=[γx12,2γx1x2,γx22,2γrx1,2γrx2,r]⊤ - 内积验证：
⟨ ϕ ( x ) , ϕ ( y ) ⟩ = γ 2 x 1 2 y 1 2 + 2 γ x 1 x 2 y 1 y 2 + γ 2 x 2 2 y 2 2 + 2 γ r x 1 y 1 + 2 γ r x 2 y 2 + r 2 \langle \phi(\mathbf{x}), \phi(\mathbf{y}) \rangle = \gamma^2 x_1^2 y_1^2 + 2\gamma x_1 x_2 y_1 y_2 + \gamma^2 x_2^2 y_2^2 + 2\gamma r x_1 y_1 + 2\gamma r x_2 y_2 + r^2 ⟨ϕ(x),ϕ(y)⟩=γ2x12y12+2γx1x2y1y2+γ2x22y22+2γrx1y1+2γrx2y2+r2
恰好等于 ( γ x ⊤ y + r ) 2 (\gamma \mathbf{x}^\top \mathbf{y} + r)^2 (γx⊤y+r)2。
(2) RBF核 K ( x , y ) = exp ( − γ ∥ x − y ∥ 2 ) K(\mathbf{x}, \mathbf{y}) = \exp\left(-\gamma \|\mathbf{x} - \mathbf{y}\|^2\right) K(x,y)=exp(−γ∥x−y∥2)
- 特征空间 H \mathcal{H} H：
RBF核对应无限维特征空间（由高斯函数的泰勒展开生成）。
ϕ ( x ) = [ e − γ ∥ x ∥ 2 ⋅ ( 2 γ ) ∣ α ∣ α ! x α ] α ∈ N d \phi(\mathbf{x}) = \left[ e^{-\gamma \|\mathbf{x}\|^2} \cdot \frac{(\sqrt{2\gamma})^{|\boldsymbol{\alpha}|}}{\sqrt{\boldsymbol{\alpha}!}} \mathbf{x}^{\boldsymbol{\alpha}} \right]_{\boldsymbol{\alpha} \in \mathbb{N}^d} ϕ(x)=[e−γ∥x∥2⋅α!(2γ)∣α∣xα]α∈Nd
其中 α = ( α 1 , … , α d ) \boldsymbol{\alpha} = (\alpha_1, \dots, \alpha_d) α=(α1,…,αd) 是多重指标， x α = x 1 α 1 ⋯ x d α d \mathbf{x}^{\boldsymbol{\alpha}} = x_1^{\alpha_1} \cdots x_d^{\alpha_d} xα=x1α1⋯xdαd。 - 内积验证：
通过泰勒展开可证明：
exp ( − γ ∥ x − y ∥ 2 ) = exp ( − γ ∥ x ∥ 2 ) exp ( − γ ∥ y ∥ 2 ) ∑ k = 0 ∞ ( 2 γ ) k k ! ⟨ x , y ⟩ k \exp\left(-\gamma \|\mathbf{x} - \mathbf{y}\|^2\right) = \exp\left(-\gamma \|\mathbf{x}\|^2\right) \exp\left(-\gamma \|\mathbf{y}\|^2\right) \sum_{k=0}^\infty \frac{(2\gamma)^k}{k!} \langle \mathbf{x}, \mathbf{y} \rangle^k exp(−γ∥x−y∥2)=exp(−γ∥x∥2)exp(−γ∥y∥2)k=0∑∞k!(2γ)k⟨x,y⟩k
这正是 ϕ ( x ) \phi(\mathbf{x}) ϕ(x) 与 ϕ ( y ) \phi(\mathbf{y}) ϕ(y) 在无限维空间中的内积。