【返璞归真】Wald检验

Wald 检验的理论基础

Wald检验是一种假设检验方法，它的核心思想是利用参数的估计值（通常为最大似然估计，MLE）与假设值之间的差异，以及估计值的标准误差来构造检验统计量，从而判断假设是否合理。

以下是 Wald 检验的详细理论基础：

1. 模型与假设

假设样本 $X_1,X_2,\dots ,X_n$ 来自一个参数化的分布，模型的参数为 $\theta$。我们感兴趣的是检验如下假设：

• 原假设 $H_0:\theta ={\theta }_0$
• 备择假设 $H_1:\theta \ne {\theta }_0$

其中，${\theta }_0$ 是原假设中参数的特定值。

2. 最大似然估计与渐近正态性

最大似然估计（MLE） $\hat{\theta }$ 是使似然函数 $L(\theta )$ 最大化的参数估计值：
$$\hat{\theta }=\arg \underset{\theta }{\max }L(\theta )$$

根据大样本渐近理论，当样本量 $n\to \infty$ 时，MLE $\hat{\theta }$ 是一致估计，并且服从以下渐近分布：
$$\hat{\theta }\sim \mathcal{N}({\theta }_0,\Sigma ({\theta }_0))$$
其中：

• ${\theta }_0$ 是原假设下的真实值；
• $\Sigma ({\theta }_0)=I({\theta }_0{)}^{-1}$，其中 $I({\theta }_0)$ 是 Fisher 信息矩阵，定义为：
  $$I(\theta )=-\mathbb{E}\left[\frac{{\partial }^2}{\partial {\theta }^2}\ell (\theta )\right]$$

渐近正态性意味着，在 $H_0$ 下，参数的估计值 $\hat{\theta }$ 与假设值 ${\theta }_0$ 之间的差异标准化后服从标准正态分布。

3. Wald 检验的统计量

根据参数的渐近正态性，我们可以直接用参数估计值 $\hat{\theta }$ 与假设值 ${\theta }_0$ 之间的偏差，标准化后构造检验统计量。

单参数情形

如果 $\theta$ 是一个标量（即只有一个参数），Wald 检验统计量定义为：
$$W=\frac{(\hat{\theta }-{\theta }_0{)}^2}{\text{Var}(\hat{\theta })}$$

其中，$\text{Var}(\hat{\theta })$ 是 $\hat{\theta }$ 的方差估计，可以通过样本数据或 Fisher 信息矩阵计算得到。

在 $H_0$ 下，$W$ 服从 ${\chi }_1^2$ 分布。

多参数情形

如果 $\theta$ 是一个 $k$-维向量，假设 $H_0:\theta ={\theta }_0$，则 Wald 检验统计量扩展为：
$$W=(\hat{\theta }-{\theta }_0{)}^T\Sigma (\hat{\theta }{)}^{-1}(\hat{\theta }-{\theta }_0)$$
其中：

• $\Sigma (\hat{\theta })$ 是 $\hat{\theta }$ 的协方差矩阵；
• 在 $H_0$ 下，$W$ 服从 ${\chi }_k^2$ 分布。

4. 检验逻辑与决策规则

检验逻辑

1. 构造统计量：
   • 计算 $W$。
2. 确定分布：
   • 在原假设 $H_0$ 下，Wald 检验统计量 $W$ 服从卡方分布 ${\chi }_k^2$。
3. 比较临界值：
   • 给定显著性水平 $\alpha$，找到卡方分布的临界值 ${\chi }_k^2(\alpha )$。
4. 做出决策：
   • 如果 $W>{\chi }_k^2(\alpha )$，拒绝原假设 $H_0$；
   • 如果 $W\le {\chi }_k^2(\alpha )$，不拒绝原假设 $H_0$。

Wald 检验在单参数下的显著性水平

对于单参数情形，如果 $W=\frac{(\hat{\theta }-{\theta }_0{)}^2}{\text{Var}(\hat{\theta })}$，取平方根得到：
$$Z=\frac{\hat{\theta }-{\theta }_0}{\text{SE}(\hat{\theta })}$$
其中，$\text{SE}(\hat{\theta })=\sqrt{\text{Var}(\hat{\theta })}$ 是标准误差。

在 $H_0$ 下，$Z\sim \mathcal{N}(0,1)$。可以基于正态分布的临界值进行检验。

5. Wald 检验的依据：为什么有效？

1. 渐近正态性：

   • 大样本理论保证了参数估计值 $\hat{\theta }$ 在 $H_0$ 下近似服从正态分布。
   • 这种正态性使得偏差 $\hat{\theta }-{\theta }_0$ 能被标准化后用于假设检验。

2. 标准化：

   • Wald 检验通过标准化参数偏差，使得不同模型下的检验统计量具有一致的渐近分布（卡方分布或标准正态分布）。

3. 不需要重新估计：

   • Wald 检验直接利用 $\hat{\theta }$ 和假设值 ${\theta }_0$ 计算，不需要像 LRT（似然比检验）或 Score 检验那样在假设值 ${\theta }_0$ 和估计值 $\hat{\theta }$ 两者间重复计算。

6. Wald 检验的优缺点

优点

1. 简单直接：
   • 仅需要参数的估计值和方差估计，计算方便。
2. 适用范围广：
   • 适用于单参数和多参数模型。
3. 渐近性质：
   • 在大样本情况下非常有效。

缺点

1. 对样本量敏感：
   • 小样本情况下，参数估计的分布可能偏离正态性，影响检验的准确性。
2. 依赖方差估计：
   • $\text{Var}(\hat{\theta })$ 的估计精度会直接影响检验结果。
3. 不适用于边界参数：
   • 当参数值在边界（例如概率参数为0或1）时，渐近正态性可能失效。

7. Wald 检验与其他检验的关系

• 与 Score 检验：

  • Wald 检验基于参数的估计值（MLE）进行检验，而 Score 检验基于假设值 ${\theta }_0$ 下的得分函数。
  • Wald 检验需要估计 $\hat{\theta }$ 和其方差，而 Score 检验直接在 ${\theta }_0$ 处计算。

• 与似然比检验（LRT）：

  • Wald 检验仅基于参数估计值 $\hat{\theta }$，而 LRT 比较两个模型的似然值。
  • LRT 通常更强健，但计算更复杂。

8. 总结公式

• 单参数：
  $$W=\frac{(\hat{\theta }-{\theta }_0{)}^2}{\text{Var}(\hat{\theta })}$$

• 多参数：
  $$W=(\hat{\theta }-{\theta }_0{)}^T\Sigma (\hat{\theta }{)}^{-1}(\hat{\theta }-{\theta }_0)$$

• 在 $H_0$ 下，$W\sim {\chi }_k^2$。

Wald 检验是大样本假设检验的基础工具之一，通过直接比较估计值和假设值的差异，提供了一种简单且有效的检验方法。

下面我们通过具体案例来说明如何应用 Wald 检验。

案例：单参数的二分类逻辑回归模型

假设我们有一个二分类逻辑回归模型，用于预测一个二分类变量 $Y$（取值为 0 或 1），其概率由如下关系决定：
$$P(Y=1\mid X)=\frac{1}{1+e^{-({\beta }_0+{\beta }_{1}X)}}$$
这里：

• $X$ 是一个独立变量（例如年龄或收入）。
• ${\beta }_0$ 和 ${\beta }_1$ 是模型的参数。

我们感兴趣的是检验 ${\beta }_1$ 是否显著不同于 0，即：

• 原假设 $H_0:{\beta }_1=0$
• 备择假设 $H_1:{\beta }_1\ne 0$

数据如下：

1. 拟合逻辑回归模型

使用最大似然估计拟合逻辑回归模型，得到参数估计值：
$${\hat{\beta }}_0=-1.2,{\hat{\beta }}_1=0.8$$

同时，模型提供了参数的标准误差（SE，估计参数的标准差）：
$$\text{SE}({\hat{\beta }}_1)=0.3$$

2. 构造 Wald 检验统计量

Wald 检验统计量定义为：
$$W=\frac{({\hat{\beta }}_1-{\beta }_1{)}^2}{\text{Var}({\hat{\beta }}_1)}$$
在 $H_0$ 下，假设 ${\beta }_1=0$，因此：
$$W=\frac{{\hat{\beta }}_1^2}{\text{SE}({\hat{\beta }}_1{)}^2}=\frac{0.8^2}{0.3^2}=\frac{0.64}{0.09}=7.11$$

3. 假设检验的分布

在 $H_0$ 下，Wald 检验统计量 $W$ 服从 ${\chi }_1^2$ 分布（自由度为 1）。

给定显著性水平 $\alpha =0.05$，查卡方分布表，临界值为：
$${\chi }_1^2(0.05)=3.841$$

4. 检验结果与决策

比较统计量 $W=7.11$ 和临界值 ${\chi }_1^2(0.05)=3.841$：

• $W>3.841$，因此我们拒绝原假设 $H_0$。

5. 结论

通过 Wald 检验，我们得出结论：在显著性水平 $\alpha =0.05$ 下，参数 ${\beta }_1$ 显著不同于 0，这表明自变量 $X$ 对因变量 $Y$ 有显著影响。

多参数情况的扩展（简单说明）

如果模型有多个参数，例如 $\beta =({\beta }_0,{\beta }_1,{\beta }_2)$，我们可以构造一个多维 Wald 检验统计量：
$$W=(\hat{\beta }-{\beta }_0{)}^T\Sigma (\hat{\beta }{)}^{-1}(\hat{\beta }-{\beta }_0)$$
其中 $\Sigma (\hat{\beta })$ 是参数估计的协方差矩阵，$W$ 服从 ${\chi }_k^2$ 分布（$k$ 是参数的维度）。

补充多参数 Wald 检验 案例：

案例：多变量线性回归模型

我们拟合一个线性回归模型：
$$Y={\beta }_0+{\beta }_1{X}_1+{\beta }_2{X}_2+ϵ$$
这里：

• $Y$ 是目标变量；
• $X_1$、$X_2$ 是两个自变量；
• ${\beta }_0,{\beta }_1,{\beta }_2$ 是回归系数；
• $ϵ$ 是误差项。

我们希望检验联合假设：
$$H_0:{\beta }_1=0\text{和}{\beta }_2=0$$
即：$X_1$ 和 $X_2$ 是否对 $Y$ 无显著影响。

数据示例

1. 拟合模型并计算参数

通过最小二乘法拟合模型，得到系数的估计值：
$${\hat{\beta }}_0=5.2,{\hat{\beta }}_1=1.3,{\hat{\beta }}_2=0.8$$

协方差矩阵 $\Sigma (\hat{\beta })$ 为：
$$\Sigma (\hat{\beta })=\left[\begin{array}{ccc}0.25& 0& 0\\ 0& 0.16& 0.04\\ 0& 0.04& 0.09\end{array}\right]$$
提取 ${\beta }_1$ 和 ${\beta }_2$ 的协方差矩阵：
$$\Sigma ({\hat{\beta }}_1,{\hat{\beta }}_2)=\left[\begin{array}{cc}0.16& 0.04\\ 0.04& 0.09\end{array}\right]$$

2. 构造 Wald 检验统计量

根据多参数 Wald 检验公式：
$$W=(\hat{\beta }-{\beta }_0{)}^T\Sigma (\hat{\beta }{)}^{-1}(\hat{\beta }-{\beta }_0)$$

对联合检验 $H_0:{\beta }_1=0,{\beta }_2=0$：
$$\hat{\beta }-{\beta }_0=\left[\begin{array}{c}1.3\\ 0.8\end{array}\right]$$

计算 $W$：
$$W=\left[\begin{array}{cc}1.3& 0.8\end{array}\right]{\left[\begin{array}{cc}0.16& 0.04\\ 0.04& 0.09\end{array}\right]}^{-1}\left[\begin{array}{c}1.3\\ 0.8\end{array}\right]$$

协方差矩阵的逆为：
$${\Sigma }^{-1}=\left[\begin{array}{cc}6.67& -2.96\\ -2.96& 11.85\end{array}\right]$$

因此：
$$W=\left[\begin{array}{cc}1.3& 0.8\end{array}\right]\left[\begin{array}{cc}6.67& -2.96\\ -2.96& 11.85\end{array}\right]\left[\begin{array}{c}1.3\\ 0.8\end{array}\right]$$
经过矩阵运算：
$$W=13.47$$

3. 假设检验

在 $H_0$ 下，Wald 检验统计量 $W$ 服从 ${\chi }_2^2$ 分布（自由度 $k=2$）。设显著性水平 $\alpha =0.05$，查表得：
$${\chi }_2^2(0.05)=5.991$$

4. 检验结论

由于 $W=13.47>5.991$，我们拒绝原假设 $H_0$。这表明 $X_1$ 和 $X_2$ 中至少有一个对 $Y$ 有显著影响。

5. 总结

通过这个案例，我们展示了如何在单参数和多参数情形下应用 Wald 检验。Wald 检验是一种直接利用参数估计值及其协方差矩阵的工具，尤其适用于线性回归和广义线性模型中的显著性检验。