202209-GitModel Task02-回归分析1_线性回归模型必知必会

本笔记为DataWhale 9月GitModel课程的学习内容，链接为：https://github.com/Git-Model/Modeling-Universe/Data Analysis and Statistical Modeling/task_02 回归分析1_线性回归模型必知必会/回归1.ipynb
 

建模流程：

一、背景知识：

1. 数据分类

以抽样时间点与抽样个体数目为维度划分数据类型：

下面按照

二、建模

1. 线性回归模型：

线性回归模型可表示为：
$$y={\beta }_0+{\beta }_1{x}_1+\cdots +{\beta }_p{x}_p+u,E\left(u\mid x_1,\cdots ,x_p\right)=0$$
 

2. 多元线性回归

一般的多元线性回归模型可写成：
$$y={\beta }_0+{\beta }_1{x}_1+\cdots +{\beta }_k{x}_k+u$$

 
注：多个变量共同回归绝不等同于多个变量各自进行单变量回归。

三、参数估计

1. 参数估计思想——OLS估计

• 线性回归中最常用、最经典的系数估计方法——普通最小二乘估计法(Ordinary Least Squares, OLS)。
• 其衡量标准为：直线尽可能贴合样本点，即在所有直线当中，我们要选出一条离所有样本点距离的总和最小的直线。
• 不同的距离定义方法是不同估计法的一大区别，OLS对距离的定义是：残差的平方${\hat{u}}_i^2$。因此OLS估计的思想是：OLS估计求得的系数${\hat{\beta }}_0$、${\hat{\beta }}_1$，将使直线与所有样本的拟合残差的平方和最小，即
  $$\left({\hat{\beta }}_0,{\hat{\beta }}_1\right)=\mathrm{argmin}\sum _{i=1}^n{\left(y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_i\right)}^2$$
• 对于多元线性回归，OLS估计的思想也完全相同，只不过多元线性回归的模型不是一条直线，而是一个多维的超平面。对于多元线性回归的OLS估计目标函数，有
  $$\left({\hat{\beta }}_0,\cdots ,{\hat{\beta }}_k\right)=\arg \min \sum _{i=1}^n{\left(y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_{1i}-{\hat{\beta }}_k{x}_{ki}\right)}^2$$

2. 参数估计求解

（1） OLS求解的矩阵表示

由于我们有 $n$ 个样本，因此根据模型有以下 $n$ 个等式成立:
$$y_i={\beta }_0+{\beta }_1{x}_{i1}+\cdots +{\beta }_k{x}_{ik}+u_i,i=1,\cdots ,n$$
将它们联立称方程组，并表示成矩阵形式：
$$\mathbf{y}=\mathbf{X\beta }+\mathbf{u}$$
实际拟合的模型及其残差，其矩阵形式则为：
$$\hat{\mathbf{y}}=\mathbf{X}\hat{\mathbf{\beta }},\hat{\mathbf{u}}=\mathbf{y}-\hat{\mathbf{y}}$$
运用向量求导的知识得：
$$X^{\prime }X\hat{\beta }=X^{\prime }y\Rightarrow \hat{\beta }={\left(X^{\prime }X\right)}^{-1}{X}^{\prime }y$$

由此得到各系数估计向量 $\hat{\mathbf{\beta }}$ 的矩阵表达式。

这是一种近似逼近的求解方式，进一步地，还需要对其求解结果进行评价。

（2）模型评价：

• 拟合优度
  一个很自然的问题是：这个模型对数据的拟合效果如何？这个问题可以进一步引申为：模型中的自变量 $x_i$ 在多大程度上解释了 $y$ 的变异？（ $y$ 的趋势变化可以理解为是一种带有规律性的变异）。

• 我们之所以想构建模型，是因为想找到造成 $y$ 值变化的因素，模型解释的变异占总变异的比例越多，这个模型的解释力度就越大，模型的拟合优度也就越好。

• 回归拟合优度——R方:
  $$R^2=\frac{ESS}{TSS}$$
  其中，TSS度量了因变量 $y$ 的总样本变异，而ESS度量了模型拟合值 $\hat{y}$ 的总变异，也就是解释了的变异。

三、OLS估计的代数性质

1. 代数性质

（1） OLS估计预测残差之和为0：

$$\sum _{i=1}^n\left(y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_{i1}-\cdots -{\hat{\beta }}_k{x}_{ik}\right)=\sum _{i=1}^n{\hat{u}}_i=0$$
 

（2） OLS估计最重要的代数性质，它意味着OLS估计的残差与参与回归的自变量不相关。

$$\sum _{i=1}^n\left(y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_{i1}-\cdots -{\hat{\beta }}_k{x}_{ij}\right)x_{ij}=\sum _{i=1}^n{\hat{u}}_i{x}_{ij}=0,j=1,\cdots ,k$$
即：
$$\sum _{i=1}^n{x}_{ik}{\hat{u}}_i=\sum _{i=1}^n{x}_{ik}\left({\hat{u}}_i-\bar{\hat{u}}\right)=\sum _{i=1}^n\left(x_{ik}-\bar{x}\right)\left({\hat{u}}_i-\bar{\hat{u}}\right)=Cov\left(x_k,\hat{u}\right)=0,j=1,\cdots ,k$$

这预示着：如果我们消除因变量 $y$ 与某些自变量 $x_j$ 之间的线性相关性，可以先进行线性回归然后取残差！

2. CLM假设：

经典线性模型假设-CLM假设：

• MLR.1 总体模型假设。
• MLR.2 随机误差条件均值零假设：所有非自变量的其他因素都与自变量线性无关。
• MLR.3 随机抽样假设：等同于 i.i.d 。
• MLR.4 非完全共线性假设。
• MLR.5 同方差假设
  随机误差 $u$ 的条件方差恒为一个常数，即：
  $$\mathrm{Var}\left(u\mid x_1,\cdots ,x_k\right)={\sigma }^2$$
  数据的波动程度不受自变量影响，不论 $x_i$ 如何变化，数据与样本条件均值的偏离程度都是恒定的。
• MLR.6 正态性假设
  该假设假定随机误差 $u$ 在任何自变量已知的条件下服从正态分布:
  $$u\mid x\sim N\left(0,{\sigma }^2\right)$$

3. OLS估计的性质

在CLM假设下，对OLS的性质做进一步说明：

（1） OLS系数估计的无偏性

定理1. 在CLM假设MLR.1-MLR.4下，$\hat{\beta }$ 是 $\beta$ 的无偏估计，即:

$$E\left({\hat{\beta }}_j\right)={\beta }_j,\forall j=0,1,\cdots ,k$$

（2）OLS系数估计的方差——估计的稳定性

定理2. 在CLM假设MLR.1-MLR.5（增加了同方差假设MLR.5)下， $\hat{\beta }$ 的方差-协方差矩阵表达式为：
$$\mathrm{Cov}(\hat{\beta })={\sigma }^2{\left(X^{\prime }X\right)}^{-1}$$
其中：
$$\mathrm{Var}\left({\hat{\beta }}_j\right)={\sigma }^2{\left(X^{\prime }X\right)}_{j+1,j+1}^{-1}$$
$$\mathrm{sd}\left({\hat{\beta }}_j\right)=\sigma \sqrt{{\left(X^{\prime }X\right)}_{j+1,j+1}^{-1}}$$
估计系数的标准误(standard error)： $$\mathrm{se}\left({\hat{\beta }}_j\right)=\hat{\sigma }\sqrt{{\left(X^{\prime }X\right)}_{j+1,j+1}^{-1}}$$

定理3. 在CLM假设MLR.1-MLR.5下， ${\hat{\delta }}^2$ 是 ${\delta }^2$ 的无偏估计，即：
$$E\left({\hat{\sigma }}^2\right)={\sigma }^2$$

（3）OLS系数估计的最优线性无偏性

Gauss-Markov定理. 在CLM假设MLR.1-MLR.5下，在 $\beta$ 的所有线性无偏估计类当中，OLS估计的方差最小。即假设另有无偏估计 ${\tilde{\beta }}_j$ ，若它可以表示为 $y_j$ 的线性组合，则必有：
$$\mathrm{Var}\left({\hat{\beta }}_j\right)<\mathrm{Var}\left({\tilde{\beta }}_j\right)$$

 
（4）OLS系数估计的抽样分布-t分布

定理4. 在CLM假设MLR.1-MLR.6下， ${\hat{\beta }}_j$ 服从正态分布：
$${\hat{\beta }}_j\sim N\left({\beta }_j,\mathrm{Var}\left({\hat{\beta }}_j\right)\right)$$
进一步变形后：
$$\frac{{\hat{\beta }}_j-{\beta }_j}{sd\left({\hat{\beta }}_j\right)}\sim N(0,1)$$
为了便于估计，将标准差转换为标准误：
$$\frac{{\hat{\beta }}_j-{\beta }_j}{\mathrm{se}\left({\hat{\beta }}_j\right)}\sim t_{n-k-1}$$