【学习笔记】机器学习(Machine Learning) | 第六周|过拟合问题

机器学习（Machine Learning）

简要声明

基于吴恩达教授(Andrew Ng)课程视频
BiliBili课程资源

摘要

本文介绍了机器学习中的过拟合和欠拟合问题，通过回归和分类问题展示了不同拟合程度的表现。针对过拟合问题，提出了增加训练数据、特征选择、正则化等解决方法，并讨论了正则化在线性回归和逻辑回归中的应用，包括带正则化的代价函数和梯度下降更新规则。最后，对比了正则化方法的优缺点，强调合理应用正则化技术对提高模型泛化能力的重要性。

过拟合与欠拟合问题

在机器学习中，过拟合是一个常见的问题，它导致模型在训练数据上表现很好，但在新的、未见过的数据上表现不佳。以下是对过拟合问题的详细探讨。

一、回归问题中的过拟合

考虑一个简单的回归问题，尝试用不同复杂度的模型来拟合数据。

1. 欠拟合（Underfit）

• 模型表达式：$y=w_{1}x+b$
• 特征：仅使用输入变量的一次项。
• 表现：模型无法很好地拟合训练数据，存在高偏差（high bias）。

2. 刚好拟合（Just right）

• 模型表达式：$y=w_{1}x+w_2{x}^2+b$
• 特征：使用输入变量的一次项和二次项。
• 表现：模型很好地拟合了训练数据，具有良好的泛化能力（generalization）。

3. 过拟合（Overfit）

• 模型表达式：$y=w_{1}x+w_2{x}^2+w_3{x}^3+w_4{x}^4+b$
• 特征：使用了过多的高次项。
• 表现：模型在训练数据上拟合得非常好，但存在高方差（high variance），泛化能力差。

图像对比

欠拟合

刚好拟合

过拟合

二、分类问题中的过拟合

在分类问题中，过拟合问题同样存在。

1. 欠拟合（Underfit）

• 模型表达式：$z=w_1{x}_1+w_2{x}_2+b$，$f_{\mathbf{w},b}(\mathbf{x})=g(z)$，其中(g)是Sigmoid函数。
• 特征：仅使用线性特征。
• 表现：模型无法很好地划分数据，存在高偏差（high bias）。

2. 刚好拟合（Just right）

• 模型表达式：$z=w_1{x}_1+w_2{x}_2+w_3{x}_1^2+w_4{x}_2^2+w_5{x}_1{x}_2+b$，$f_{\mathbf{w},b}(\mathbf{x})=g(z)$。
• 特征：使用二次项特征。
• 表现：模型能够很好地划分不同类别的数据。

3. 过拟合（Overfit）

• 模型表达式：$z=w_1{x}_1+w_2{x}_2+w_3{x}_1^2+w_4{x}_2^2+w_5{x}_1^3{x}_2+w_6{x}_1^3{x}_2^2+\cdots +b$，$f_{\mathbf{w},b}(\mathbf{x})=g(z)$。
• 特征：使用了过多的高次交叉项。
• 表现：模型在训练数据上表现完美，但在新数据上表现不佳，存在高方差（high variance）。

图像对比
欠拟合

刚好拟合

过拟合

三、过拟合的原因及解决方法

过拟合原因

• 模型复杂度过高
• 训练数据量不足
• 特征过多或噪声特征

解决方法

解决过拟合问题

一、收集更多训练数据

增加训练数据量是解决过拟合的一种有效方法。更多的数据可以帮助模型学习到更通用的模式，减少过拟合的风险。

• 原理：更多的训练样本可以提供更全面的信息，使模型更好地泛化。
• 示例：如果模型在有限的房屋价格数据上过拟合，增加更多不同大小、价格的房屋数据可以使模型更准确地预测新数据。

二、选择特征

选择合适的特征可以减少模型的复杂度，从而降低过拟合的可能性。

• 特征选择：从众多特征中选择最相关的特征，去除无关或冗余的特征。
• 优点：减少模型复杂度，提高训练速度。
• 缺点：可能丢失一些有用的信息。

三、正则化

正则化是一种通过在损失函数中添加惩罚项来限制模型复杂度的方法。

• L1正则化：添加参数的绝对值之和。公式为：$$\lambda \sum _{j=1}^n|w_j|$$
• L2正则化：添加参数的平方和。公式为：$$\lambda \sum _{j=1}^n{w}_j^2$$
• 作用：使参数值更小，减少模型对单个特征的依赖。

四、过拟合解决方法总结

正则化的应用

一、带正则化的代价函数

在带正则化的代价函数中，我们在原始代价函数的基础上添加了一个正则化项。对于线性回归模型，其带正则化的代价函数形式如下：

$$J(\mathbf{w},b)=\frac{1}{2m}\sum _{i=1}^m{\left(f_{\mathbf{w},b}({\mathbf{x}}^{(i)})-y^{(i)}\right)}^2+\frac{\lambda }{2m}\sum _{j=1}^n{w}_j^2$$

其中：

• $$m$$是训练样本的数量
• $$n$$ 是特征的数量
• $$\lambda$$ 是正则化参数，用于控制正则化的强度

正则化项 $\frac{\lambda }{2m}{\sum }_{j=1}^n{w}_j^2$ 会惩罚过大的参数值，使模型更倾向于学习较小的参数，从而降低模型的复杂度。

二、正则化线性回归

在正则化线性回归中，我们通过梯度下降算法来最小化带正则化的代价函数。其梯度下降的更新规则如下：

$$w_j=w_j-\alpha \left[\frac{1}{m}\sum _{i=1}^m\left(f_{\mathbf{w},b}({\mathbf{x}}^{(i)})-y^{(i)}\right)x_j^{(i)}+\frac{\lambda }{m}{w}_j\right]$$

$$b=b-\alpha \frac{1}{m}\sum _{i=1}^m\left(f_{\mathbf{w},b}({\mathbf{x}}^{(i)})-y^{(i)}\right)$$

其中：

• $$\alpha$$是学习率
• $$w_j$$ 是特征 ( j ) 的参数
• $$b$$是偏置项

在梯度下降过程中，正则化项会使得参数 $w_j$在每次更新时都乘以一个因子 $(1-\alpha \frac{\lambda }{m})$，从而实现参数的“收缩”。

三、正则化逻辑回归

正则化逻辑回归与正则化线性回归类似，其代价函数也包含一个正则化项。对于逻辑回归模型，其带正则化的代价函数形式如下：

$$J(\mathbf{w},b)=-\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}\log (f_{\mathbf{w},b}({\mathbf{x}}^{(i)}))+(1-y^{(i)})\log (1-f_{\mathbf{w},b}({\mathbf{x}}^{(i)}))\right]+\frac{\lambda }{2m}\sum _{j=1}^n{w}_j^2$$

其中：

• $(f_{\mathbf{w},b}({\mathbf{x}}^{(i)}))$ 是逻辑回归模型的预测输出，使用Sigmoid函数计算得到

正则化逻辑回归的梯度下降更新规则与正则化线性回归类似，也是在原始梯度的基础上添加了正则化项。

四、正则化参数的选择

正则化参数 $\lambda$ 的选择对模型的性能有重要影响：

• $\lambda$ 过小：正则化效果不明显，模型可能仍然过拟合
• $\lambda$ 过大：过度正则化，模型可能欠拟合

可以通过交叉验证的方法来选择合适的 $\lambda$ 值。

五、正则化方法对比

通过合理应用正则化技术，可以有效防止模型过拟合，提高模型的泛化能力和实际应用效果。

正则化后图像
线性回归

分类

end