解决线性回归“过拟合”
L1正则（Lasso回归）：就相当于，绿色部分是一样的，只是在后面加了一个小尾巴（蓝色部分）,这个小尾巴就是起到防止过度拟合的作用。蓝色部分代表的是：模型的权重的绝对值之和(|Ki|)，其中λ是一个自己来定的常数(正数)，λ越大后面这坨小尾巴的影响效果就越大
（公式里面mj就是我这里用的ki）
通俗理解原理：由于下山的时候步长可能过大，会出现走到第6步的时候，离最低点已经很近了但还没到最低点，这时候再走一步到第7点那个位置，发现这一步误差比上一步更大了，因此选择上一步为迭代的终点。
所以这时候就用L1-lasso回归解决过拟合问题，λ越大（λ越敏感）这一坨对结果影响就越大，在不断迭代过程中，由于不断接近最低点，所以绿色的两坨都在不断的减小，而蓝色这坨里面的|Ki|是在不断增大（为了避免减小的步伐太大了，是一个束缚条件），这个增大的效果最终呈现的效果大还是小，以λ（一个整数，自己确定大小）来决定，如果λ大那这坨影响就大
L2正则（岭回归），就是把小尾巴的绝对值直接平方
L1+L2正则就是两个 束缚部分 相加，只是一个占p，另一个占（1-p），然后外边还有个超参数λ
与上一节目标函数的关系：
首先，k,m,w 都用来表示斜率（权重），遇到的时候要明白其实是一个意思
等价关系：
解决欠拟合
常用求偏导
一元线性回归 & 多元线性回归
几何意义理解：
二元线性回归模型中参数b的推导过程：
在实际中可以直接用这个公式，来得到参数b
线性回归优缺点
缺点还有，线性回归的y必须是连续性的
本文含有隐藏内容，请 开通VIP 后查看