机器学习 - 梯度下降算法推导

要逐步推导多变量线性回归的梯度计算过程，我们首先需要明确模型和损失函数的形式，然后逐步求解每个参数的偏导数。这是梯度下降算法核心部分，因为这些偏导数将指导我们如何更新每个参数以最小化损失函数。

模型和损失函数

考虑一个多变量线性回归模型，模型预测可以表示为：
$$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_n{x}_n$$
其中$$x=[x_1,x_2,\dots ,x_n]$$ 是输入特征，$$\theta =[{\theta }_0,{\theta }_1,\dots ,{\theta }_n]$$ 是模型参数。

我们使用均方误差作为损失函数，对于所有训练数据：
$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m{\left(h_{\theta }(x^{(i)})-y^{(i)}\right)}^2$$

计算梯度

为了使用梯度下降算法，我们需要计算损失函数 $$J(\theta )$$ 关于每个参数 $${\theta }_j$$ 的偏导数。假设 j 代表特定的参数索引，包括 0，即截距项 $${\theta }_0$$：

1. 扩展损失函数：
   $$J(\theta )=\frac{1}{2m}\sum _{i=1}^m{\left({\theta }_0+{\theta }_1{x}_1^{(i)}+\cdots +{\theta }_n{x}_n^{(i)}-y^{(i)}\right)}^2$$

2. 对 ( \theta_j ) 求偏导数：
   为了求 $$\frac{\partial J}{\partial {\theta }_j}$$我们需要应用链式法则：
   $$\frac{\partial J}{\partial {\theta }_j}=\frac{1}{m}\sum _{i=1}^m\left(h_{\theta }(x^{(i)})-y^{(i)}\right)\frac{\partial }{\partial {\theta }_j}\left(h_{\theta }(x^{(i)})\right)$$

3. 推导 $$\frac{\partial }{\partial {\theta }_j}{h}_{\theta }(x^{(i)})$$
   因为 $$h_{\theta }(x^{(i)})={\theta }_0+{\theta }_1{x}_1^{(i)}+\cdots +{\theta }_n{x}_n^{(i)}$$所以
   $$\frac{\partial }{\partial {\theta }_j}{h}_{\theta }(x^{(i)})=x_j^{(i)}$$
   这里 $$x_j^{(i)}$$ 是第 i 个样本的第 j 个特征。

4. 将导数放回梯度公式：
   $$\frac{\partial J}{\partial {\theta }_j}=\frac{1}{m}\sum _{i=1}^m\left(h_{\theta }(x^{(i)})-y^{(i)}\right)x_j^{(i)}$$

参数更新规则

在梯度下降算法中，使用上面计算的梯度来更新每个参数：
$${\theta }_j:={\theta }_j-\alpha \frac{\partial J}{\partial {\theta }_j}$$
这里的 α 是学习率，控制参数更新的步长。

通过这个过程，每一次迭代更新参数，直到算法收敛（即梯度接近零或者达到预设的迭代次数）。

这就是多变量梯度下降中梯度的计算过程，它使我们能够有效地最小化损失函数，并逐步

优化模型参数。

更多问题咨询

Cos机器人