Deep Learning notes(3)

3 梯度下降 Gradient Descent#

定义：梯度下降（Gradient Descent）是一种最常用的优化算法，目标是通过不断调整模型参数（权重 $w$ 和偏置 $b$ ），让损失函数 $L$ 尽可能小，从而使模型预测更准确。

对于 Logistic 回归，我们的目标是找到一组 $w,b$ ，使成本函数 $J(w,b)$ 尽可能小。

可以把 $J(w,b)$ 想象成一个地形表面：

公式：

w:=w-\alpha\frac{\partial J(w,b)}{\partial w}

b:=b-\alpha\frac{\partial J(w,b)}{\partial b}

其中：

$w$ ：当前参数；

$\alpha$ ：学习率；

$\frac{\partial J(w,b)}{\partial w}$ ：当前点处成本函数关于 $w$ 的导数。

$\frac{\partial J(w,b)}{\partial b}$ ：当前点处成本函数关于 $b$ 的导数。

参数 $b$ 方向上同理，所以两边都会朝最低点移动。

凸函数：直观地说，凸函数的图像像碗或U形，任意两点连成的弦都在函数图像的上方，凸函数的局部极小点也是全局极小点。

标准逻辑回归 + sigmoid + 交叉熵损失，其成本函数关于参数 $w,b$ 是凸函数。

实际上深度神经网络通常非凸。

定义：学习率 α 是深度学习优化中的一个超参数，控制梯度下降每次参数更新的步长。

假设当前 $w=5$ ，并且 $\frac{dJ}{dw}=2$
如果 $\alpha=0.1$ ，那么 $w:=5-0.1\times2=4.8$ ，一次只从 $5$ 更新到 $4.8$ 。
如果 $\alpha=1$ ，那么 $w:=5-1\times2=3$ ，

规定： $dw\equiv\frac{\partial J}{\partial w}$ 以及 $db\equiv\frac{\partial J}{\partial b}$ 。

实际 Logistic 回归中：

w= \begin{bmatrix} w_1\\ w_2\\ \vdots\\ w_{n_x} \end{bmatrix}

关于 $w$ 的导数实际上包含了每个参数对应的导数，可以把它们组合成：

dw= \begin{bmatrix} \frac{\partial J}{\partial w_1}\\ \frac{\partial J}{\partial w_2}\\ \vdots\\ \frac{\partial J}{\partial w_{n_x}} \end{bmatrix}

然后整体更新。