专题进阶 · 优化算法推荐总顺序 · 第 120 / 148 课

从斜率的含义出发,推导下降方向、学习率与二次函数的收敛条件。

先学会这些,再进入本课 牛顿求根 矩阵乘法
还有 2 节先修课未标记掌握;已具备基础时可以直接学习,遇到障碍再沿链接补课。
专题详解 · 优化算法

梯度下降Gradient Descent

沿负梯度方向更新参数;学习率过大可能发散,过小则收敛缓慢。

建议 45 分钟 · 含手算、代码与三层练习

本课要建立的能力

从斜率的含义出发,推导下降方向、学习率与二次函数的收敛条件。

先手算,再对照代码;理解为什么成立,最后用改变条件的练习检查迁移能力。

01先把问题说具体

把 x 调到哪里,才能使 f(x)=(x−3)² 最小?为什么每次减去导数能帮助我们?

02一步步得到方法

从局部斜率到一步更新

导数 f′(x) 描述 x 增加一个很小的量时,函数值如何变化。本例 f′(x)=2(x−3):x<3 时导数为负,应向右;x>3 时应向左。在多个变量下,梯度由各偏导组成,形状与参数向量相同。

一阶近似 f(x+δ)≈f(x)+∇f(x)ᵀδ。取 δ=−η∇f(x),近似变化为 −η‖∇f(x)‖²;η>0 且足够小时便下降。这解释了负号,也解释了为什么过大的步长不能靠这条局部近似保证安全。

手算学习率的边界

令误差 eₖ=xₖ−3,更新 xₖ₊₁=xₖ−2η(xₖ−3) 得 eₖ₊₁=(1−2η)eₖ。要使误差绝对值逐步缩小,必须 |1−2η|<1,即 0<η<1。η=0.1 平稳逼近,η=0.75 左右摆动但收敛,η=1 持续等幅振荡。

这个区间属于当前二次函数,不能照搬给所有目标。对于梯度是 L-Lipschitz 的光滑函数,适当步长可保证下降;是否到达全局最优,还需要凸性等额外条件。

多变量与停止条件

沿不同方向曲率差异很大的狭长谷地中,统一步长可能来回之字形移动。之后的动量、预条件、牛顿法正是在处理这种几何问题。

参考实现接受梯度函数与参数列表,记录每步参数,按梯度范数停止,并设迭代上限。梯度很小也可能处在鞍点;遇到非凸目标,还需检查目标值、初始化和问题结构。

03把一个小例子完全算清楚

x₀=0,η=0.1,f(x)=(x−3)²。

步骤计算与状态为什么这样做
第 0 步梯度 −6,x₁=0.6向梯度反方向移动
第 1 步梯度 −4.8,x₂=1.08误差由 −2.4 缩为 −1.92
第 2 步x₃=1.464,f≈2.3593每次误差乘 0.8

窄屏可左右滑动表格,阅读完整计算与理由。

最优解 x*=3;步数增加时趋近 3,有限步通常不恰好等于 3。

04为什么这个方法成立

  1. 对二次函数,直接代入更新式得到 eₖ=(1−2η)ᵏe₀。
  2. 当 |1−2η|<1,几何级数因子趋于 0,所以 xₖ→3,目标值趋于 0。
  3. 一般函数的局部下降依据泰勒展开;这不是所有非凸目标全局收敛的证明。

05把推导翻译成代码

Python · 可独立运行的教学实现

from math import sqrt

def gradient_descent(gradient, initial, rate=0.1, steps=200, tolerance=1e-10):
    if rate <= 0 or steps < 0:
        raise ValueError("invalid rate or steps")
    x = list(map(float, initial))
    history = [x.copy()]
    for _ in range(steps):
        g = list(gradient(x))
        if len(g) != len(x):
            raise ValueError("gradient shape mismatch")
        if sqrt(sum(v * v for v in g)) <= tolerance:
            break
        x = [v - rate * d for v, d in zip(x, g)]
        history.append(x.copy())
    return x, history

answer, trace = gradient_descent(lambda x: [2 * (x[0] - 3)], [0])
print(answer)

逐个理解关键决定

history.append(x.copy())
复制参数快照;若原地修改同一个列表,会丢失历史轨迹。
v - rate * d
每个参数减去对应偏导,不能把所有偏导先相加再更新每个参数。
tolerance
检查梯度范数,并不直接检查解与真最优解的距离。

06时间、空间与实现范围

若计算一次梯度花费 G(d),迭代 k 次耗时 O(kG(d)+kd)。

参数与梯度需 O(d) 空间;此教学版记录所有参数,另需 O(kd) 空间,实际训练可不保留历史。

07改变条件,检查哪里会出错

每次都下降就一定全局最优?

一般非凸函数可能到达局部极小值;梯度为零也可能是极大值或鞍点。

学习率越大越快?

超过曲率允许的范围会振荡或发散。先用一维误差递推理解步长,再考虑调参。

08从手算到独立迁移

先写出自己的结果和理由,再展开提示或解析。三题依次检查具体执行、边界条件和方法迁移。

练习 1 · 复现与理解

η=0.5 时,从 x=0 出发需要几步到 3?

需要一点提示

计算 1−2η。

查看解析与答案

一步。误差因子为 0,所以此特殊二次函数一次更新到最优点。

练习 2 · 边界与辨析

η=1.1 的误差会怎样?

需要一点提示

误差每次乘 −1.2。

查看解析与答案

交替改变符号且绝对值放大,发生发散。

练习 3 · 变式与迁移

把目标换成 100(x−3)²,稳定步长范围如何变化?

需要一点提示

梯度是 200(x−3)。

查看解析与答案

需 |1−200η|<1,即 0<η<0.01。曲率增大要求步长缩小。

继续深入这个专题

本站例子、推导与教学代码独立编写。以下是相关教材、作者论文或官方文档,可继续核对定义、证明与更完整的工程实现。

Boyd 与 Vandenberghe · Convex OptimizationDive into Deep Learning · 优化算法

理解之后,继续递进

继续当前专题:随机梯度下降 →。跨专题先修要求会在下一课顶部提示。

能解释手算中的每一步,并独立完成迁移题后,再标记掌握。