专题进阶 · 优化算法推荐总顺序 · 第 123 / 148 课

理解速度变量如何累积梯度,并区分动量的两种缩放约定。

先学会这些,再进入本课 随机梯度下降
还有 1 节先修课未标记掌握;已具备基础时可以直接学习,遇到障碍再沿链接补课。
专题详解 · 优化算法

动量Momentum

累积过去的更新方向,降低震荡并加速一致方向上的移动。

建议 40 分钟 · 含手算、代码与三层练习

本课要建立的能力

理解速度变量如何累积梯度,并区分动量的两种缩放约定。

先手算,再对照代码;理解为什么成立,最后用改变条件的练习检查迁移能力。

01先把问题说具体

狭长谷地中梯度一会儿向左、一会儿向右,怎样保留持续的前进趋势并缓和来回摆动?

02一步步得到方法

给优化器增加记忆

本课采用 vₜ=βvₜ₋₁+gₜ,θₜ₊₁=θₜ−ηvₜ,初始 v=0,0≤β<1。速度与参数形状相同,每次更新都保留下来。β=0 就退化为普通梯度下降。

展开递推得到 vₜ=gₜ+βgₜ₋₁+β²gₜ₋₂+…:近期梯度权重大,旧梯度逐渐衰减。某方向持续同号时会积累,某方向正负交替时会部分抵消。

不要混淆速度的尺度

另一些资料采用 vₜ=βvₜ₋₁+(1−β)gₜ,这是指数移动平均。它与本课相差一个缩放因子,所以相同数值的 η 不代表同样的更新幅度。长期恒定梯度 g 下,本课 v→g/(1−β),移动平均版本 v→g。

动量可以跨过当前梯度变号的位置,因此某一步的方向未必等于当前负梯度。过大的步长或动量也可能导致过冲和不稳定,不能说动量总让损失单调下降。

与 Nesterov 的联系

普通动量在当前位置计算梯度;Nesterov 常以一次向前看的位置来计算修正,再更新速度。具体实现有多种等价或经过重排的表达式,阅读框架代码时应明确梯度究竟在哪个参数位置计算。

下面实现只包含普通动量的一步,适合放进已有 SGD 循环。速度不能在每个批次重置;改变参数形状时也不能继续使用不匹配的状态。

03把一个小例子完全算清楚

β=0.9,初始 v=0,连续梯度为 2、2、−2。

步骤计算与状态为什么这样做
第 1 次v=2当前梯度直接进入速度
第 2 次v=0.9×2+2=3.8同向梯度累积
第 3 次v=0.9×3.8−2=1.42虽然梯度反向,速度尚未反向

窄屏可左右滑动表格,阅读完整计算与理由。

第三步仍沿原来的参数下降方向移动,之后是否反向取决于后续梯度。

04为什么这个方法成立

  1. 重复代入速度递推即可得到历史梯度的几何加权和。
  2. β 在 [0,1) 时,较旧梯度权重逐渐减小;恒定梯度极限由 v=βv+g 解出。
  3. 这个滤波性质解释了方向平滑,不构成任意非凸目标的全局收敛证明。

05把推导翻译成代码

Python · 可独立运行的教学实现

def momentum_step(parameters, gradients, velocity, rate=0.1, beta=0.9):
    if not 0 <= beta < 1 or rate <= 0:
        raise ValueError("invalid hyperparameters")
    if len(parameters) != len(gradients) or len(parameters) != len(velocity):
        raise ValueError("state shape mismatch")
    next_velocity = [beta * v + g for v, g in zip(velocity, gradients)]
    next_parameters = [p - rate * v for p, v in zip(parameters, next_velocity)]
    return next_parameters, next_velocity

p, v = [0.0], [0.0]
for g in [2.0, 2.0, -2.0]:
    p, v = momentum_step(p, [g], v)
print(p, v)

逐个理解关键决定

beta * v + g
本课使用未乘 1−β 的动量约定,调学习率时必须考虑这个尺度。
next_parameters
先计算新速度,再用新速度更新;使用旧速度会延迟一整步。
return next_parameters, next_velocity
调用方必须保留返回的速度,传给下一次迭代。

06时间、空间与实现范围

d 个参数每步 O(d) 时间,额外保留 O(d) 的速度状态。

梯度计算成本通常远高于这次向量更新,应把两者分开统计。

07改变条件,检查哪里会出错

每步 v 都设为 0

这样没有任何历史,算法会退化成普通 SGD。

把动量称为必然加速

速度积累同时可能带来过冲,效果受曲率、步长及梯度噪声影响。

08从手算到独立迁移

先写出自己的结果和理由,再展开提示或解析。三题依次检查具体执行、边界条件和方法迁移。

练习 1 · 复现与理解

β=0 时得到什么?

需要一点提示

代入递推式。

查看解析与答案

v=g,所以更新完全等于普通梯度下降。

练习 2 · 边界与辨析

β=0.9 且梯度恒为 2,v 的极限是多少?

需要一点提示

求 v=0.9v+2。

查看解析与答案

20;若采用乘 1−β 的移动平均版本,极限则为 2。

练习 3 · 变式与迁移

梯度始终正负交替,为什么积累比同号时弱?

需要一点提示

展开最近几项的符号。

查看解析与答案

加权和中相邻项相互抵消;但速度未必完全为零,也不保证每一步目标下降。

继续深入这个专题

本站例子、推导与教学代码独立编写。以下是相关教材、作者论文或官方文档,可继续核对定义、证明与更完整的工程实现。

Boyd 与 Vandenberghe · Convex OptimizationDive into Deep Learning · 优化算法

理解之后,继续递进

能解释手算中的每一步,并独立完成迁移题后,再标记掌握。