01先把问题说具体
狭长谷地中梯度一会儿向左、一会儿向右,怎样保留持续的前进趋势并缓和来回摆动?
02一步步得到方法
给优化器增加记忆
本课采用 vₜ=βvₜ₋₁+gₜ,θₜ₊₁=θₜ−ηvₜ,初始 v=0,0≤β<1。速度与参数形状相同,每次更新都保留下来。β=0 就退化为普通梯度下降。
展开递推得到 vₜ=gₜ+βgₜ₋₁+β²gₜ₋₂+…:近期梯度权重大,旧梯度逐渐衰减。某方向持续同号时会积累,某方向正负交替时会部分抵消。
不要混淆速度的尺度
另一些资料采用 vₜ=βvₜ₋₁+(1−β)gₜ,这是指数移动平均。它与本课相差一个缩放因子,所以相同数值的 η 不代表同样的更新幅度。长期恒定梯度 g 下,本课 v→g/(1−β),移动平均版本 v→g。
动量可以跨过当前梯度变号的位置,因此某一步的方向未必等于当前负梯度。过大的步长或动量也可能导致过冲和不稳定,不能说动量总让损失单调下降。
与 Nesterov 的联系
普通动量在当前位置计算梯度;Nesterov 常以一次向前看的位置来计算修正,再更新速度。具体实现有多种等价或经过重排的表达式,阅读框架代码时应明确梯度究竟在哪个参数位置计算。
下面实现只包含普通动量的一步,适合放进已有 SGD 循环。速度不能在每个批次重置;改变参数形状时也不能继续使用不匹配的状态。
03把一个小例子完全算清楚
β=0.9,初始 v=0,连续梯度为 2、2、−2。
| 步骤 | 计算与状态 | 为什么这样做 |
|---|---|---|
| 第 1 次 | v=2 | 当前梯度直接进入速度 |
| 第 2 次 | v=0.9×2+2=3.8 | 同向梯度累积 |
| 第 3 次 | v=0.9×3.8−2=1.42 | 虽然梯度反向,速度尚未反向 |
窄屏可左右滑动表格,阅读完整计算与理由。
第三步仍沿原来的参数下降方向移动,之后是否反向取决于后续梯度。
04为什么这个方法成立
- 重复代入速度递推即可得到历史梯度的几何加权和。
- β 在 [0,1) 时,较旧梯度权重逐渐减小;恒定梯度极限由 v=βv+g 解出。
- 这个滤波性质解释了方向平滑,不构成任意非凸目标的全局收敛证明。
05把推导翻译成代码
Python · 可独立运行的教学实现
def momentum_step(parameters, gradients, velocity, rate=0.1, beta=0.9):
if not 0 <= beta < 1 or rate <= 0:
raise ValueError("invalid hyperparameters")
if len(parameters) != len(gradients) or len(parameters) != len(velocity):
raise ValueError("state shape mismatch")
next_velocity = [beta * v + g for v, g in zip(velocity, gradients)]
next_parameters = [p - rate * v for p, v in zip(parameters, next_velocity)]
return next_parameters, next_velocity
p, v = [0.0], [0.0]
for g in [2.0, 2.0, -2.0]:
p, v = momentum_step(p, [g], v)
print(p, v)逐个理解关键决定
beta * v + g- 本课使用未乘 1−β 的动量约定,调学习率时必须考虑这个尺度。
next_parameters- 先计算新速度,再用新速度更新;使用旧速度会延迟一整步。
return next_parameters, next_velocity- 调用方必须保留返回的速度,传给下一次迭代。
06时间、空间与实现范围
d 个参数每步 O(d) 时间,额外保留 O(d) 的速度状态。
梯度计算成本通常远高于这次向量更新,应把两者分开统计。
07改变条件,检查哪里会出错
每步 v 都设为 0
这样没有任何历史,算法会退化成普通 SGD。
把动量称为必然加速
速度积累同时可能带来过冲,效果受曲率、步长及梯度噪声影响。
08从手算到独立迁移
先写出自己的结果和理由,再展开提示或解析。三题依次检查具体执行、边界条件和方法迁移。
β=0 时得到什么?
需要一点提示
代入递推式。
查看解析与答案
v=g,所以更新完全等于普通梯度下降。
β=0.9 且梯度恒为 2,v 的极限是多少?
需要一点提示
求 v=0.9v+2。
查看解析与答案
20;若采用乘 1−β 的移动平均版本,极限则为 2。
梯度始终正负交替,为什么积累比同号时弱?
需要一点提示
展开最近几项的符号。
查看解析与答案
加权和中相邻项相互抵消;但速度未必完全为零,也不保证每一步目标下降。
继续深入这个专题
本站例子、推导与教学代码独立编写。以下是相关教材、作者论文或官方文档,可继续核对定义、证明与更完整的工程实现。
Boyd 与 Vandenberghe · Convex OptimizationDive into Deep Learning · 优化算法