专题进阶 · 优化算法推荐总顺序 · 第 124 / 148 课

逐项算出一阶矩、二阶矩、偏差修正和自适应步长,辨清 Adam 与 AdamW。

先学会这些,再进入本课 动量
还有 1 节先修课未标记掌握;已具备基础时可以直接学习,遇到障碍再沿链接补课。
专题详解 · 优化算法

AdamAdam

维护梯度一阶矩和平方梯度二阶矩,并进行偏差修正以自适应缩放更新。

建议 45 分钟 · 含手算、代码与三层练习

本课要建立的能力

逐项算出一阶矩、二阶矩、偏差修正和自适应步长,辨清 Adam 与 AdamW。

先手算,再对照代码;理解为什么成立,最后用改变条件的练习检查迁移能力。

01先把问题说具体

不同参数的梯度量级相差很大,能否让每个参数使用自己的缩放,同时保留动量?

02一步步得到方法

两个状态,一个更新

Adam 对每个参数保存 mₜ=β₁mₜ₋₁+(1−β₁)gₜ 与 vₜ=β₂vₜ₋₁+(1−β₂)gₜ²。平方是逐元素平方,不是把整个梯度向量变成一个范数。m 跟踪有符号方向,v 跟踪梯度平方的尺度。

用 θ←θ−ηm̂/(√v̂+ε) 更新。除法、平方根均逐元素进行;ε 放在平方根外,这是本课约定。v 小的坐标相对放大,v 大的坐标相对缩小,但各参数仍共用基础学习率 η。

零初始化为什么需要修正

初始 m=v=0。若第一步梯度为 2、β₁=0.9、β₂=0.999,m=0.2,v=0.004,直接使用会受到零初值影响。m̂=m/(1−β₁ᵗ),v̂=v/(1−β₂ᵗ),第一步恢复为 2 和 4。

时间步 t 从 1 开始,并在整个训练过程累积,不能每个 epoch 重置而保留旧 m、v。修正描述估计的初始化偏差,不是保证目标函数被无偏优化。

自适应并不等于无需调参

当梯度恒为正且没有 ε 影响时,第一步大约移动 η,而不是 ηg。Adam 对梯度尺度的归一化常有帮助,但仍需调学习率、检查数值异常,并关注验证集表现。

把 L2 正则项加进梯度,会同时进入 Adam 的矩估计。AdamW 将权重衰减作为独立参数收缩,两者在自适应缩放下通常不等价。这里实现基础 Adam,没有暗中加入权重衰减。

03把一个小例子完全算清楚

θ₀=0,g₁=2,η=0.1,β₁=0.9,β₂=0.999。

步骤计算与状态为什么这样做
矩估计m₁=0.2,v₁=0.004从零状态指数平滑
偏差修正m̂₁=2,v̂₁=4分别除以 0.1 与 0.001
参数更新θ₁≈−0.10.1×2/(2+ε)

窄屏可左右滑动表格,阅读完整计算与理由。

第一步近似沿梯度反方向移动 0.1;ε 非零时不是严格等于 −0.1。

04为什么这个方法成立

  1. 在恒定期望梯度的简化假设下,零初始化移动平均的期望含因子 1−βᵗ。
  2. 除去该因子得到对应的偏差修正估计;平方梯度的移动平均同理。
  3. 分母为正使缩放有定义,但这些公式本身不保证任意问题全局收敛。

05把推导翻译成代码

Python · 可独立运行的教学实现

from math import sqrt

def adam_step(parameters, gradients, m, v, t, rate=0.001,
              beta1=0.9, beta2=0.999, epsilon=1e-8):
    if t < 1 or rate <= 0 or epsilon <= 0:
        raise ValueError("invalid step configuration")
    if not 0 <= beta1 < 1 or not 0 <= beta2 < 1:
        raise ValueError("invalid decay")
    if len({len(parameters), len(gradients), len(m), len(v)}) != 1:
        raise ValueError("state shape mismatch")
    next_m = [beta1 * a + (1 - beta1) * g for a, g in zip(m, gradients)]
    next_v = [beta2 * b + (1 - beta2) * g * g for b, g in zip(v, gradients)]
    corrected_m = [a / (1 - beta1 ** t) for a in next_m]
    corrected_v = [b / (1 - beta2 ** t) for b in next_v]
    result = [p - rate * a / (sqrt(b) + epsilon)
              for p, a, b in zip(parameters, corrected_m, corrected_v)]
    return result, next_m, next_v

print(adam_step([0], [2], [0], [0], 1, rate=0.1)[0])

逐个理解关键决定

g * g
每个坐标分别累积平方梯度,不能用同一个全局标量替代全部 v。
1 - beta1 ** t
t 是迄今进行的更新次数,从 1 开始,避免第一步分母为 0。
sqrt(b) + epsilon
本课采用平方根外加 ε 的常见约定;比较实现时注意位置和默认参数。

06时间、空间与实现范围

d 维参数每步 O(d) 时间,保存 m、v 两份 O(d) 状态。

实际训练还包含参数、梯度、混合精度副本和激活内存,因此不能把两份状态当作完整显存预算。

07改变条件,检查哪里会出错

每个批次重新初始化 m、v

会失去矩估计的历史意义。

AdamW 就是 Adam 加任意 L2 梯度

解耦权重衰减与经过自适应缩放的 L2 梯度一般不同。

08从手算到独立迁移

先写出自己的结果和理由,再展开提示或解析。三题依次检查具体执行、边界条件和方法迁移。

练习 1 · 复现与理解

第一步 g=−2 时,更新方向如何?

需要一点提示

m̂ 的符号跟随梯度,v̂ 不变。

查看解析与答案

参数约增加 0.1,沿负梯度方向移动。

练习 2 · 边界与辨析

g=0 且历史状态也为 0,会发生 0/0 吗?

需要一点提示

查看 ε。

查看解析与答案

不会,分母是正数 ε,更新为 0。

练习 3 · 变式与迁移

历史 g 很大而现在 g 很小,分母为何仍可能较大?

需要一点提示

v 是移动平均。

查看解析与答案

过去的平方梯度按 β₂ 衰减,不会在下一步立即消失,适应速度由 β₂ 决定。

继续深入这个专题

本站例子、推导与教学代码独立编写。以下是相关教材、作者论文或官方文档,可继续核对定义、证明与更完整的工程实现。

Boyd 与 Vandenberghe · Convex OptimizationDive into Deep Learning · 优化算法

理解之后,继续递进

能解释手算中的每一步,并独立完成迁移题后,再标记掌握。