01先把问题说具体
不同参数的梯度量级相差很大,能否让每个参数使用自己的缩放,同时保留动量?
02一步步得到方法
两个状态,一个更新
Adam 对每个参数保存 mₜ=β₁mₜ₋₁+(1−β₁)gₜ 与 vₜ=β₂vₜ₋₁+(1−β₂)gₜ²。平方是逐元素平方,不是把整个梯度向量变成一个范数。m 跟踪有符号方向,v 跟踪梯度平方的尺度。
用 θ←θ−ηm̂/(√v̂+ε) 更新。除法、平方根均逐元素进行;ε 放在平方根外,这是本课约定。v 小的坐标相对放大,v 大的坐标相对缩小,但各参数仍共用基础学习率 η。
零初始化为什么需要修正
初始 m=v=0。若第一步梯度为 2、β₁=0.9、β₂=0.999,m=0.2,v=0.004,直接使用会受到零初值影响。m̂=m/(1−β₁ᵗ),v̂=v/(1−β₂ᵗ),第一步恢复为 2 和 4。
时间步 t 从 1 开始,并在整个训练过程累积,不能每个 epoch 重置而保留旧 m、v。修正描述估计的初始化偏差,不是保证目标函数被无偏优化。
自适应并不等于无需调参
当梯度恒为正且没有 ε 影响时,第一步大约移动 η,而不是 ηg。Adam 对梯度尺度的归一化常有帮助,但仍需调学习率、检查数值异常,并关注验证集表现。
把 L2 正则项加进梯度,会同时进入 Adam 的矩估计。AdamW 将权重衰减作为独立参数收缩,两者在自适应缩放下通常不等价。这里实现基础 Adam,没有暗中加入权重衰减。
03把一个小例子完全算清楚
θ₀=0,g₁=2,η=0.1,β₁=0.9,β₂=0.999。
| 步骤 | 计算与状态 | 为什么这样做 |
|---|---|---|
| 矩估计 | m₁=0.2,v₁=0.004 | 从零状态指数平滑 |
| 偏差修正 | m̂₁=2,v̂₁=4 | 分别除以 0.1 与 0.001 |
| 参数更新 | θ₁≈−0.1 | 0.1×2/(2+ε) |
窄屏可左右滑动表格,阅读完整计算与理由。
第一步近似沿梯度反方向移动 0.1;ε 非零时不是严格等于 −0.1。
04为什么这个方法成立
- 在恒定期望梯度的简化假设下,零初始化移动平均的期望含因子 1−βᵗ。
- 除去该因子得到对应的偏差修正估计;平方梯度的移动平均同理。
- 分母为正使缩放有定义,但这些公式本身不保证任意问题全局收敛。
05把推导翻译成代码
Python · 可独立运行的教学实现
from math import sqrt
def adam_step(parameters, gradients, m, v, t, rate=0.001,
beta1=0.9, beta2=0.999, epsilon=1e-8):
if t < 1 or rate <= 0 or epsilon <= 0:
raise ValueError("invalid step configuration")
if not 0 <= beta1 < 1 or not 0 <= beta2 < 1:
raise ValueError("invalid decay")
if len({len(parameters), len(gradients), len(m), len(v)}) != 1:
raise ValueError("state shape mismatch")
next_m = [beta1 * a + (1 - beta1) * g for a, g in zip(m, gradients)]
next_v = [beta2 * b + (1 - beta2) * g * g for b, g in zip(v, gradients)]
corrected_m = [a / (1 - beta1 ** t) for a in next_m]
corrected_v = [b / (1 - beta2 ** t) for b in next_v]
result = [p - rate * a / (sqrt(b) + epsilon)
for p, a, b in zip(parameters, corrected_m, corrected_v)]
return result, next_m, next_v
print(adam_step([0], [2], [0], [0], 1, rate=0.1)[0])逐个理解关键决定
g * g- 每个坐标分别累积平方梯度,不能用同一个全局标量替代全部 v。
1 - beta1 ** t- t 是迄今进行的更新次数,从 1 开始,避免第一步分母为 0。
sqrt(b) + epsilon- 本课采用平方根外加 ε 的常见约定;比较实现时注意位置和默认参数。
06时间、空间与实现范围
d 维参数每步 O(d) 时间,保存 m、v 两份 O(d) 状态。
实际训练还包含参数、梯度、混合精度副本和激活内存,因此不能把两份状态当作完整显存预算。
07改变条件,检查哪里会出错
每个批次重新初始化 m、v
会失去矩估计的历史意义。
AdamW 就是 Adam 加任意 L2 梯度
解耦权重衰减与经过自适应缩放的 L2 梯度一般不同。
08从手算到独立迁移
先写出自己的结果和理由,再展开提示或解析。三题依次检查具体执行、边界条件和方法迁移。
第一步 g=−2 时,更新方向如何?
需要一点提示
m̂ 的符号跟随梯度,v̂ 不变。
查看解析与答案
参数约增加 0.1,沿负梯度方向移动。
g=0 且历史状态也为 0,会发生 0/0 吗?
需要一点提示
查看 ε。
查看解析与答案
不会,分母是正数 ε,更新为 0。
历史 g 很大而现在 g 很小,分母为何仍可能较大?
需要一点提示
v 是移动平均。
查看解析与答案
过去的平方梯度按 β₂ 衰减,不会在下一步立即消失,适应速度由 β₂ 决定。
继续深入这个专题
本站例子、推导与教学代码独立编写。以下是相关教材、作者论文或官方文档,可继续核对定义、证明与更完整的工程实现。
Boyd 与 Vandenberghe · Convex OptimizationDive into Deep Learning · 优化算法