专题进阶 · 优化算法推荐总顺序 · 第 122 / 148 课

区分完整梯度、单样本梯度和小批量梯度,解释随机波动、抽样与步长衰减。

先学会这些,再进入本课 梯度下降
还有 1 节先修课未标记掌握;已具备基础时可以直接学习,遇到障碍再沿链接补课。
专题详解 · 优化算法

随机梯度下降SGD

用样本或小批量估计梯度,以有噪声的低成本更新逼近全数据优化。

建议 45 分钟 · 含手算、代码与三层练习

本课要建立的能力

区分完整梯度、单样本梯度和小批量梯度,解释随机波动、抽样与步长衰减。

先手算,再对照代码;理解为什么成立,最后用改变条件的练习检查迁移能力。

01先把问题说具体

有一百万条训练样本,每次更新都读完全部数据太慢,能否只看一条或一小批?

02一步步得到方法

先定义我们真正要最小化的量

经验风险 F(θ)=(1/N)Σᵢℓᵢ(θ) 是所有样本损失的平均。完整梯度为所有样本梯度的平均。均匀随机选 i,只计算 g=∇ℓᵢ(θ),则在当前参数固定时 E[g]=∇F(θ),称为无偏梯度估计。

无偏描述很多次抽样的平均,不代表某一步沿着完整目标的下降方向。小批量把 b 个样本梯度求平均,一般能减少噪声,但耗费更多计算。无放回洗牌与独立有放回抽样的分析条件也有区别。

用两条数据看见随机性

拟合常数 θ,样本 y=[1,3],单样本损失为 (θ−y)²。完整目标在均值 2 处最小;但 θ=2 时,两条样本的梯度分别是 2 和 −2,均值为 0,任何一次随机抽样仍可能把参数移开。

因此固定步长常在最优解附近波动,而不会安静地停在一个点。减小步长可降低后期波动,却也会使继续移动变慢。代码用 ηₜ=η₀/√(t+1) 作演示,不把这个有限步实验当作所有问题的收敛保证。

训练循环与可复现性

每一步先选样本,再在当前参数上计算梯度,最后更新参数。固定随机种子可以复现实验轨迹,但不同硬件上的浮点计算仍可能不同。

实际训练还需要训练集与验证集的区分。训练损失下降不等于泛化改善;批量大小、学习率和训练轮数应结合验证结果决定。

03把一个小例子完全算清楚

y=[1,3],θ₀=0,固定演示步长 0.1,依次取样 1、3。

步骤计算与状态为什么这样做
抽到 y=1g=2(0−1)=−2,θ₁=0.2只针对一条数据更新
抽到 y=3g=2(0.2−3)=−5.6,θ₂=0.76梯度必须用新参数计算
来到 θ=2两种梯度为 +2、−2平均为 0,但单次仍有噪声

窄屏可左右滑动表格,阅读完整计算与理由。

完整目标的最优参数为 2;单次随机更新可以使完整目标上升。

04为什么这个方法成立

  1. 均匀抽样时 E[∇ℓᵢ(θ)]=(1/N)Σᵢ∇ℓᵢ(θ)=∇F(θ)。
  2. 该等式需要每个样本被选中的概率与目标加权一致;非均匀采样直接取梯度可能有偏。
  3. 无偏性不足以单独保证收敛,还要控制步长、方差与目标的光滑性等条件。

05把推导翻译成代码

Python · 可独立运行的教学实现

from random import Random
from math import sqrt

def fit_constant_sgd(values, steps=10000, rate=0.2, seed=0):
    if not values or rate <= 0 or steps < 0:
        raise ValueError("invalid training configuration")
    rng = Random(seed)
    theta = 0.0
    for t in range(steps):
        y = values[rng.randrange(len(values))]
        gradient = 2 * (theta - y)
        theta -= rate / sqrt(t + 1) * gradient
    return theta

print(fit_constant_sgd([1, 3]))

逐个理解关键决定

rng.randrange(len(values))
独立均匀、有放回地抽取一个样本;不是遍历一整轮再洗牌。
2 * (theta - y)
来自平方损失的导数;若损失前面有 1/2,梯度就不再乘 2。
rate / sqrt(t + 1)
后期减小每次随机更新的幅度;数学保证取决于额外假设与具体步长序列。

06时间、空间与实现范围

此常数模型单步 O(1),k 次迭代 O(k),额外空间 O(1)。

一般模型的成本按一次前向、反向计算及批量大小计量;不能仅因名称中有“随机”就认定总耗时更少。

07改变条件,检查哪里会出错

把求和损失与平均损失混用

批量求和会让梯度量级随批量大小增加。比较学习率时先统一损失归一化。

用单次损失判断是否训练失败

SGD 允许波动;应观察合理窗口的指标,并监测是否持续发散。

08从手算到独立迁移

先写出自己的结果和理由,再展开提示或解析。三题依次检查具体执行、边界条件和方法迁移。

练习 1 · 复现与理解

θ=2 时,完整梯度是多少?

需要一点提示

平均 +2 和 −2。

查看解析与答案

是 0,但任一单样本梯度都不为 0。

练习 2 · 边界与辨析

只抽 y=1,却声称优化两个样本的平均,会发生什么?

需要一点提示

抽样分布改变了。

查看解析与答案

更新针对的是 (θ−1)²,目标偏向 1,不再是原目标的无偏估计。

练习 3 · 变式与迁移

小批量梯度为什么通常更稳定?

需要一点提示

考虑独立随机变量平均的方差。

查看解析与答案

独立同分布时,平均梯度的方差约为单样本方差的 1/b;相关性和无放回抽样会改变精确关系。

继续深入这个专题

本站例子、推导与教学代码独立编写。以下是相关教材、作者论文或官方文档,可继续核对定义、证明与更完整的工程实现。

Boyd 与 Vandenberghe · Convex OptimizationDive into Deep Learning · 优化算法

理解之后,继续递进

能解释手算中的每一步,并独立完成迁移题后,再标记掌握。