01先把问题说具体
有一百万条训练样本,每次更新都读完全部数据太慢,能否只看一条或一小批?
02一步步得到方法
先定义我们真正要最小化的量
经验风险 F(θ)=(1/N)Σᵢℓᵢ(θ) 是所有样本损失的平均。完整梯度为所有样本梯度的平均。均匀随机选 i,只计算 g=∇ℓᵢ(θ),则在当前参数固定时 E[g]=∇F(θ),称为无偏梯度估计。
无偏描述很多次抽样的平均,不代表某一步沿着完整目标的下降方向。小批量把 b 个样本梯度求平均,一般能减少噪声,但耗费更多计算。无放回洗牌与独立有放回抽样的分析条件也有区别。
用两条数据看见随机性
拟合常数 θ,样本 y=[1,3],单样本损失为 (θ−y)²。完整目标在均值 2 处最小;但 θ=2 时,两条样本的梯度分别是 2 和 −2,均值为 0,任何一次随机抽样仍可能把参数移开。
因此固定步长常在最优解附近波动,而不会安静地停在一个点。减小步长可降低后期波动,却也会使继续移动变慢。代码用 ηₜ=η₀/√(t+1) 作演示,不把这个有限步实验当作所有问题的收敛保证。
训练循环与可复现性
每一步先选样本,再在当前参数上计算梯度,最后更新参数。固定随机种子可以复现实验轨迹,但不同硬件上的浮点计算仍可能不同。
实际训练还需要训练集与验证集的区分。训练损失下降不等于泛化改善;批量大小、学习率和训练轮数应结合验证结果决定。
03把一个小例子完全算清楚
y=[1,3],θ₀=0,固定演示步长 0.1,依次取样 1、3。
| 步骤 | 计算与状态 | 为什么这样做 |
|---|---|---|
| 抽到 y=1 | g=2(0−1)=−2,θ₁=0.2 | 只针对一条数据更新 |
| 抽到 y=3 | g=2(0.2−3)=−5.6,θ₂=0.76 | 梯度必须用新参数计算 |
| 来到 θ=2 | 两种梯度为 +2、−2 | 平均为 0,但单次仍有噪声 |
窄屏可左右滑动表格,阅读完整计算与理由。
完整目标的最优参数为 2;单次随机更新可以使完整目标上升。
04为什么这个方法成立
- 均匀抽样时 E[∇ℓᵢ(θ)]=(1/N)Σᵢ∇ℓᵢ(θ)=∇F(θ)。
- 该等式需要每个样本被选中的概率与目标加权一致;非均匀采样直接取梯度可能有偏。
- 无偏性不足以单独保证收敛,还要控制步长、方差与目标的光滑性等条件。
05把推导翻译成代码
Python · 可独立运行的教学实现
from random import Random
from math import sqrt
def fit_constant_sgd(values, steps=10000, rate=0.2, seed=0):
if not values or rate <= 0 or steps < 0:
raise ValueError("invalid training configuration")
rng = Random(seed)
theta = 0.0
for t in range(steps):
y = values[rng.randrange(len(values))]
gradient = 2 * (theta - y)
theta -= rate / sqrt(t + 1) * gradient
return theta
print(fit_constant_sgd([1, 3]))逐个理解关键决定
rng.randrange(len(values))- 独立均匀、有放回地抽取一个样本;不是遍历一整轮再洗牌。
2 * (theta - y)- 来自平方损失的导数;若损失前面有 1/2,梯度就不再乘 2。
rate / sqrt(t + 1)- 后期减小每次随机更新的幅度;数学保证取决于额外假设与具体步长序列。
06时间、空间与实现范围
此常数模型单步 O(1),k 次迭代 O(k),额外空间 O(1)。
一般模型的成本按一次前向、反向计算及批量大小计量;不能仅因名称中有“随机”就认定总耗时更少。
07改变条件,检查哪里会出错
把求和损失与平均损失混用
批量求和会让梯度量级随批量大小增加。比较学习率时先统一损失归一化。
用单次损失判断是否训练失败
SGD 允许波动;应观察合理窗口的指标,并监测是否持续发散。
08从手算到独立迁移
先写出自己的结果和理由,再展开提示或解析。三题依次检查具体执行、边界条件和方法迁移。
θ=2 时,完整梯度是多少?
需要一点提示
平均 +2 和 −2。
查看解析与答案
是 0,但任一单样本梯度都不为 0。
只抽 y=1,却声称优化两个样本的平均,会发生什么?
需要一点提示
抽样分布改变了。
查看解析与答案
更新针对的是 (θ−1)²,目标偏向 1,不再是原目标的无偏估计。
小批量梯度为什么通常更稳定?
需要一点提示
考虑独立随机变量平均的方差。
查看解析与答案
独立同分布时,平均梯度的方差约为单样本方差的 1/b;相关性和无放回抽样会改变精确关系。
继续深入这个专题
本站例子、推导与教学代码独立编写。以下是相关教材、作者论文或官方文档,可继续核对定义、证明与更完整的工程实现。
Boyd 与 Vandenberghe · Convex OptimizationDive into Deep Learning · 优化算法