01先把问题说具体
把 x 调到哪里,才能使 f(x)=(x−3)² 最小?为什么每次减去导数能帮助我们?
02一步步得到方法
从局部斜率到一步更新
导数 f′(x) 描述 x 增加一个很小的量时,函数值如何变化。本例 f′(x)=2(x−3):x<3 时导数为负,应向右;x>3 时应向左。在多个变量下,梯度由各偏导组成,形状与参数向量相同。
一阶近似 f(x+δ)≈f(x)+∇f(x)ᵀδ。取 δ=−η∇f(x),近似变化为 −η‖∇f(x)‖²;η>0 且足够小时便下降。这解释了负号,也解释了为什么过大的步长不能靠这条局部近似保证安全。
手算学习率的边界
令误差 eₖ=xₖ−3,更新 xₖ₊₁=xₖ−2η(xₖ−3) 得 eₖ₊₁=(1−2η)eₖ。要使误差绝对值逐步缩小,必须 |1−2η|<1,即 0<η<1。η=0.1 平稳逼近,η=0.75 左右摆动但收敛,η=1 持续等幅振荡。
这个区间属于当前二次函数,不能照搬给所有目标。对于梯度是 L-Lipschitz 的光滑函数,适当步长可保证下降;是否到达全局最优,还需要凸性等额外条件。
多变量与停止条件
沿不同方向曲率差异很大的狭长谷地中,统一步长可能来回之字形移动。之后的动量、预条件、牛顿法正是在处理这种几何问题。
参考实现接受梯度函数与参数列表,记录每步参数,按梯度范数停止,并设迭代上限。梯度很小也可能处在鞍点;遇到非凸目标,还需检查目标值、初始化和问题结构。
03把一个小例子完全算清楚
x₀=0,η=0.1,f(x)=(x−3)²。
| 步骤 | 计算与状态 | 为什么这样做 |
|---|---|---|
| 第 0 步 | 梯度 −6,x₁=0.6 | 向梯度反方向移动 |
| 第 1 步 | 梯度 −4.8,x₂=1.08 | 误差由 −2.4 缩为 −1.92 |
| 第 2 步 | x₃=1.464,f≈2.3593 | 每次误差乘 0.8 |
窄屏可左右滑动表格,阅读完整计算与理由。
最优解 x*=3;步数增加时趋近 3,有限步通常不恰好等于 3。
04为什么这个方法成立
- 对二次函数,直接代入更新式得到 eₖ=(1−2η)ᵏe₀。
- 当 |1−2η|<1,几何级数因子趋于 0,所以 xₖ→3,目标值趋于 0。
- 一般函数的局部下降依据泰勒展开;这不是所有非凸目标全局收敛的证明。
05把推导翻译成代码
Python · 可独立运行的教学实现
from math import sqrt
def gradient_descent(gradient, initial, rate=0.1, steps=200, tolerance=1e-10):
if rate <= 0 or steps < 0:
raise ValueError("invalid rate or steps")
x = list(map(float, initial))
history = [x.copy()]
for _ in range(steps):
g = list(gradient(x))
if len(g) != len(x):
raise ValueError("gradient shape mismatch")
if sqrt(sum(v * v for v in g)) <= tolerance:
break
x = [v - rate * d for v, d in zip(x, g)]
history.append(x.copy())
return x, history
answer, trace = gradient_descent(lambda x: [2 * (x[0] - 3)], [0])
print(answer)逐个理解关键决定
history.append(x.copy())- 复制参数快照;若原地修改同一个列表,会丢失历史轨迹。
v - rate * d- 每个参数减去对应偏导,不能把所有偏导先相加再更新每个参数。
tolerance- 检查梯度范数,并不直接检查解与真最优解的距离。
06时间、空间与实现范围
若计算一次梯度花费 G(d),迭代 k 次耗时 O(kG(d)+kd)。
参数与梯度需 O(d) 空间;此教学版记录所有参数,另需 O(kd) 空间,实际训练可不保留历史。
07改变条件,检查哪里会出错
每次都下降就一定全局最优?
一般非凸函数可能到达局部极小值;梯度为零也可能是极大值或鞍点。
学习率越大越快?
超过曲率允许的范围会振荡或发散。先用一维误差递推理解步长,再考虑调参。
08从手算到独立迁移
先写出自己的结果和理由,再展开提示或解析。三题依次检查具体执行、边界条件和方法迁移。
η=0.5 时,从 x=0 出发需要几步到 3?
需要一点提示
计算 1−2η。
查看解析与答案
一步。误差因子为 0,所以此特殊二次函数一次更新到最优点。
η=1.1 的误差会怎样?
需要一点提示
误差每次乘 −1.2。
查看解析与答案
交替改变符号且绝对值放大,发生发散。
把目标换成 100(x−3)²,稳定步长范围如何变化?
需要一点提示
梯度是 200(x−3)。
查看解析与答案
需 |1−200η|<1,即 0<η<0.01。曲率增大要求步长缩小。
继续深入这个专题
本站例子、推导与教学代码独立编写。以下是相关教材、作者论文或官方文档,可继续核对定义、证明与更完整的工程实现。
Boyd 与 Vandenberghe · Convex OptimizationDive into Deep Learning · 优化算法