专题进阶 · AI 与 GPU推荐总顺序 · 第 137 / 148 课

沿计算图应用链式法则,并在共享节点累加梯度,用有限差分核对结果。

先学会这些,再进入本课 梯度下降 矩阵乘法
还有 2 节先修课未标记掌握;已具备基础时可以直接学习,遇到障碍再沿链接补课。
专题详解 · AI 与 GPU

反向传播Backpropagation

沿计算图反向应用链式法则,共享中间导数计算各参数梯度。

建议 40 分钟 · 含手算、代码与三层练习

本课要建立的能力

沿计算图应用链式法则,并在共享节点累加梯度,用有限差分核对结果。

先手算,再对照代码;理解为什么成立,最后用改变条件的练习检查迁移能力。

01先把问题说具体

模型输出经过多次乘加才得到损失,怎样知道每个参数应该往哪个方向改?

02一步步得到方法

先展开一个完整计算图

取输入 x、权重 w、偏置 b,先算 u=xw,再算 y=u+b,损失 L=½(y−t)²。前向计算保存 x、w、y 等中间值,反向计算从标量 L 的梯度 1 开始沿图逆序传播。

链式法则说明:若 L 通过 y 依赖 u,那么 ∂L/∂u=(∂L/∂y)(∂y/∂u)。每个局部操作只需要知道自己的输入输出关系,就能把上游梯度传给输入。

逐项计算,不跳过共享路径

此例 ∂L/∂y=y−t,∂y/∂u=∂y/∂b=1,∂u/∂w=x、∂u/∂x=w。因此 dL/dw=(y−t)x,dL/db=y−t,dL/dx=(y−t)w。

同一个变量若通向损失的多条路径,它的梯度贡献要相加。例如 z=x*x,左右两条输入边都来自 x,总导数为 x+x=2x,不能覆盖掉其中一条贡献。

反向模式与梯度检查

反向传播是反向模式自动微分在计算图中的应用,按局部导数准确组合,并非靠随机扰动猜梯度。标量损失对很多参数求导时,反向模式尤其合适。

有限差分 (L(w+ε)−L(w−ε))/(2ε) 可作小例子的独立检查,但 ε 过小会受舍入影响,过大则截断误差增加。矩阵场景还必须核对梯度形状,广播的反向通常需要沿被扩展维度求和。

03把一个小例子完全算清楚

x=2,w=3,b=1,目标 t=5。

步骤计算与状态为什么这样做
前向u=6,y=7,L=2误差 y−t=2
损失到输出dL/dy=2平方损失前有 1/2
传播到参数dw=4,db=2,dx=6分别乘局部导数 x、1、w

窄屏可左右滑动表格,阅读完整计算与理由。

用学习率 0.1 更新 w、b 后得到 w=2.6、b=0.8,新的损失为 0.5。

04为什么这个方法成立

  1. 每条计算边应用链式法则,逆拓扑顺序确保处理节点时所有上游贡献已就绪。
  2. 对加法节点,上游梯度分别传给两个输入;对乘法节点,传给每个输入时乘另一个输入。
  3. 共享节点累加各路径贡献,符合多元链式法则,因此得到整个复合函数的导数。

05把推导翻译成代码

Python · 标量计算图的手工反向传播

def loss_and_gradients(x,w,b,target):
    u = x*w
    y = u+b
    error = y-target
    loss = 0.5*error*error
    dy = error
    du = dy
    db = dy
    dw = du*x
    dx = du*w
    return loss,{"x":dx,"w":dw,"b":db}

print(loss_and_gradients(2,3,1,5))

逐个理解关键决定

dy = error
损失定义含 1/2,因此导数不是 2×error。
dw = du*x
乘法对 w 的局部导数是另一个输入 x。
return loss
梯度与当前前向点对应;修改参数后若再反向,需要新的前向状态。

06时间、空间与实现范围

计算图中每条操作通常在前向与反向各处理常数次,反向成本与前向同一量级,但精确常数取决于算子。

保存中间激活可能占大量内存,检查点重计算可用额外计算换存储;当前标量例子只需 O(1)。

07改变条件,检查哪里会出错

反向时先更新某个参数再用它算其他梯度

会混用不同前向点的参数,通常应先完成梯度计算再统一更新。

有多条路径就取最后一条梯度

共享节点应累加全部路径贡献。

08从手算到独立迁移

先写出自己的结果和理由,再展开提示或解析。三题依次检查具体执行、边界条件和方法迁移。

练习 1 · 复现与理解

本例更新后为什么损失是 0.5?

需要一点提示

重算 y=2×2.6+0.8。

查看解析与答案

y=6,误差 1,L=1/2。

练习 2 · 边界与辨析

z=x*x 在 x=3 处导数是多少?

需要一点提示

两条输入边各贡献 3。

查看解析与答案

6。

练习 3 · 变式与迁移

如何检查 dw=4?

需要一点提示

分别扰动 w±ε,其他变量固定。

查看解析与答案

用中心差分计算损失变化率,应在适当 ε 下接近 4。

继续深入这个专题

本站例子、推导与教学代码独立编写。以下是相关教材、作者论文或官方文档,可继续核对定义、证明与更完整的工程实现。

NVIDIA · CUDA Best Practices GuideFlashAttention 原论文Dive into Deep Learning · 注意力

理解之后,继续递进

能解释手算中的每一步,并独立完成迁移题后,再标记掌握。