专题进阶 · AI 与 GPU推荐总顺序 · 第 135 / 148 课

从指数归一化推导稳定 Softmax,明确归一化轴、掩码与数值边界。

先学会这些,再进入本课 并行归约 梯度下降
还有 2 节先修课未标记掌握;已具备基础时可以直接学习,遇到障碍再沿链接补课。
专题详解 · AI 与 GPU

SoftmaxSoftmax

先减去最大值再指数归一化,减少溢出;沿指定轴计算概率分布。

建议 40 分钟 · 含手算、代码与三层练习

本课要建立的能力

从指数归一化推导稳定 Softmax,明确归一化轴、掩码与数值边界。

先手算,再对照代码;理解为什么成立,最后用改变条件的练习检查迁移能力。

01先把问题说具体

把分数 [1000,1001] 转成和为 1 的权重,直接计算指数为什么会溢出?

02一步步得到方法

分数如何变成权重

对一行分数 x,pᵢ=exp(xᵢ)/Σⱼexp(xⱼ)。每个权重非负,总和为 1;分数差决定相对比值 pᵢ/pⱼ=exp(xᵢ−xⱼ)。它产生归一化权重,但不能仅凭这个形式就宣称预测概率已经校准。

对矩阵执行 Softmax 必须明确沿哪条轴归一化。注意力通常对每个 query 的所有 key 分数归一化,而不是把整个矩阵所有元素一起归一化。

减去最大值为何不改变结果

任意常数 c 都满足 exp(xᵢ−c)/Σexp(xⱼ−c)=exp(xᵢ)/Σexp(xⱼ),因为共同因子 exp(−c) 抵消。选 c=max(x) 后,所有指数输入≤0,最大的指数恰为 1,从而避免正方向溢出。

很小的指数仍可能下溢为 0,一般比溢出更可控,但极端精度要求仍需留意。对数概率应优先使用稳定 log-softmax 或 log-sum-exp 形式,避免先得到 0 再取对数。

掩码也是数值语义的一部分

不允许关注的位置常设为 −∞,其指数为 0。若整行都被屏蔽,则 max 为 −∞,减法会出现未定义值;这时必须有显式策略。本课拒绝这种行,而不偷偷返回均匀分布。

代码也拒绝 NaN 和 +∞,保留有限值及允许的 −∞。GPU 实现通常需要最大值归约、指数与求和归约,然后逐元素归一化,下一课会用它形成注意力权重。

03把一个小例子完全算清楚

x=[1000,1001]。

步骤计算与状态为什么这样做
减最大值[-1,0]减去 1001 不改变权重
指数[e⁻¹,1]≈[0.367879,1]避免计算 e¹⁰⁰¹
归一化[0.268941,0.731059]除以约 1.367879

窄屏可左右滑动表格,阅读完整计算与理由。

权重和为 1,较高分数得到更大的权重。

04为什么这个方法成立

  1. 共同平移在分子分母中乘同一因子,因此结果不变。
  2. 有限最大值确保至少一个指数为 1,分母为正,所有指数≤1。
  3. 屏蔽位置为 −∞ 时指数为 0;整行全屏蔽不满足有限最大值条件,需要额外处理。

05把推导翻译成代码

Python · 可独立运行的教学实现

from math import exp,isfinite,isnan

def stable_softmax(scores):
    if not scores or any(isnan(x) or x==float("inf") for x in scores):
        raise ValueError("invalid scores")
    maximum = max(scores)
    if not isfinite(maximum):
        raise ValueError("all positions masked")
    weights = [exp(x-maximum) for x in scores]
    total = sum(weights)
    return [w/total for w in weights]

print(stable_softmax([1000,1001]))

逐个理解关键决定

max(scores)
每行单独找最大值,不能错误地使用其他行的值作为掩码判定。
exp(x-maximum)
先相减再指数;先指数后缩放已经来不及防止溢出。
all positions masked
明确全屏蔽行策略,避免向后传播 NaN。

06时间、空间与实现范围

长度 n 的一行需 O(n) 时间和本实现 O(n) 额外空间。

并行归约的工作仍为 O(n),理论跨度 O(log n),真实 GPU 延迟还受带宽与同步影响。

07改变条件,检查哪里会出错

Softmax 每个元素独立计算

所有元素共享分母,相互耦合;改变一个分数会影响整行权重。

先 Softmax 再随意清零掩码位置

剩余权重一般不再和为 1,通常应在归一化之前施加掩码。

08从手算到独立迁移

先写出自己的结果和理由,再展开提示或解析。三题依次检查具体执行、边界条件和方法迁移。

练习 1 · 复现与理解

[0,0,0] 的权重是什么?

需要一点提示

三个指数相同。

查看解析与答案

每项 1/3。

练习 2 · 边界与辨析

给所有分数加 100,结果变化吗?

需要一点提示

使用共同平移不变性。

查看解析与答案

数学上不变,数值实现仍应减最大值。

练习 3 · 变式与迁移

只留一个未屏蔽分数会怎样?

需要一点提示

其他指数均为 0。

查看解析与答案

唯一合法位置的权重为 1。

继续深入这个专题

本站例子、推导与教学代码独立编写。以下是相关教材、作者论文或官方文档,可继续核对定义、证明与更完整的工程实现。

NVIDIA · CUDA Best Practices GuideFlashAttention 原论文Dive into Deep Learning · 注意力

理解之后,继续递进

能解释手算中的每一步,并独立完成迁移题后,再标记掌握。