01先把问题说具体
把分数 [1000,1001] 转成和为 1 的权重,直接计算指数为什么会溢出?
02一步步得到方法
分数如何变成权重
对一行分数 x,pᵢ=exp(xᵢ)/Σⱼexp(xⱼ)。每个权重非负,总和为 1;分数差决定相对比值 pᵢ/pⱼ=exp(xᵢ−xⱼ)。它产生归一化权重,但不能仅凭这个形式就宣称预测概率已经校准。
对矩阵执行 Softmax 必须明确沿哪条轴归一化。注意力通常对每个 query 的所有 key 分数归一化,而不是把整个矩阵所有元素一起归一化。
减去最大值为何不改变结果
任意常数 c 都满足 exp(xᵢ−c)/Σexp(xⱼ−c)=exp(xᵢ)/Σexp(xⱼ),因为共同因子 exp(−c) 抵消。选 c=max(x) 后,所有指数输入≤0,最大的指数恰为 1,从而避免正方向溢出。
很小的指数仍可能下溢为 0,一般比溢出更可控,但极端精度要求仍需留意。对数概率应优先使用稳定 log-softmax 或 log-sum-exp 形式,避免先得到 0 再取对数。
掩码也是数值语义的一部分
不允许关注的位置常设为 −∞,其指数为 0。若整行都被屏蔽,则 max 为 −∞,减法会出现未定义值;这时必须有显式策略。本课拒绝这种行,而不偷偷返回均匀分布。
代码也拒绝 NaN 和 +∞,保留有限值及允许的 −∞。GPU 实现通常需要最大值归约、指数与求和归约,然后逐元素归一化,下一课会用它形成注意力权重。
03把一个小例子完全算清楚
x=[1000,1001]。
| 步骤 | 计算与状态 | 为什么这样做 |
|---|---|---|
| 减最大值 | [-1,0] | 减去 1001 不改变权重 |
| 指数 | [e⁻¹,1]≈[0.367879,1] | 避免计算 e¹⁰⁰¹ |
| 归一化 | [0.268941,0.731059] | 除以约 1.367879 |
窄屏可左右滑动表格,阅读完整计算与理由。
权重和为 1,较高分数得到更大的权重。
04为什么这个方法成立
- 共同平移在分子分母中乘同一因子,因此结果不变。
- 有限最大值确保至少一个指数为 1,分母为正,所有指数≤1。
- 屏蔽位置为 −∞ 时指数为 0;整行全屏蔽不满足有限最大值条件,需要额外处理。
05把推导翻译成代码
Python · 可独立运行的教学实现
from math import exp,isfinite,isnan
def stable_softmax(scores):
if not scores or any(isnan(x) or x==float("inf") for x in scores):
raise ValueError("invalid scores")
maximum = max(scores)
if not isfinite(maximum):
raise ValueError("all positions masked")
weights = [exp(x-maximum) for x in scores]
total = sum(weights)
return [w/total for w in weights]
print(stable_softmax([1000,1001]))逐个理解关键决定
max(scores)- 每行单独找最大值,不能错误地使用其他行的值作为掩码判定。
exp(x-maximum)- 先相减再指数;先指数后缩放已经来不及防止溢出。
all positions masked- 明确全屏蔽行策略,避免向后传播 NaN。
06时间、空间与实现范围
长度 n 的一行需 O(n) 时间和本实现 O(n) 额外空间。
并行归约的工作仍为 O(n),理论跨度 O(log n),真实 GPU 延迟还受带宽与同步影响。
07改变条件,检查哪里会出错
Softmax 每个元素独立计算
所有元素共享分母,相互耦合;改变一个分数会影响整行权重。
先 Softmax 再随意清零掩码位置
剩余权重一般不再和为 1,通常应在归一化之前施加掩码。
08从手算到独立迁移
先写出自己的结果和理由,再展开提示或解析。三题依次检查具体执行、边界条件和方法迁移。
[0,0,0] 的权重是什么?
需要一点提示
三个指数相同。
查看解析与答案
每项 1/3。
给所有分数加 100,结果变化吗?
需要一点提示
使用共同平移不变性。
查看解析与答案
数学上不变,数值实现仍应减最大值。
只留一个未屏蔽分数会怎样?
需要一点提示
其他指数均为 0。
查看解析与答案
唯一合法位置的权重为 1。
继续深入这个专题
本站例子、推导与教学代码独立编写。以下是相关教材、作者论文或官方文档,可继续核对定义、证明与更完整的工程实现。
NVIDIA · CUDA Best Practices GuideFlashAttention 原论文Dive into Deep Learning · 注意力