01先把问题说具体
注意力分数矩阵太大,但最后只需要加权后的输出。能否一块块读取 Key、Value,并持续合并结果?
02一步步得到方法
瓶颈在大中间矩阵的搬运
标准矩阵式注意力经常产生 n×m 分数和权重,再把它们写入或读出高带宽显存。FlashAttention 使用分块与融合,在较快的片上存储中完成一部分计算,避免把完整中间矩阵落到显存。
它计算的是相同的全注意力语义,主要改变 IO 与执行组织,不是直接把所有 query-key 配对删掉。一般稠密注意力的乘加规模仍是二次量级;速度提升取决于形状、硬件和具体实现。
一行只需维护三个量
维护已见分数的最大值 m、缩放后的指数和 ℓ=Σexp(s−m)、以及未归一化输出累积 a=Σexp(s−m)v。最终输出是 a/ℓ。m 是标量,ℓ 是标量,a 是 d_v 维向量。
读到新块后,令 m′=max(m,块内最大值),旧量必须改用新的缩放基准:r=exp(m−m′),ℓ′=rℓ+Σ块exp(s−m′),a′=ra+Σ块exp(s−m′)v。只更新分母而不重缩放旧分子,会产生错误结果。
从可验证公式到真实内核
下面代码对每个 query 按块计算分数,并用在线公式累计,没有构造完整 n×m 分数矩阵。它限定有限输入、无掩码,使用 Python 模拟数学核心;没有声称包含 CUDA 线程映射、异步拷贝或反向内核。
真实实现还会把多个 query 放进块,利用矩阵单元、处理掩码与反向传播中的重计算,并平衡寄存器和共享内存。浮点重排带来容差内差异,不能要求所有实现逐位相同。
03把一个小例子完全算清楚
同上一课:分数 [0,ln3],Value 为 [2,6],每块一个元素。
| 步骤 | 计算与状态 | 为什么这样做 |
|---|---|---|
| 读第 1 块 | m=0,ℓ=1,a=2 | 表示第一个条目 |
| 读第 2 块 | m′=ln3,r=1/3 | 旧累计量需统一到新基准 |
| 合并 | ℓ′=4/3,a′=20/3 | 输出 (20/3)/(4/3)=5 |
窄屏可左右滑动表格,阅读完整计算与理由。
不保存完整权重向量,也能得到相同的加权输出 5。
04为什么这个方法成立
- 归纳假设 m、ℓ、a 正确表示所有已处理条目。
- 共同乘 r=exp(m−m′) 后,旧指数项变成 exp(s−m′),与新块处于同一缩放基准。
- 加入新块后仍满足不变量;最终 a/ℓ 中公共缩放抵消,得到普通 Softmax 加权和。
05把推导翻译成代码
Python · 无掩码注意力的分块在线 Softmax 参考
from math import exp,sqrt,isfinite
def flash_reference(Q,K,V,block=2):
if block<1 or not Q or not K or not V or not Q[0] or not V[0]:
raise ValueError("invalid input")
d,dv = len(Q[0]),len(V[0])
if len(K)!=len(V) or any(len(r)!=d for r in Q+K) or any(len(r)!=dv for r in V):
raise ValueError("shape mismatch")
if any(not isfinite(x) for rows in [Q,K,V] for row in rows for x in row):
raise ValueError("finite inputs required")
output = []
for q in Q:
maximum,total = float("-inf"),0.0
accumulator = [0.0]*dv
for start in range(0,len(K),block):
end = min(start+block,len(K))
scores = [sum(a*b for a,b in zip(q,K[j]))/sqrt(d) for j in range(start,end)]
new_maximum = max(maximum,max(scores))
scale = exp(maximum-new_maximum)
weights = [exp(s-new_maximum) for s in scores]
total = scale*total+sum(weights)
accumulator = [scale*accumulator[c]+sum(weights[j-start]*V[j][c]
for j in range(start,end)) for c in range(dv)]
maximum = new_maximum
output.append([a/total for a in accumulator])
return output
from math import log
print(flash_reference([[1]],[[0],[log(3)]],[[2],[6]],1))逐个理解关键决定
scale = exp(maximum-new_maximum)- 第一块旧最大值为 −∞,scale=0,正好忽略尚不存在的旧累计量。
scale*accumulator[c]- 分子与分母都要重缩放,不能只改其中一个。
min(start+block,len(K))- 尾块不足 block 个 key 时也必须参与累计。
06时间、空间与实现范围
计算量仍为 O(nm(d+d_v));此参考单行工作空间 O(block+d_v),另有 O(nd_v) 输出与输入存储。
真实 FlashAttention 采用多行矩阵块与硬件资源调度,IO 分析依赖块大小和片上存储容量,不能把 Python 模拟耗时当 GPU 性能。
07改变条件,检查哪里会出错
省显存就是线性复杂度注意力
完整稠密配对的算术量仍然存在,主要省去大中间矩阵的存储和搬运。
新最大值变化后只改新块
旧累计量必须一起调整基准,否则权重比例不正确。
08从手算到独立迁移
先写出自己的结果和理由,再展开提示或解析。三题依次检查具体执行、边界条件和方法迁移。
若新块最大值不超过旧 m,scale 是多少?
需要一点提示
m′=m。
查看解析与答案
scale=1,旧累计量无需缩放。
先处理分数 ln3 再处理 0,数学结果变吗?
需要一点提示
最终归一化加权和与遍历次序无关。
查看解析与答案
实数算术下不变,浮点舍入可能略有差异。
加入因果掩码后,哪些地方需要额外处理?
需要一点提示
合法 key 数可能每行不同。
查看解析与答案
计算分数时屏蔽非法位置,并显式处理某块或整行全屏蔽的最大值及归一化边界。
继续深入这个专题
本站例子、推导与教学代码独立编写。以下是相关教材、作者论文或官方文档,可继续核对定义、证明与更完整的工程实现。
NVIDIA · CUDA Best Practices GuideFlashAttention 原论文Dive into Deep Learning · 注意力