专题进阶 · AI 与 GPU推荐总顺序 · 第 140 / 148 课

推导在线 Softmax 的重缩放公式,理解精确注意力如何避免保存完整分数矩阵。

先学会这些,再进入本课 注意力 内存分块
还有 2 节先修课未标记掌握;已具备基础时可以直接学习,遇到障碍再沿链接补课。
专题详解 · AI 与 GPU

FlashAttention 思想FlashAttention

分块加载 Q/K/V 并在线更新 softmax,减少显存读写,避免物化完整注意力矩阵。

建议 50 分钟 · 含手算、代码与三层练习

本课要建立的能力

推导在线 Softmax 的重缩放公式,理解精确注意力如何避免保存完整分数矩阵。

先手算,再对照代码;理解为什么成立,最后用改变条件的练习检查迁移能力。

01先把问题说具体

注意力分数矩阵太大,但最后只需要加权后的输出。能否一块块读取 Key、Value,并持续合并结果?

02一步步得到方法

瓶颈在大中间矩阵的搬运

标准矩阵式注意力经常产生 n×m 分数和权重,再把它们写入或读出高带宽显存。FlashAttention 使用分块与融合,在较快的片上存储中完成一部分计算,避免把完整中间矩阵落到显存。

它计算的是相同的全注意力语义,主要改变 IO 与执行组织,不是直接把所有 query-key 配对删掉。一般稠密注意力的乘加规模仍是二次量级;速度提升取决于形状、硬件和具体实现。

一行只需维护三个量

维护已见分数的最大值 m、缩放后的指数和 ℓ=Σexp(s−m)、以及未归一化输出累积 a=Σexp(s−m)v。最终输出是 a/ℓ。m 是标量,ℓ 是标量,a 是 d_v 维向量。

读到新块后,令 m′=max(m,块内最大值),旧量必须改用新的缩放基准:r=exp(m−m′),ℓ′=rℓ+Σ块exp(s−m′),a′=ra+Σ块exp(s−m′)v。只更新分母而不重缩放旧分子,会产生错误结果。

从可验证公式到真实内核

下面代码对每个 query 按块计算分数,并用在线公式累计,没有构造完整 n×m 分数矩阵。它限定有限输入、无掩码,使用 Python 模拟数学核心;没有声称包含 CUDA 线程映射、异步拷贝或反向内核。

真实实现还会把多个 query 放进块,利用矩阵单元、处理掩码与反向传播中的重计算,并平衡寄存器和共享内存。浮点重排带来容差内差异,不能要求所有实现逐位相同。

03把一个小例子完全算清楚

同上一课:分数 [0,ln3],Value 为 [2,6],每块一个元素。

步骤计算与状态为什么这样做
读第 1 块m=0,ℓ=1,a=2表示第一个条目
读第 2 块m′=ln3,r=1/3旧累计量需统一到新基准
合并ℓ′=4/3,a′=20/3输出 (20/3)/(4/3)=5

窄屏可左右滑动表格,阅读完整计算与理由。

不保存完整权重向量,也能得到相同的加权输出 5。

04为什么这个方法成立

  1. 归纳假设 m、ℓ、a 正确表示所有已处理条目。
  2. 共同乘 r=exp(m−m′) 后,旧指数项变成 exp(s−m′),与新块处于同一缩放基准。
  3. 加入新块后仍满足不变量;最终 a/ℓ 中公共缩放抵消,得到普通 Softmax 加权和。

05把推导翻译成代码

Python · 无掩码注意力的分块在线 Softmax 参考

from math import exp,sqrt,isfinite

def flash_reference(Q,K,V,block=2):
    if block<1 or not Q or not K or not V or not Q[0] or not V[0]:
        raise ValueError("invalid input")
    d,dv = len(Q[0]),len(V[0])
    if len(K)!=len(V) or any(len(r)!=d for r in Q+K) or any(len(r)!=dv for r in V):
        raise ValueError("shape mismatch")
    if any(not isfinite(x) for rows in [Q,K,V] for row in rows for x in row):
        raise ValueError("finite inputs required")
    output = []
    for q in Q:
        maximum,total = float("-inf"),0.0
        accumulator = [0.0]*dv
        for start in range(0,len(K),block):
            end = min(start+block,len(K))
            scores = [sum(a*b for a,b in zip(q,K[j]))/sqrt(d) for j in range(start,end)]
            new_maximum = max(maximum,max(scores))
            scale = exp(maximum-new_maximum)
            weights = [exp(s-new_maximum) for s in scores]
            total = scale*total+sum(weights)
            accumulator = [scale*accumulator[c]+sum(weights[j-start]*V[j][c]
                           for j in range(start,end)) for c in range(dv)]
            maximum = new_maximum
        output.append([a/total for a in accumulator])
    return output

from math import log
print(flash_reference([[1]],[[0],[log(3)]],[[2],[6]],1))

逐个理解关键决定

scale = exp(maximum-new_maximum)
第一块旧最大值为 −∞,scale=0,正好忽略尚不存在的旧累计量。
scale*accumulator[c]
分子与分母都要重缩放,不能只改其中一个。
min(start+block,len(K))
尾块不足 block 个 key 时也必须参与累计。

06时间、空间与实现范围

计算量仍为 O(nm(d+d_v));此参考单行工作空间 O(block+d_v),另有 O(nd_v) 输出与输入存储。

真实 FlashAttention 采用多行矩阵块与硬件资源调度,IO 分析依赖块大小和片上存储容量,不能把 Python 模拟耗时当 GPU 性能。

07改变条件,检查哪里会出错

省显存就是线性复杂度注意力

完整稠密配对的算术量仍然存在,主要省去大中间矩阵的存储和搬运。

新最大值变化后只改新块

旧累计量必须一起调整基准,否则权重比例不正确。

08从手算到独立迁移

先写出自己的结果和理由,再展开提示或解析。三题依次检查具体执行、边界条件和方法迁移。

练习 1 · 复现与理解

若新块最大值不超过旧 m,scale 是多少?

需要一点提示

m′=m。

查看解析与答案

scale=1,旧累计量无需缩放。

练习 2 · 边界与辨析

先处理分数 ln3 再处理 0,数学结果变吗?

需要一点提示

最终归一化加权和与遍历次序无关。

查看解析与答案

实数算术下不变,浮点舍入可能略有差异。

练习 3 · 变式与迁移

加入因果掩码后,哪些地方需要额外处理?

需要一点提示

合法 key 数可能每行不同。

查看解析与答案

计算分数时屏蔽非法位置,并显式处理某块或整行全屏蔽的最大值及归一化边界。

继续深入这个专题

本站例子、推导与教学代码独立编写。以下是相关教材、作者论文或官方文档,可继续核对定义、证明与更完整的工程实现。

NVIDIA · CUDA Best Practices GuideFlashAttention 原论文Dive into Deep Learning · 注意力

理解之后,继续递进

能解释手算中的每一步,并独立完成迁移题后,再标记掌握。