01先把问题说具体
一个查询要从多个信息条目中取回内容,为什么要分别准备 Key 和 Value?
02一步步得到方法
先把三种角色和形状写出来
Q 有 n 行,每行是一个 d 维查询;K 有 m 行,每行是一个 d 维匹配键;V 有 m 行,每行是 d_v 维内容。QKᵀ 形状为 n×m,每个元素是一个 query 与一个 key 的内积。
Key 决定匹配程度,Value 决定取回的内容;二者行数必须相同,因为每个键对应一份内容,但特征维度 d 与 d_v 可以不同。输出形状为 n×d_v。
缩放、掩码、归一化、取内容
计算 S=QKᵀ/√d,添加掩码后,对每一行单独 Softmax 得 P,最后 O=PV。除 √d 的动机是:若分量近似独立且方差适当,内积方差随 d 增长,缩放可控制量级;它不是所有数据分布下的严格方差保证。
因果注意力会禁止 query 读取未来位置。掩码应对应真实位置关系,尤其当 Q 和 K 长度不同、有缓存或偏移时,不能无条件用一个同尺寸下三角矩阵。
从单头扩展到多头
多头注意力通常先把输入乘可学习投影,得到多组 Q、K、V,各头独立计算,再拼接并投影。这里把一头的核心完全算清,不混入批量、头维和投影参数。
代码接受布尔掩码,True 表示可访问;全屏蔽行明确报错。它是普通全量注意力的 CPU 参考,后续 FlashAttention 课会在相同数学语义下改变中间存储方式。
03把一个小例子完全算清楚
单 query:Q=[[1]],K=[[0],[ln3]],V=[[2],[6]],d=1。
| 步骤 | 计算与状态 | 为什么这样做 |
|---|---|---|
| 匹配分数 | [0,ln3] | Q 与每个 K 内积,√d=1 |
| Softmax 权重 | [1/4,3/4] | 指数为 [1,3],再归一化 |
| 加权内容 | (1/4)×2+(3/4)×6=5 | 输出形状 1×1 |
窄屏可左右滑动表格,阅读完整计算与理由。
输出 [[5]];分数来自 Key,最终混合的是 Value。
04为什么这个方法成立
- 每行 Softmax 形成在合法 key 上和为 1 的权重。
- 矩阵乘 PV 的每个输出元素,是相同权重对各 Value 对应坐标的加权和。
- 因此输出是合法 Value 的凸组合;这说明计算语义,但不能单独解释模型学会了什么或证明其推理正确。
05把推导翻译成代码
Python · 单头注意力的 CPU 数值参考
from math import exp,sqrt,isfinite
def attention_reference(Q,K,V,mask=None):
if not Q or not K or not V or not Q[0] or not V[0]:
raise ValueError("nonempty inputs required")
n,m,d,v = len(Q),len(K),len(Q[0]),len(V[0])
if len(V)!=m or any(len(r)!=d for r in Q+K) or any(len(r)!=v for r in V):
raise ValueError("shape mismatch")
if mask is not None and (len(mask)!=n or any(len(r)!=m for r in mask)):
raise ValueError("mask shape mismatch")
output = []
for i,q in enumerate(Q):
scores = [sum(a*b for a,b in zip(q,k))/sqrt(d) if mask is None or mask[i][j]
else float("-inf") for j,k in enumerate(K)]
maximum = max(scores)
if not isfinite(maximum):
raise ValueError("invalid or fully masked row")
weights = [exp(s-maximum) for s in scores]
total = sum(weights)
output.append([sum(weights[j]*V[j][c] for j in range(m))/total for c in range(v)])
return output
from math import log
print(attention_reference([[1]],[[0],[log(3)]],[[2],[6]]))逐个理解关键决定
Q+K- 这里用于检查所有 query 与 key 行的特征长度,二者都必须是 d。
mask[i][j]- 本实现 True 表示允许访问;不同库的布尔掩码约定可能不同,移植前应核对。
V[j][c]- 按 key 的权重取其对应 value 的第 c 个坐标。
06时间、空间与实现范围
n 个 query、m 个 key,算术量 O(nmd+nmd_v)。
本参考逐行计算,仅保留 O(m) 行中间量与 O(nd_v) 输出;常见矩阵式实现会额外存 n×m 分数或权重,FlashAttention 重点避免这类大中间矩阵。
07改变条件,检查哪里会出错
Q、K、V 都必须同样形状
Q 与 K 共享特征维,K 与 V 共享条目数;Q 条目数和 V 特征维可以不同。
注意力权重就是完整因果解释
权重是模型内部计算量,不能单独据此证明哪些输入造成了最终决策。
08从手算到独立迁移
先写出自己的结果和理由,再展开提示或解析。三题依次检查具体执行、边界条件和方法迁移。
Q 全为 0 且没有掩码,输出是什么?
需要一点提示
所有内积分数为 0。
查看解析与答案
每个 query 得到所有 V 的等权平均。
n=2、m=3、d=4、d_v=5,分数与输出形状?
需要一点提示
分别对应匹配和取内容。
查看解析与答案
分数 2×3,输出 2×5。
本例只允许访问第二个 key,输出是多少?
需要一点提示
唯一合法权重为 1。
查看解析与答案
输出 [[6]]。
继续深入这个专题
本站例子、推导与教学代码独立编写。以下是相关教材、作者论文或官方文档,可继续核对定义、证明与更完整的工程实现。
NVIDIA · CUDA Best Practices GuideFlashAttention 原论文Dive into Deep Learning · 注意力