专题进阶 · AI 与 GPU推荐总顺序 · 第 136 / 148 课

逐步核对 Q、K、V 的形状,算出缩放分数、行权重和加权输出。

先学会这些,再进入本课 通用矩阵乘 Softmax
还有 2 节先修课未标记掌握;已具备基础时可以直接学习,遇到障碍再沿链接补课。
专题详解 · AI 与 GPU

注意力Attention

以 QKᵀ 的相似度权重汇总 V,关注张量形状、缩放与掩码。

建议 50 分钟 · 含手算、代码与三层练习

本课要建立的能力

逐步核对 Q、K、V 的形状,算出缩放分数、行权重和加权输出。

先手算,再对照代码;理解为什么成立,最后用改变条件的练习检查迁移能力。

01先把问题说具体

一个查询要从多个信息条目中取回内容,为什么要分别准备 Key 和 Value?

02一步步得到方法

先把三种角色和形状写出来

Q 有 n 行,每行是一个 d 维查询;K 有 m 行,每行是一个 d 维匹配键;V 有 m 行,每行是 d_v 维内容。QKᵀ 形状为 n×m,每个元素是一个 query 与一个 key 的内积。

Key 决定匹配程度,Value 决定取回的内容;二者行数必须相同,因为每个键对应一份内容,但特征维度 d 与 d_v 可以不同。输出形状为 n×d_v。

缩放、掩码、归一化、取内容

计算 S=QKᵀ/√d,添加掩码后,对每一行单独 Softmax 得 P,最后 O=PV。除 √d 的动机是:若分量近似独立且方差适当,内积方差随 d 增长,缩放可控制量级;它不是所有数据分布下的严格方差保证。

因果注意力会禁止 query 读取未来位置。掩码应对应真实位置关系,尤其当 Q 和 K 长度不同、有缓存或偏移时,不能无条件用一个同尺寸下三角矩阵。

从单头扩展到多头

多头注意力通常先把输入乘可学习投影,得到多组 Q、K、V,各头独立计算,再拼接并投影。这里把一头的核心完全算清,不混入批量、头维和投影参数。

代码接受布尔掩码,True 表示可访问;全屏蔽行明确报错。它是普通全量注意力的 CPU 参考,后续 FlashAttention 课会在相同数学语义下改变中间存储方式。

03把一个小例子完全算清楚

单 query:Q=[[1]],K=[[0],[ln3]],V=[[2],[6]],d=1。

步骤计算与状态为什么这样做
匹配分数[0,ln3]Q 与每个 K 内积,√d=1
Softmax 权重[1/4,3/4]指数为 [1,3],再归一化
加权内容(1/4)×2+(3/4)×6=5输出形状 1×1

窄屏可左右滑动表格,阅读完整计算与理由。

输出 [[5]];分数来自 Key,最终混合的是 Value。

04为什么这个方法成立

  1. 每行 Softmax 形成在合法 key 上和为 1 的权重。
  2. 矩阵乘 PV 的每个输出元素,是相同权重对各 Value 对应坐标的加权和。
  3. 因此输出是合法 Value 的凸组合;这说明计算语义,但不能单独解释模型学会了什么或证明其推理正确。

05把推导翻译成代码

Python · 单头注意力的 CPU 数值参考

from math import exp,sqrt,isfinite

def attention_reference(Q,K,V,mask=None):
    if not Q or not K or not V or not Q[0] or not V[0]:
        raise ValueError("nonempty inputs required")
    n,m,d,v = len(Q),len(K),len(Q[0]),len(V[0])
    if len(V)!=m or any(len(r)!=d for r in Q+K) or any(len(r)!=v for r in V):
        raise ValueError("shape mismatch")
    if mask is not None and (len(mask)!=n or any(len(r)!=m for r in mask)):
        raise ValueError("mask shape mismatch")
    output = []
    for i,q in enumerate(Q):
        scores = [sum(a*b for a,b in zip(q,k))/sqrt(d) if mask is None or mask[i][j]
                  else float("-inf") for j,k in enumerate(K)]
        maximum = max(scores)
        if not isfinite(maximum):
            raise ValueError("invalid or fully masked row")
        weights = [exp(s-maximum) for s in scores]
        total = sum(weights)
        output.append([sum(weights[j]*V[j][c] for j in range(m))/total for c in range(v)])
    return output

from math import log
print(attention_reference([[1]],[[0],[log(3)]],[[2],[6]]))

逐个理解关键决定

Q+K
这里用于检查所有 query 与 key 行的特征长度,二者都必须是 d。
mask[i][j]
本实现 True 表示允许访问;不同库的布尔掩码约定可能不同,移植前应核对。
V[j][c]
按 key 的权重取其对应 value 的第 c 个坐标。

06时间、空间与实现范围

n 个 query、m 个 key,算术量 O(nmd+nmd_v)。

本参考逐行计算,仅保留 O(m) 行中间量与 O(nd_v) 输出;常见矩阵式实现会额外存 n×m 分数或权重,FlashAttention 重点避免这类大中间矩阵。

07改变条件,检查哪里会出错

Q、K、V 都必须同样形状

Q 与 K 共享特征维,K 与 V 共享条目数;Q 条目数和 V 特征维可以不同。

注意力权重就是完整因果解释

权重是模型内部计算量,不能单独据此证明哪些输入造成了最终决策。

08从手算到独立迁移

先写出自己的结果和理由,再展开提示或解析。三题依次检查具体执行、边界条件和方法迁移。

练习 1 · 复现与理解

Q 全为 0 且没有掩码,输出是什么?

需要一点提示

所有内积分数为 0。

查看解析与答案

每个 query 得到所有 V 的等权平均。

练习 2 · 边界与辨析

n=2、m=3、d=4、d_v=5,分数与输出形状?

需要一点提示

分别对应匹配和取内容。

查看解析与答案

分数 2×3,输出 2×5。

练习 3 · 变式与迁移

本例只允许访问第二个 key,输出是多少?

需要一点提示

唯一合法权重为 1。

查看解析与答案

输出 [[6]]。

继续深入这个专题

本站例子、推导与教学代码独立编写。以下是相关教材、作者论文或官方文档,可继续核对定义、证明与更完整的工程实现。

NVIDIA · CUDA Best Practices GuideFlashAttention 原论文Dive into Deep Learning · 注意力

理解之后,继续递进

能解释手算中的每一步,并独立完成迁移题后,再标记掌握。