01先把问题说具体
神经网络反复调用的 GEMM,和普通矩阵乘法究竟是什么关系?旧输出矩阵为什么也会参与计算?
02一步步得到方法
先把接口的数学语义算清
GEMM 表示通用矩阵乘法,典型操作 C_new=αop(A)op(B)+βC_old,其中 op 可以是原矩阵或转置。若 op(A) 是 m×k、op(B) 是 k×n,那么 C 必须为 m×n。
α 缩放新乘积,β 控制旧 C 的贡献;β=0 表示覆盖,β=1 表示累加。本课参考实现不带转置标志,要求传入已经具有正确形状的 A、B、C,避免把布局选项和数学语义混在一起。
GPU 如何分配工作
常见实现把输出 C 分成小块,一个线程块负责一块。沿 k 方向分批加载 A、B 子块到共享存储,多次复用,再把局部乘加结果累积在寄存器中,最后写回。
不同线程的加载应尽量合并访存,并根据数据类型使用向量指令或矩阵乘加单元。线程块大小、寄存器压力、共享内存和硬件矩阵单元共同影响速度;它们不改变输出定义。
计算精度与速度必须分开验证
输入可以是低精度,乘积累加可能采用更高精度。混合精度通常改变舍入误差行为;只写“FP16”不足以说明乘法、累加和输出各自的精度。
经典 GEMM 通常按约 2mkn 次浮点操作估算规模,再结合实际时间计算吞吐。小矩阵可能受启动开销主导,非连续布局也会影响性能。下面只是 CPU 数值参考,不报告 GPU 吞吐。
03把一个小例子完全算清楚
A=[[1,2]],B=[[3],[4]],C_old=[[5]],α=2,β=3。
| 步骤 | 计算与状态 | 为什么这样做 |
|---|---|---|
| 乘积 | AB=[[11]] | 1×3+2×4 |
| 缩放 | αAB=[[22]],βC=[[15]] | 两个系数分别作用 |
| 相加 | C_new=[[37]] | 形状保持 1×1 |
窄屏可左右滑动表格,阅读完整计算与理由。
得到 [[37]];若 β=0,则旧 C 不贡献数值。
04为什么这个方法成立
- 矩阵乘法内层求和得到 AB 的每个元素。
- 对同一输出元素应用 α 与 β 的线性组合,恰好满足接口定义。
- 分块并行实现的验证目标相同,但浮点次序与精度变化通常需要容差比较。
05把推导翻译成代码
Python · GEMM 数值参考,不包含 GPU 内核
def gemm_reference(A,B,C,alpha=1.0,beta=0.0):
if not A or not B or not A[0] or not B[0]:
raise ValueError("nonempty input required")
m,k,n = len(A),len(A[0]),len(B[0])
if len(B)!=k or any(len(r)!=k for r in A) or any(len(r)!=n for r in B):
raise ValueError("A and B shapes do not align")
if len(C)!=m or any(len(r)!=n for r in C):
raise ValueError("C shape mismatch")
return [[alpha*sum(A[i][p]*B[p][j] for p in range(k))+beta*C[i][j]
for j in range(n)] for i in range(m)]
print(gemm_reference([[1,2]],[[3],[4]],[[5]],2,3))逐个理解关键决定
alpha*sum- α 缩放完整内积,不能误用成只乘某一项。
beta*C[i][j]- 读取旧输出的相同位置,本函数返回新矩阵,不修改原输入。
C shape mismatch- 广播不是这个基础 GEMM 接口的一部分。
06时间、空间与实现范围
经典算术量 O(mkn),另有 O(mn) 的输出缩放与相加,输出空间 O(mn)。
实际 GPU 内核需要不同层级的存储预算,算术复杂度无法单独预测带宽与吞吐。
07改变条件,检查哪里会出错
转置与内存布局是同一件事
数学转置改变索引含义;行主序、列主序和步长描述数据存储,两者有关但不能混为一谈。
参考 Python 速度代表 GPU 性能
参考实现用于验证数值,GPU 性能需要在实际设备上测量。
08从手算到独立迁移
先写出自己的结果和理由,再展开提示或解析。三题依次检查具体执行、边界条件和方法迁移。
β=1、α=1 的语义是什么?
需要一点提示
观察旧 C 的系数。
查看解析与答案
C_new=AB+C_old,在已有结果上继续累加。
A 为 4×3,B 为 3×5,C 应是什么形状?
需要一点提示
输出外侧维度。
查看解析与答案
4×5。
同一 GEMM 两个实现结果微小不同一定是错误吗?
需要一点提示
检查累加顺序与精度。
查看解析与答案
不一定,应根据精度与误差目标设容差,同时排除形状和索引错误。
继续深入这个专题
本站例子、推导与教学代码独立编写。以下是相关教材、作者论文或官方文档,可继续核对定义、证明与更完整的工程实现。
NVIDIA · CUDA Best Practices GuideFlashAttention 原论文Dive into Deep Learning · 注意力