专题进阶 · AI 与 GPU推荐总顺序 · 第 138 / 148 课

沿数据依赖判断哪些操作可以融合,比较中间数组流量与资源代价。

先学会这些,再进入本课 通用矩阵乘 反向传播
还有 2 节先修课未标记掌握;已具备基础时可以直接学习,遇到障碍再沿链接补课。
专题详解 · AI 与 GPU

算子融合Kernel Fusion

把相邻操作合在同一个核内,减少启动与中间张量访存,但寄存器压力可能增加。

建议 40 分钟 · 含手算、代码与三层练习

本课要建立的能力

沿数据依赖判断哪些操作可以融合,比较中间数组流量与资源代价。

先手算,再对照代码;理解为什么成立,最后用改变条件的练习检查迁移能力。

01先把问题说具体

连续执行乘法、加偏置、ReLU,为什么几个很短的 GPU 操作也可能花很多时间?

02一步步得到方法

先画出数据要经过哪些数组

计算 t₁=a*x,t₂=t₁+b,y=max(0,t₂)。若分别启动三个逐元素内核,两个中间结果可能写到全局显存,再由下一内核读回;每个内核还要支付启动与调度开销。

融合后,一个线程读取自己的 x,计算乘法、加法、截断,再只写最终 y。中间标量可以留在寄存器,数学依赖没有变化,减少的是显存往返和启动次数。

用明确假设比较流量

假设 a、b 是统一标量、无缓存复用、每个数组元素等宽,分离版本对 n 项约有 3n 次数组读取和 3n 次写入;融合版本约 n 次读取和 n 次写入。这个简单计数忽略缓存、标量加载和编译器已有融合,适合说明机会而非给出实测速度比。

如果中间 t₁ 还被另一个分支使用,它可能仍需保存,或选择重计算。融合边界必须考虑整个计算图的消费者,而不只是当前直线链。

为什么不能把所有操作都揉成一个内核

融合可能增加寄存器占用、降低并发线程数量,还可能遇到跨线程块同步需求。矩阵乘法的 tile 与后续逐元素操作适合某些 epilogue 融合,但全局归约会带来额外依赖。

下面 Python 代码用一遍遍历展示同样的计算语义,并与分离版本比较;这不是 GPU 编译器,也没有验证任何设备上的加速倍数。

03把一个小例子完全算清楚

x=[−2,0,3],a=2,b=1。

步骤计算与状态为什么这样做
分离乘法t₁=[−4,0,6]产生第一份中间数组
分离加法t₂=[−3,1,7]产生第二份中间数组
ReLU 或融合输出y=[0,1,7]只需保留最终结果

窄屏可左右滑动表格,阅读完整计算与理由。

两种实现结果相同;融合形式可以避免两份完整中间数组。

04为什么这个方法成立

  1. 对每个位置 i,三个操作只依赖 xᵢ 与常量 a、b,不依赖其他位置。
  2. 将局部表达式直接代入,得到 yᵢ=max(0,a xᵢ+b),因此在实数算术下语义等价。
  3. 浮点编译器可能使用融合乘加,舍入点随之改变;验证时需要结合精度目标。

05把推导翻译成代码

Python · 融合前后语义对照

def separated(values,a,b):
    multiplied = [a*x for x in values]
    shifted = [x+b for x in multiplied]
    return [max(0,x) for x in shifted]

def fused_reference(values,a,b):
    return [max(0,a*x+b) for x in values]

print(fused_reference([-2,0,3],2,1))

逐个理解关键决定

multiplied
分离版本需要存放完整中间结果。
max(0,a*x+b)
同一个元素的整段依赖在一次迭代中完成。
values
融合不改变输入索引,广播或形状变化需另外推导。

06时间、空间与实现范围

两者算术量都是 O(n),融合参考只需要 O(n) 输出,分离版另存两份 O(n) 中间数组。

GPU 性能受带宽、启动开销和资源占用共同影响;不能把内存流量减少倍数直接等同于运行时间加速倍数。

07改变条件,检查哪里会出错

融合总能更快

资源压力、同步需求或已有编译优化可能抵消收益。

只检查最终形状

还要比较数值、掩码、广播、精度与异常值语义。

08从手算到独立迁移

先写出自己的结果和理由,再展开提示或解析。三题依次检查具体执行、边界条件和方法迁移。

练习 1 · 复现与理解

如果 t₁ 还要返回给用户,还能完全省去它吗?

需要一点提示

它已经成为输出的一部分。

查看解析与答案

不能直接省去,除非改变接口或在需要时重新计算。

练习 2 · 边界与辨析

为什么逐元素链特别容易融合?

需要一点提示

各位置之间没有依赖。

查看解析与答案

每个线程可独立完成自身元素,不需全局同步。

练习 3 · 变式与迁移

ReLU 与求全数组和的融合有什么新问题?

需要一点提示

求和需要跨位置汇总。

查看解析与答案

必须设计归约与同步,不能只把三个标量表达式接起来。

继续深入这个专题

本站例子、推导与教学代码独立编写。以下是相关教材、作者论文或官方文档,可继续核对定义、证明与更完整的工程实现。

NVIDIA · CUDA Best Practices GuideFlashAttention 原论文Dive into Deep Learning · 注意力

理解之后,继续递进

能解释手算中的每一步,并独立完成迁移题后,再标记掌握。