专题进阶 · AI 与 GPU推荐总顺序 · 第 139 / 148 课

通过分块转置理解合并访存、共享内存、同步和边界线程。

先学会这些,再进入本课 分块 并行归约
还有 2 节先修课未标记掌握;已具备基础时可以直接学习,遇到障碍再沿链接补课。
专题详解 · AI 与 GPU

内存分块Memory Tiling

把复用的数据块放入更快的存储层,兼顾合并访问、同步和资源占用。

建议 45 分钟 · 含手算、代码与三层练习

本课要建立的能力

通过分块转置理解合并访存、共享内存、同步和边界线程。

先手算,再对照代码;理解为什么成立,最后用改变条件的练习检查迁移能力。

01先把问题说具体

矩阵转置时,输入连续读取对应输出跨行写入,怎样通过小块中转让两端都更容易连续访问?

02一步步得到方法

先区分三种存储角色

全局显存容量大但访问代价相对高;线程块共享内存容量小、可由块内线程协作访问;寄存器保存线程自己的局部状态。把全局块搬到共享内存,再重排访问次序,是常见的 memory tiling 思路。

行主序矩阵中,同一行相邻元素地址相邻。若相邻线程读相邻地址,硬件更容易合并为较少的内存事务。转置直接写 Aᵀ[j][i] 时,线程沿输入行移动可能对应输出跨行写入。

共享块作为索引转换中间层

先让线程按连续输入方向读取 tile[local_row][local_col],同步后,再按另一种线程映射读取 tile 的转置方向,并沿连续输出方向写回。共享内存让读取与写入的映射分开组织。

多个线程写完共享块后需要块内同步,才能让其他线程安全读取。部分边界线程没有合法数据时,也不能随意提前退出一个要求全块参与的屏障;应条件加载、共同同步、条件写回。

块大小、银行冲突与验证边界

共享内存通常分为多个 bank,特定步长的访问可能形成冲突。经典方块转置常为 tile 增加一列填充以改变映射,但具体效果依赖架构、元素宽度和访问模式,不能把某个 padding 当作普适定律。

下面用 Python 二维列表模拟块加载与转置写回,专门验证索引和边界。它没有真正的线程、屏障、共享内存 bank 或 GPU 计时,硬件性能仍需实际内核与分析工具验证。

03把一个小例子完全算清楚

A=[[1,2,3],[4,5,6]],块大小 2。

步骤计算与状态为什么这样做
加载左块[[1,2],[4,5]]模拟共享块中的原方向
转置写回输出前两行 [[1,4],[2,5]]交换块内行列索引
处理右侧尾块[[3],[6]]→输出 [3,6]不足整块也必须覆盖

窄屏可左右滑动表格,阅读完整计算与理由。

转置结果 [[1,4],[2,5],[3,6]],形状从 2×3 变为 3×2。

04为什么这个方法成立

  1. 每个输入 (i,j) 仅属于一个块,加载后保存在唯一块内位置。
  2. 写回把该元素放到输出 (j,i),这正是转置定义。
  3. min 截断覆盖尾块且不越界;并行实现还必须额外满足线程通信与同步的正确性。

05把推导翻译成代码

Python · GPU 分块转置的索引模拟

def tiled_transpose(A,block=2):
    if block<1 or not A or not A[0]:
        raise ValueError("nonempty matrix and positive block required")
    rows,cols = len(A),len(A[0])
    if any(len(row)!=cols for row in A):
        raise ValueError("rectangular matrix required")
    output = [[0]*rows for _ in range(cols)]
    for row in range(0,rows,block):
        for col in range(0,cols,block):
            height,width = min(block,rows-row),min(block,cols-col)
            tile = [[A[row+i][col+j] for j in range(width)] for i in range(height)]
            for j in range(width):
                for i in range(height):
                    output[col+j][row+i] = tile[i][j]
    return output

print(tiled_transpose([[1,2,3],[4,5,6]],2))

逐个理解关键决定

height,width
两个方向分别截断,矩形尾块不一定是正方形。
tile = [[A[row+i][col+j]
完整块先读入,模拟加载完成后的共享数据状态。
output[col+j][row+i]
不仅交换块内坐标,还要交换全局块的行列起点。

06时间、空间与实现范围

总工作 O(mn),输出 O(mn),临时块最多 O(block²) 空间。

真实 GPU 块大小受共享存储、寄存器与线程上限约束,合并访存和 bank 冲突属于硬件成本而非大 O 算术量。

07改变条件,检查哪里会出错

只交换块内坐标

若忘记交换全局块位置,大矩阵转置会把块放错地方。

边界线程在屏障前提前退出

其他线程可能无法完成所需同步,实际 GPU 内核要遵守屏障参与规则。

08从手算到独立迁移

先写出自己的结果和理由,再展开提示或解析。三题依次检查具体执行、边界条件和方法迁移。

练习 1 · 复现与理解

2×5 输入转置后形状是什么?

需要一点提示

交换行列。

查看解析与答案

5×2。

练习 2 · 边界与辨析

为什么 tile 有时要额外填充一列?

需要一点提示

考虑按列访问时的存储步长。

查看解析与答案

改变共享内存地址到 bank 的映射,可能减少冲突,但需按硬件条件验证。

练习 3 · 变式与迁移

如何检查索引实现最容易漏掉的边界?

需要一点提示

选择不整除块大小的矩形。

查看解析与答案

例如 3×5、block=2,并与普通转置逐项比较。

继续深入这个专题

本站例子、推导与教学代码独立编写。以下是相关教材、作者论文或官方文档,可继续核对定义、证明与更完整的工程实现。

NVIDIA · CUDA Best Practices GuideFlashAttention 原论文Dive into Deep Learning · 注意力

理解之后,继续递进

能解释手算中的每一步,并独立完成迁移题后,再标记掌握。