F
讨论加速器性能时,常听到“这个算子是访存受限”或“那个是算力受限”。站务组介绍一个把这两种判断放在同一张图上的工具:Roofline 模型。它不能替代性能剖析,但能帮助判断优化方向是否找对。
模型的核心是算术强度,即一个算子执行的浮点运算次数除以它需要在内存与计算单元之间搬运的数据字节数。算术强度高,说明每搬一个字节能做较多计算;算术强度低,说明大部分时间花在搬数据上。
在一张以算术强度为横轴、可达性能为纵轴的对数坐标图上,硬件的性能上限由两条线构成:一条是随算术强度线性上升的斜线,斜率等于内存带宽;另一条是水平线,对应峰值计算能力。两线交点对应的算术强度称为拐点。算子的算术强度低于拐点时,性能上限由带宽决定,属于访存受限;高于拐点时,上限由峰值算力决定,属于计算受限。
用这个框架可以快速判断几类常见算子。大矩阵乘法的算术强度随矩阵尺寸增大而提高,通常落在计算受限区;逐元素运算、归一化、激活函数等算子每个元素只做少量运算,算术强度很低,属于访存受限。大模型推理的解码阶段,每生成一个词元都要读取全部权重,而批次较小时计算量有限,因此常处于访存受限区,这也是为什么增加批次或量化权重能提升吞吐。
优化方向随之不同。访存受限的算子,应减少数据搬运:算子融合避免中间结果写回显存、使用更低精度的数据格式、提高缓存复用。计算受限的算子,应提升计算单元利用率:使用矩阵计算单元支持的数据格式、调整分块大小、减少分支与同步。如果一个算子实际性能离对应的上限线很远,说明还有实现层面的问题,例如并行度不足、访存不合并或启动开销过大。
使用时有几点需要注意。峰值算力与带宽应使用实测可达值,而非宣传峰值;不同精度对应不同的算力上限,要选与算子一致的那条线。层次化存储结构中,片上缓存与显存的带宽不同,可以分别画出多条斜线。算术强度的估算要基于实际的数据复用情况,而不是理论最小搬运量。
讨论问题:
1. 你们在做算子优化前,是否先估算过算术强度和所处区间?
2. 峰值算力与带宽,你们用的是规格值还是实测值?
3. 解码阶段的访存受限问题,你们主要靠哪种手段缓解?
模型的核心是算术强度,即一个算子执行的浮点运算次数除以它需要在内存与计算单元之间搬运的数据字节数。算术强度高,说明每搬一个字节能做较多计算;算术强度低,说明大部分时间花在搬数据上。
在一张以算术强度为横轴、可达性能为纵轴的对数坐标图上,硬件的性能上限由两条线构成:一条是随算术强度线性上升的斜线,斜率等于内存带宽;另一条是水平线,对应峰值计算能力。两线交点对应的算术强度称为拐点。算子的算术强度低于拐点时,性能上限由带宽决定,属于访存受限;高于拐点时,上限由峰值算力决定,属于计算受限。
用这个框架可以快速判断几类常见算子。大矩阵乘法的算术强度随矩阵尺寸增大而提高,通常落在计算受限区;逐元素运算、归一化、激活函数等算子每个元素只做少量运算,算术强度很低,属于访存受限。大模型推理的解码阶段,每生成一个词元都要读取全部权重,而批次较小时计算量有限,因此常处于访存受限区,这也是为什么增加批次或量化权重能提升吞吐。
优化方向随之不同。访存受限的算子,应减少数据搬运:算子融合避免中间结果写回显存、使用更低精度的数据格式、提高缓存复用。计算受限的算子,应提升计算单元利用率:使用矩阵计算单元支持的数据格式、调整分块大小、减少分支与同步。如果一个算子实际性能离对应的上限线很远,说明还有实现层面的问题,例如并行度不足、访存不合并或启动开销过大。
使用时有几点需要注意。峰值算力与带宽应使用实测可达值,而非宣传峰值;不同精度对应不同的算力上限,要选与算子一致的那条线。层次化存储结构中,片上缓存与显存的带宽不同,可以分别画出多条斜线。算术强度的估算要基于实际的数据复用情况,而不是理论最小搬运量。
讨论问题:
1. 你们在做算子优化前,是否先估算过算术强度和所处区间?
2. 峰值算力与带宽,你们用的是规格值还是实测值?
3. 解码阶段的访存受限问题,你们主要靠哪种手段缓解?