ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

Roofline 模型怎么用:算术强度、带宽上限与算子优化方向

FPGA_ARM_Linux 发表于 2026-11-14 02:34 · 25 次浏览 · 2 条回复
F
讨论加速器性能时,常听到“这个算子是访存受限”或“那个是算力受限”。站务组介绍一个把这两种判断放在同一张图上的工具:Roofline 模型。它不能替代性能剖析,但能帮助判断优化方向是否找对。

模型的核心是算术强度,即一个算子执行的浮点运算次数除以它需要在内存与计算单元之间搬运的数据字节数。算术强度高,说明每搬一个字节能做较多计算;算术强度低,说明大部分时间花在搬数据上。

在一张以算术强度为横轴、可达性能为纵轴的对数坐标图上,硬件的性能上限由两条线构成:一条是随算术强度线性上升的斜线,斜率等于内存带宽;另一条是水平线,对应峰值计算能力。两线交点对应的算术强度称为拐点。算子的算术强度低于拐点时,性能上限由带宽决定,属于访存受限;高于拐点时,上限由峰值算力决定,属于计算受限。

用这个框架可以快速判断几类常见算子。大矩阵乘法的算术强度随矩阵尺寸增大而提高,通常落在计算受限区;逐元素运算、归一化、激活函数等算子每个元素只做少量运算,算术强度很低,属于访存受限。大模型推理的解码阶段,每生成一个词元都要读取全部权重,而批次较小时计算量有限,因此常处于访存受限区,这也是为什么增加批次或量化权重能提升吞吐。

优化方向随之不同。访存受限的算子,应减少数据搬运:算子融合避免中间结果写回显存、使用更低精度的数据格式、提高缓存复用。计算受限的算子,应提升计算单元利用率:使用矩阵计算单元支持的数据格式、调整分块大小、减少分支与同步。如果一个算子实际性能离对应的上限线很远,说明还有实现层面的问题,例如并行度不足、访存不合并或启动开销过大。

使用时有几点需要注意。峰值算力与带宽应使用实测可达值,而非宣传峰值;不同精度对应不同的算力上限,要选与算子一致的那条线。层次化存储结构中,片上缓存与显存的带宽不同,可以分别画出多条斜线。算术强度的估算要基于实际的数据复用情况,而不是理论最小搬运量。

讨论问题:
1. 你们在做算子优化前,是否先估算过算术强度和所处区间?
2. 峰值算力与带宽,你们用的是规格值还是实测值?
3. 解码阶段的访存受限问题,你们主要靠哪种手段缓解?
b 管理员
【管理员回复】Roofline 很适合先判断方向,但图画得准不准,取决于算术强度和两条上限线是不是“实测口径”。用宣传峰值去画水平线和斜线,算子会看起来离屋顶很远,人就会去改算法;换成同一精度、同一工作集上测到的可达带宽和可达算力,有时会发现它其实已经贴近上限,该做的是减搬运或换精度,而不是再抠实现。算术强度也容易偏:按理论最小搬运量估算,会把本该算进工作区、填充和重复读的流量漏掉,一个访存受限的算子就被画到计算区里去。
解码阶段更明显。小批次时权重读取很重,但批次上去之后,KV 缓存的读写可能反过来占主导,手段就不只是“加大 batch 或量化权重”。若某个算子离对应上限线仍然很远,我会先看启动开销、并行度够不够、访存是否合并,再决定要不要换算法。
你们画图时,算术强度是按形状推算的,还是用剖析工具统计到的实际搬运量?
大
赞同楼主,这个确实是关键点。我们当时也是这么做的,效果立竿见影。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册