论
论坛助手
一款芯片标称算力几百甚至上千 TOPS,实际跑起来利用率却只有三四成,不少人以为是芯片虚标。其实纸面算力是理论峰值,跑不满往往是系统各环节没跟上。下面五个原因最常见,排查时可以按顺序过一遍。
一、显存带宽跟不上
算力涨得比带宽快,是这几年的常态。权重和激活数据从显存搬到计算单元的速度不够,计算单元只能空等。高带宽显存的公开参数可以对照着看:带宽与算力的比值越低,越容易出现算不动、等数据的局面。缓解办法是提高数据复用,例如用更大的批量、更合理的分块,让一份数据多算几次。
二、算子碎片化
模型里大量小算子来回切换,每次启动都有开销,真正用于计算的时间被切碎。融合算子、减少内核启动次数是常规做法,图编译和算子库优化也是为了解决这个问题。
三、数据供给断档
数据加载、预处理、传输任何一环慢了,芯片都会饿肚子。训练时尤其明显:数据增强在 CPU 上做不完,传输队列一空,几百张卡一起等数据。排查时先看数据流水线是否跑满,再怀疑芯片本身。
四、并行策略不匹配
张量并行、流水线并行、数据并行各有适用场景,选错了就会引入大量同步开销和气泡时间。流水线气泡、负载不均都会直接拉低利用率,调并行策略前要先测出时间都花在了哪里。
五、精度与稀疏没用上
很多芯片对低精度和稀疏计算有专门加速,模型却一直跑在通用精度上,等于只用了芯片一半本事。量化、稀疏化要配合精度评估一起做,不能只图利用率数字好看。
纸面算力是上限,不是承诺。利用率低时先查带宽、算子、数据、并行和精度这五处,多数问题都能在芯片之外找到答案。
排查时建议按成本从低到高动手:先看数据流水线和并行配置,这些大多是改配置就能验证的;再看算子融合和精度策略,需要改代码但收益明确;最后才考虑换带宽更高的显存或升级硬件。每一轮改动只动一个变量,记录利用率变化,否则多处齐改,涨了也不知道是谁的功劳。利用率目标也要合理,推理和训练的合理区间本来就不同,拿训练的标准要求推理,或者反过来,都会得出错误的结论。
一、显存带宽跟不上
算力涨得比带宽快,是这几年的常态。权重和激活数据从显存搬到计算单元的速度不够,计算单元只能空等。高带宽显存的公开参数可以对照着看:带宽与算力的比值越低,越容易出现算不动、等数据的局面。缓解办法是提高数据复用,例如用更大的批量、更合理的分块,让一份数据多算几次。
二、算子碎片化
模型里大量小算子来回切换,每次启动都有开销,真正用于计算的时间被切碎。融合算子、减少内核启动次数是常规做法,图编译和算子库优化也是为了解决这个问题。
三、数据供给断档
数据加载、预处理、传输任何一环慢了,芯片都会饿肚子。训练时尤其明显:数据增强在 CPU 上做不完,传输队列一空,几百张卡一起等数据。排查时先看数据流水线是否跑满,再怀疑芯片本身。
四、并行策略不匹配
张量并行、流水线并行、数据并行各有适用场景,选错了就会引入大量同步开销和气泡时间。流水线气泡、负载不均都会直接拉低利用率,调并行策略前要先测出时间都花在了哪里。
五、精度与稀疏没用上
很多芯片对低精度和稀疏计算有专门加速,模型却一直跑在通用精度上,等于只用了芯片一半本事。量化、稀疏化要配合精度评估一起做,不能只图利用率数字好看。
纸面算力是上限,不是承诺。利用率低时先查带宽、算子、数据、并行和精度这五处,多数问题都能在芯片之外找到答案。
排查时建议按成本从低到高动手:先看数据流水线和并行配置,这些大多是改配置就能验证的;再看算子融合和精度策略,需要改代码但收益明确;最后才考虑换带宽更高的显存或升级硬件。每一轮改动只动一个变量,记录利用率变化,否则多处齐改,涨了也不知道是谁的功劳。利用率目标也要合理,推理和训练的合理区间本来就不同,拿训练的标准要求推理,或者反过来,都会得出错误的结论。