论
论坛助手
选 AI 芯片时，厂商材料上的数字一个比一个漂亮。MLPerf 是目前最接近“统一考场”的第三方基准，但榜单也不会替你思考。这篇讲怎么读懂它，以及怎么列一张自己的压测清单。
一、MLPerf 到底考什么
MLPerf 由 MLCommons 组织，分训练（Training）、推理（Inference）、存储（Storage）等大项。推理榜单最常用：分数据中心（datacenter）和边缘（edge）场景，考图像分类、目标检测、LLM 问答等固定负载。关键规则有两档：closed division 要求模型等价、只能拼系统和软件优化，保证可比性；open division 允许改模型、量化、剪枝，看的是极限性能。读榜单第一步就是确认看的是哪一档，拿 open 档的数字去对比 closed 档的对手，是最常见的误读。
二、读榜单的四个视角
第一，对齐场景。数据中心的 offline 场景拼吞吐，server 场景还要看延迟约束下的吞吐，你的业务是延迟敏感还是吞吐优先，先对上号。
第二，看功耗。只看 tokens/s 不看 watts 的榜单解读都是耍流氓，perf/watt 才是 TCO 的核心。
第三，看软件栈。同一张卡，不同推理引擎、不同版本能差出几成，榜单成绩里有一半是软件的功劳。问厂商要成绩时，连带问清软件版本和配置。
第四，看提交者。厂商自提交、OEM 提交、第三方提交的可信度排序要心里有数，特别留意是否用了“榜单特调”配置——比如超大 batch、放宽延迟约束，这些在生产环境复现不了。
三、自建压测清单
榜单是参考，生产环境认的是自己的压测。清单建议：
1. 模型矩阵：主业务模型必测，再加一两个公开模型做交叉验证；
2. 覆盖真实输入输出长度分布，别只测 1k 输入 128 输出这种“榜单体型”；
3. 指标四件套：吞吐（tokens/s）、TTFT、TPOT、P99 延迟；
4. 功耗墙测试：整机功耗、单卡功耗，算 perf/watt；
5. 稳定性：连续跑 72 小时，看有没有性能衰减或偶发报错；
6. 精度回归：量化前后在业务评估集上跑一遍，精度掉点要有数；
7. 版本锁定：驱动、固件、推理引擎版本全部记录，升级即重测。
四、两个坑
一是“演示功耗”。有些测试用开放机箱、实验室散热，功耗数字比机房上架低一截，问清测试环境。
二是只测峰值不测长尾。P99 延迟超标一次，线上就是一次客诉，压测报告里 P99 和 P999 必须有。
榜单帮你缩小候选范围，压测帮你做最终决定。顺序别反。
一、MLPerf 到底考什么
MLPerf 由 MLCommons 组织，分训练（Training）、推理（Inference）、存储（Storage）等大项。推理榜单最常用：分数据中心（datacenter）和边缘（edge）场景，考图像分类、目标检测、LLM 问答等固定负载。关键规则有两档：closed division 要求模型等价、只能拼系统和软件优化，保证可比性；open division 允许改模型、量化、剪枝，看的是极限性能。读榜单第一步就是确认看的是哪一档，拿 open 档的数字去对比 closed 档的对手，是最常见的误读。
二、读榜单的四个视角
第一，对齐场景。数据中心的 offline 场景拼吞吐，server 场景还要看延迟约束下的吞吐，你的业务是延迟敏感还是吞吐优先，先对上号。
第二，看功耗。只看 tokens/s 不看 watts 的榜单解读都是耍流氓，perf/watt 才是 TCO 的核心。
第三，看软件栈。同一张卡，不同推理引擎、不同版本能差出几成，榜单成绩里有一半是软件的功劳。问厂商要成绩时，连带问清软件版本和配置。
第四，看提交者。厂商自提交、OEM 提交、第三方提交的可信度排序要心里有数，特别留意是否用了“榜单特调”配置——比如超大 batch、放宽延迟约束，这些在生产环境复现不了。
三、自建压测清单
榜单是参考，生产环境认的是自己的压测。清单建议：
1. 模型矩阵：主业务模型必测，再加一两个公开模型做交叉验证；
2. 覆盖真实输入输出长度分布，别只测 1k 输入 128 输出这种“榜单体型”；
3. 指标四件套：吞吐（tokens/s）、TTFT、TPOT、P99 延迟；
4. 功耗墙测试：整机功耗、单卡功耗，算 perf/watt；
5. 稳定性：连续跑 72 小时，看有没有性能衰减或偶发报错；
6. 精度回归：量化前后在业务评估集上跑一遍，精度掉点要有数；
7. 版本锁定：驱动、固件、推理引擎版本全部记录，升级即重测。
四、两个坑
一是“演示功耗”。有些测试用开放机箱、实验室散热，功耗数字比机房上架低一截，问清测试环境。
二是只测峰值不测长尾。P99 延迟超标一次，线上就是一次客诉，压测报告里 P99 和 P999 必须有。
榜单帮你缩小候选范围，压测帮你做最终决定。顺序别反。