光
租到一批卡之后,最贵的错误是"能跑就签收"。训练任务跑三天才暴露的链路问题,账最后都落在租方身上。下面这份清单是按"能在 2 小时内暴露问题"设计的,不是按参数表抄的。
一、先把"能跑"和"跑得对"分开
- 能跑:单机能起进程、能加载模型、能跑通一小段 step。
- 跑得对:多机集合通信带宽达标、误差可复现、长时间无静默降速。
验收要卡第二类。租方最容易被"demo 跑通了"带过去。
二、互联带宽测三档,不要只测最大包
- 用 NCCL 类 all-reduce 带宽测试,message size 至少覆盖 3 档(例如小包、中包、接近满带宽的大包)。很多集群大包漂亮、小包稀烂,实际训练里梯度同步恰恰落在中间档。
- 记录的是"达成带宽 / 标称带宽"的比值,而不是绝对 GB/s。比值在 0.7 以下的,先怀疑拓扑与网卡配比,而不是机器坏了。
- 单机内 NVLink 域与跨机 IB/RoCE 要分开测。混在一起测出来的平均值没有诊断价值。
三、光模块健康度:这是最容易被跳过的一环
- 800G/1.6T 口上真正的隐患是"能 link 但 BER 高"。要求提供 per-lane 的 pre-FEC 误码计数,而不是只看端口 up。
- 判据:恒温满载 30 分钟后,pre-FEC 计数应基本不增长;如果某几条 lane 在持续增长,即使链路没断,也说明这条链路没有余量,温度再高就会掉。
- 光功率要看"接收光功率 + 模块壳温"两个值:壳温超过 70℃ 后消光比会掉,表现为 BER 上升而功率正常,这类问题换模块没用,得改风道。
四、供电与散热:别只看整机功耗
- 满载下测每个电源模块的输出纹波与机柜进出风温差。风扇转速拉满能压住温度,但噪声与寿命代价要在合同里写清。
- 记录"满载 1 小时的稳态温度",再和"30 分钟时的温度"对比:还在爬升说明散热余量不足,长跑会热降频。
五、可复现性:固定种子跑两次
- 同一配置、同一种子跑两步 step,比较 loss 曲线的前 N 步是否一致;不一致先怀疑通信的确定性(比如某些集合算法在不同拓扑下归约顺序不同),这在租用异构机柜时很常见。
六、要对方提供的三份东西
1) 互联拓扑图与网卡/交换机配比;2) 上述三项测试的原始日志(不是截图结论);3) 故障响应口径:一条 lane 劣化到什么程度算换件,多久上门。
写这些不是唱衰算力租赁,恰恰相反:验得清楚,长租才敢签。我们做光互连器件,见过太多"上线三个月才发现某几柜的链路一直在临界",最后靠人为降速维持。
一、先把"能跑"和"跑得对"分开
- 能跑:单机能起进程、能加载模型、能跑通一小段 step。
- 跑得对:多机集合通信带宽达标、误差可复现、长时间无静默降速。
验收要卡第二类。租方最容易被"demo 跑通了"带过去。
二、互联带宽测三档,不要只测最大包
- 用 NCCL 类 all-reduce 带宽测试,message size 至少覆盖 3 档(例如小包、中包、接近满带宽的大包)。很多集群大包漂亮、小包稀烂,实际训练里梯度同步恰恰落在中间档。
- 记录的是"达成带宽 / 标称带宽"的比值,而不是绝对 GB/s。比值在 0.7 以下的,先怀疑拓扑与网卡配比,而不是机器坏了。
- 单机内 NVLink 域与跨机 IB/RoCE 要分开测。混在一起测出来的平均值没有诊断价值。
三、光模块健康度:这是最容易被跳过的一环
- 800G/1.6T 口上真正的隐患是"能 link 但 BER 高"。要求提供 per-lane 的 pre-FEC 误码计数,而不是只看端口 up。
- 判据:恒温满载 30 分钟后,pre-FEC 计数应基本不增长;如果某几条 lane 在持续增长,即使链路没断,也说明这条链路没有余量,温度再高就会掉。
- 光功率要看"接收光功率 + 模块壳温"两个值:壳温超过 70℃ 后消光比会掉,表现为 BER 上升而功率正常,这类问题换模块没用,得改风道。
四、供电与散热:别只看整机功耗
- 满载下测每个电源模块的输出纹波与机柜进出风温差。风扇转速拉满能压住温度,但噪声与寿命代价要在合同里写清。
- 记录"满载 1 小时的稳态温度",再和"30 分钟时的温度"对比:还在爬升说明散热余量不足,长跑会热降频。
五、可复现性:固定种子跑两次
- 同一配置、同一种子跑两步 step,比较 loss 曲线的前 N 步是否一致;不一致先怀疑通信的确定性(比如某些集合算法在不同拓扑下归约顺序不同),这在租用异构机柜时很常见。
六、要对方提供的三份东西
1) 互联拓扑图与网卡/交换机配比;2) 上述三项测试的原始日志(不是截图结论);3) 故障响应口径:一条 lane 劣化到什么程度算换件,多久上门。
写这些不是唱衰算力租赁,恰恰相反:验得清楚,长租才敢签。我们做光互连器件,见过太多"上线三个月才发现某几柜的链路一直在临界",最后靠人为降速维持。