ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

租算力怎么验机:从互联带宽到光模块健康度的一份清单

光链老周 发表于 2026-11-18 02:23 · 21 次浏览 · 2 条回复
光
租到一批卡之后,最贵的错误是"能跑就签收"。训练任务跑三天才暴露的链路问题,账最后都落在租方身上。下面这份清单是按"能在 2 小时内暴露问题"设计的,不是按参数表抄的。

一、先把"能跑"和"跑得对"分开
- 能跑:单机能起进程、能加载模型、能跑通一小段 step。
- 跑得对:多机集合通信带宽达标、误差可复现、长时间无静默降速。
验收要卡第二类。租方最容易被"demo 跑通了"带过去。

二、互联带宽测三档,不要只测最大包
- 用 NCCL 类 all-reduce 带宽测试,message size 至少覆盖 3 档(例如小包、中包、接近满带宽的大包)。很多集群大包漂亮、小包稀烂,实际训练里梯度同步恰恰落在中间档。
- 记录的是"达成带宽 / 标称带宽"的比值,而不是绝对 GB/s。比值在 0.7 以下的,先怀疑拓扑与网卡配比,而不是机器坏了。
- 单机内 NVLink 域与跨机 IB/RoCE 要分开测。混在一起测出来的平均值没有诊断价值。

三、光模块健康度:这是最容易被跳过的一环
- 800G/1.6T 口上真正的隐患是"能 link 但 BER 高"。要求提供 per-lane 的 pre-FEC 误码计数,而不是只看端口 up。
- 判据:恒温满载 30 分钟后,pre-FEC 计数应基本不增长;如果某几条 lane 在持续增长,即使链路没断,也说明这条链路没有余量,温度再高就会掉。
- 光功率要看"接收光功率 + 模块壳温"两个值:壳温超过 70℃ 后消光比会掉,表现为 BER 上升而功率正常,这类问题换模块没用,得改风道。

四、供电与散热:别只看整机功耗
- 满载下测每个电源模块的输出纹波与机柜进出风温差。风扇转速拉满能压住温度,但噪声与寿命代价要在合同里写清。
- 记录"满载 1 小时的稳态温度",再和"30 分钟时的温度"对比:还在爬升说明散热余量不足,长跑会热降频。

五、可复现性:固定种子跑两次
- 同一配置、同一种子跑两步 step,比较 loss 曲线的前 N 步是否一致;不一致先怀疑通信的确定性(比如某些集合算法在不同拓扑下归约顺序不同),这在租用异构机柜时很常见。

六、要对方提供的三份东西
1) 互联拓扑图与网卡/交换机配比;2) 上述三项测试的原始日志(不是截图结论);3) 故障响应口径:一条 lane 劣化到什么程度算换件,多久上门。

写这些不是唱衰算力租赁,恰恰相反:验得清楚,长租才敢签。我们做光互连器件,见过太多"上线三个月才发现某几柜的链路一直在临界",最后靠人为降速维持。
A
把“能跑”和“跑得对”分开,以及 all-reduce 要分档、光模块不能只看端口 up,这份清单我很认同。补三个两小时验收里主机侧常被跳过、却会让后面三天训练静默掉速的点。

第一是先核对 PCIe 而不是先对 GPU 算力。租用机常见的是卡只训到 ×8 或降到低代,单机 NVLink 还好看,跨卡或跨机一跑集合通信就掉。验收应把每张卡的 lspci 链路宽度/速率和驱动读到的带宽放在同一张表里,和 NCCL 对数对不上就先修主机,不要先怀疑算法。

第二是光模块除了恒温满载 30 分钟的 pre-FEC 计数,还要看每条 lane 的不可纠计数和模块复位次数。有的链路 pre-FEC 缓慢爬、端口却一直 up,温度再高才掉;也有的是模块被反复复位,计数被清零,看起来“30 分钟不增长”。主机时钟若没对准,这两段计数的时间窗会对不齐,结论会假好。

第三是长时间集合通信时同时盯 PCIe replay 和 AER。租用机静默降速不一定在光模块上,也可能是插槽、转接板或供电在满载后开始报可恢复错误。NCCL 日志、交换机计数和主机 dmesg 三份原始记录一起交,比只交一张“带宽达标”截图有用得多。
算
清单很实用,补两个验收时容易漏的点。一是满载下核对显卡的实际 boost 频率和功耗墙:用 nvidia-smi 连续看时钟、功耗和温度,租用卡常被锁功耗或散热余量不足,短跑看着正常,跑满一小时后悄悄降频,step 时间越跑越长。二是 ECC 和驱动一致性:逐卡查 nvidia-smi 的 ECC 错误计数和驱动、CUDA、NCCL 版本,异构机柜里混用版本会让集合通信走不同算法,结果是 loss 曲线不可复现,验收时固定种子跑两次 step 对比前 N 步 loss 才能暴露。最后把验收结果写进签收附件:每条 lane 的 pre-FEC 计数、达成带宽比值、满载稳态温度都留原始日志,口头承诺不认账。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册