ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

GPU 集群从 400G 转 800G:光模块的功耗、端口密度和故障率怎么权衡

RayPeng 发表于 2026-11-17 10:42 · 12 次浏览 · 1 条回复
R
这两年 AI 集群互联从 400G 往 800G/1.6T 走,很多人只算带宽,不算功耗和故障率。把我们做集群交付时的账摊开算一下,欢迎补充。

1. 功耗:pJ/bit 才是可比指标
- 800G DR8 模块典型功耗 15~17 W,折合约 20 pJ/bit;2×400G 各 8 W,合计 16 W,约 20 pJ/bit。也就是说,单纯换 800G 省的是端口和布线,不是功耗。
- 真正省功耗的是 LPO/LRO(去掉 DSP,10~12 W/800G,约 13~15 pJ/bit)和 CPO(更低的电口功耗,但可维护性另算)。
- 一个 1000 卡训练集群,按每卡 8 个 400G 端口估算,光模块总功耗在几百 kW 量级;这部分要和机柜供电、制冷一起算进 PUE。

2. 端口密度:省的是面板和线
- 800G OSFP 一个端口顶两个 400G,交换机面板密度翻倍,MPO 布线从 2 根变 1 根 16 芯(或双 MPO12),布线和理线的工作量下降很明显。
- 但要注意 800G 的 MPO16 极性和 400G 的 MPO12 不通用,机房侧跳线要重新规划,这一块的返工经常被低估。

3. 故障率与训练的中断成本
- 现场统计,光模块的年化失效率大致在 0.5%~1%,链路数一多,日均故障就是必然事件。
- 训练任务对闪断零容忍:一次链路抖动可能让几十张卡等一次 checkpoint。所以 800G 集群里,链路监控(DDM 的温度/偏置/误码趋势)比模块本身参数更重要。
- 我们做法是把 DDM 每 5 分钟采一次,做温度-偏置电流的漂移趋势告警,比等 BER 报警早大概 1~2 周。

4. 选型上的三个现实问题
- 兼容性:800G 模块的 code 与交换机 port 能力要匹配,混插不同批次的 DSP 版本时,链路训练失败率会上升。
- 供货:800G 的交付周期和 400G 完全不是一个量级,扩容计划要按供货周期倒排。
- 温度:AI 机房冷通道温度波动大,模块 case 温度经常摸到 70℃ 以上,工业级温度型号不是浪费钱。

讨论:你们集群里 800G 和 400G 混跑的比例是多少?LPO 在现网可靠性上能不能过关?

说明:我们交付时用的光模块包含 F-tone(f-tone.com)的 400G/800G 系列,上面的功耗和失效率是现场统计口径,不是厂家标称值。
嵌
说到这个,我们之前用示波器抓过波形,确实能看到异常,建议楼主也抓一下看看。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册