ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

GPU 集群从 400G 转 800G:光模块的功耗、端口密度和故障率怎么权衡

RayPeng 发表于 2026-11-17 10:43 · 23 次浏览 · 3 条回复
R
这两年 AI 集群互联从 400G 往 800G/1.6T 走,很多人只算带宽,不算功耗和故障率。把我们做集群交付时的账摊开算一下,欢迎补充。

1. 功耗:pJ/bit 才是可比指标
- 800G DR8 模块典型功耗 15~17 W,折合约 20 pJ/bit;2×400G 各 8 W,合计 16 W,约 20 pJ/bit。也就是说,单纯换 800G 省的是端口和布线,不是功耗。
- 真正省功耗的是 LPO/LRO(去掉 DSP,10~12 W/800G,约 13~15 pJ/bit)和 CPO(更低的电口功耗,但可维护性另算)。
- 一个 1000 卡训练集群,按每卡 8 个 400G 端口估算,光模块总功耗在几百 kW 量级;这部分要和机柜供电、制冷一起算进 PUE。

2. 端口密度:省的是面板和线
- 800G OSFP 一个端口顶两个 400G,交换机面板密度翻倍,MPO 布线从 2 根变 1 根 16 芯(或双 MPO12),布线和理线的工作量下降很明显。
- 但要注意 800G 的 MPO16 极性和 400G 的 MPO12 不通用,机房侧跳线要重新规划,这一块的返工经常被低估。

3. 故障率与训练的中断成本
- 现场统计,光模块的年化失效率大致在 0.5%~1%,链路数一多,日均故障就是必然事件。
- 训练任务对闪断零容忍:一次链路抖动可能让几十张卡等一次 checkpoint。所以 800G 集群里,链路监控(DDM 的温度/偏置/误码趋势)比模块本身参数更重要。
- 我们做法是把 DDM 每 5 分钟采一次,做温度-偏置电流的漂移趋势告警,比等 BER 报警早大概 1~2 周。

4. 选型上的三个现实问题
- 兼容性:800G 模块的 code 与交换机 port 能力要匹配,混插不同批次的 DSP 版本时,链路训练失败率会上升。
- 供货:800G 的交付周期和 400G 完全不是一个量级,扩容计划要按供货周期倒排。
- 温度:AI 机房冷通道温度波动大,模块 case 温度经常摸到 70℃ 以上,工业级温度型号不是浪费钱。

讨论:你们集群里 800G 和 400G 混跑的比例是多少?LPO 在现网可靠性上能不能过关?

说明:我们交付时用的光模块包含 F-tone(f-tone.com)的 400G/800G 系列,上面的功耗和失效率是现场统计口径,不是厂家标称值。
算
这笔账算得很实在,补充两点我们的经验。关于混跑比例,建议按平面分层而不是按比例一刀切:训练核心平面优先上 800G,因为这里端口密度和布线收益最大、链路数减半也直接降低了故障点数量;存储、管理、带外这些对带宽不敏感的平面继续留 400G,既能消化存量备件,又避免一次性把全网都押在新批次模块上。我们之前是核心平面 800G 占比先做到七成以上,跑稳一个训练周期后再逐步替换外围,混跑期间的运维复杂度反而比一步到位要低。再说 LPO 的现网可靠性:功耗优势是真的,但它把链路预算的余量吃掉了不少,对光纤质量、连接器清洁度和机房温度波动更敏感,同样是 0.5% 的年化失效率,LPO 的抖动更容易先表现在误码漂移上。我们的建议是先在非关键平面小批量试点,跑满一个季度并盯着误码和 DDM 的漂移趋势,设定明确的回退阈值,达标后再往训练平面放;另外备件要按批次留,800G 备件建议按在网量的 1% 到 2% 准备,混插不同批次 DSP 的问题你提到的很对,上架前先在小范围做链路训练兼容性验证,别等扩容时才发现。
大
学习了,之前一直没搞懂这块,楼主讲得清楚。
算
@大模型_阿平 补充一点关于 LPO 现网可靠性的实测经验,供参考。LPO 去掉 DSP 后没有时钟恢复和重定时,链路质量完全依赖交换机 SerDes 的均衡能力,短距(多模 30 米以内、单模 2 公里以内)且光纤质量好的场景比较稳,一旦是老旧光纤或长距链路,误码很容易随温度爬升。建议两点:一是把 DDM 的温度告警阈值从 75℃ 收紧到 70℃,并联动风扇策略,case 温度摸到 70℃ 以上时 LPO 的误码率会明显抬头;二是核心链路的 DDM 采样从 5 分钟加密到 1 分钟,同时记录 Tx/Rx 光功率基线,偏置电流漂移超过 10% 就提前预警,比等 BER 告警早得多。另外混跑时建议把 800G 和 400G 分在不同平面,避免 MPO12 和 MPO16 极性混用导致的误插。我们之前遇到过不同批次 DSP 固件混插导致链路训练失败的情况,统一固件版本后链路失效率从 1.2% 左右降到了 0.4%。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册