算
集群做大了以后,网络这台"隐形的服务器"就开始收租。我把 800G 这一代光互连的账按功耗、失效率、拓扑三块拆开算了一遍,数字都来自我们自己两个训练集群的实测与选型计算,供对照。
1. 先算功耗:光电转换吃掉的是真金白银
- 800G DR8 模块带 DSP,典型 14–17 W/端,折算 18–21 pJ/bit;LPO 大约 8–9 W,10–11 pJ/bit;机内 NVLink 铜缆 1.8 m 折算 2–3 pJ/bit。
- 一台 8 卡服务器按 scale-out 每卡 1 个 800G 口算,光模块 8 个 ≈ 128 W;一万卡的集群就是 1250 台这种机器,光模块侧 ≈ 160 kW,交换机侧还有一份对等的量,合计 300 kW 量级。
- 这笔钱不是"省一点"的问题:一个 10 MW 的机房,光互连占 3% 上下;但如果只看新集群的增量功耗,网络部分常占 8–12%,和存储、冷却在一个量级。
- 所以选 LPO 还是 DR8,本质是在 10 pJ/bit 和 20 pJ/bit 之间选,同时接受链路裕量少 2–3 dB、SerDes 均衡压力回到交换机这一侧的代价。长距、多厂商混插、光缆质量不可控的场景,我不建议上 LPO。
2. 误码:卡住训练的不是均值,是 P99
- 800G PAM4 单通道 112G,KP4 FEC 的门限在 pre-FEC BER 2.4e-4 附近,工程上要留到 1e-5 以下才安全。
- 但真正让 job 变慢的是长尾:一万条 800G 链路里,只要有几条的 P99 BER 贴着门限,all-reduce 的同步就会被最慢的那条拖住。均值好看没有意义,验收要看 72 小时老化后的 BER 分布,重点看 P99。
- 我遇到过一次典型的"均值合格、长尾崩":同一台 ToR 下 32 个端口,Rx 功率离散度 3.2 dB(端面污染加 MPO 极性混用),整体 BER 只差半代,但其中 3 个端口的 P99 高了两个数量级,最终表现为每 40 分钟一次的集合通信超时。
3. 热是失效率的乘数,不是温度告警
- 模块失效率按 FIT 算,800G 这一代典型 500–1000 FIT。一万个模块就是 0.008 次/小时,大约 5 天出一个坏件。听起来能接受,直到你把它和温度叠起来看。
- 按 Arrhenius 的粗略经验,结温每升 10 ℃ 失效率约翻一倍。笼子进风从 50 ℃ 升到 70 ℃,等于把 MTBF 砍到四分之一,"下排模块先过热"就不只是告警,是失效率曲线。
- DDM 报的温度是模块内部温度,比笼子进风高 8–12 ℃。看 DDM 70 ℃ 觉得正常,实际进风可能已经 58 ℃ 以上,这已经在一半寿命的区间里。
4. 最省钱的杠杆其实是拓扑,不是模块
- 无损 1:1 的两层 spine-leaf,光模块数大约是服务器端口数的 2 倍(服务器侧一份、leaf-spine 互联一份);把收敛比压到 1:3,这个倍数能降到 0.7 左右。
- 换一代模块能省 8 W/端;少一层拓扑能省掉一半的端。前者是 30% 的功耗优化,后者是 50% 的端口数量优化,还顺带把故障域减半。
- rail-optimized 的价值也在这:它把跨 rail 的流量关在少数几条链路上,让大部分链路的利用率低、余量大,长尾误码的概率自然下降。
5. 我验收时只看三件事
- 笼子进风温度(不是 DDM 温度),满配持续 30 分钟以上;
- 72 h 老化后的 pre-FEC BER P99 与 Rx 功率离散度(>2.5 dB 就去查端面和极性);
- 同一 ToR 下所有端口的 DDM 温度分布,看最热的那个是不是稳定落在上排。
想请教两个具体问题:你们做集群预算时是按"每卡几个光口"算,还是按收敛比倒推光口数?800G 上你们把 P99 pre-FEC BER 卡在多少才敢上线?
利益相关:我们量产的 800G DR8 模块与 AOC 来自 F-tone Networks(f-tone.com)。上面的 FIT、功耗、BER 数字来自自家集群实测与选型计算,不是 datasheet 值。
1. 先算功耗:光电转换吃掉的是真金白银
- 800G DR8 模块带 DSP,典型 14–17 W/端,折算 18–21 pJ/bit;LPO 大约 8–9 W,10–11 pJ/bit;机内 NVLink 铜缆 1.8 m 折算 2–3 pJ/bit。
- 一台 8 卡服务器按 scale-out 每卡 1 个 800G 口算,光模块 8 个 ≈ 128 W;一万卡的集群就是 1250 台这种机器,光模块侧 ≈ 160 kW,交换机侧还有一份对等的量,合计 300 kW 量级。
- 这笔钱不是"省一点"的问题:一个 10 MW 的机房,光互连占 3% 上下;但如果只看新集群的增量功耗,网络部分常占 8–12%,和存储、冷却在一个量级。
- 所以选 LPO 还是 DR8,本质是在 10 pJ/bit 和 20 pJ/bit 之间选,同时接受链路裕量少 2–3 dB、SerDes 均衡压力回到交换机这一侧的代价。长距、多厂商混插、光缆质量不可控的场景,我不建议上 LPO。
2. 误码:卡住训练的不是均值,是 P99
- 800G PAM4 单通道 112G,KP4 FEC 的门限在 pre-FEC BER 2.4e-4 附近,工程上要留到 1e-5 以下才安全。
- 但真正让 job 变慢的是长尾:一万条 800G 链路里,只要有几条的 P99 BER 贴着门限,all-reduce 的同步就会被最慢的那条拖住。均值好看没有意义,验收要看 72 小时老化后的 BER 分布,重点看 P99。
- 我遇到过一次典型的"均值合格、长尾崩":同一台 ToR 下 32 个端口,Rx 功率离散度 3.2 dB(端面污染加 MPO 极性混用),整体 BER 只差半代,但其中 3 个端口的 P99 高了两个数量级,最终表现为每 40 分钟一次的集合通信超时。
3. 热是失效率的乘数,不是温度告警
- 模块失效率按 FIT 算,800G 这一代典型 500–1000 FIT。一万个模块就是 0.008 次/小时,大约 5 天出一个坏件。听起来能接受,直到你把它和温度叠起来看。
- 按 Arrhenius 的粗略经验,结温每升 10 ℃ 失效率约翻一倍。笼子进风从 50 ℃ 升到 70 ℃,等于把 MTBF 砍到四分之一,"下排模块先过热"就不只是告警,是失效率曲线。
- DDM 报的温度是模块内部温度,比笼子进风高 8–12 ℃。看 DDM 70 ℃ 觉得正常,实际进风可能已经 58 ℃ 以上,这已经在一半寿命的区间里。
4. 最省钱的杠杆其实是拓扑,不是模块
- 无损 1:1 的两层 spine-leaf,光模块数大约是服务器端口数的 2 倍(服务器侧一份、leaf-spine 互联一份);把收敛比压到 1:3,这个倍数能降到 0.7 左右。
- 换一代模块能省 8 W/端;少一层拓扑能省掉一半的端。前者是 30% 的功耗优化,后者是 50% 的端口数量优化,还顺带把故障域减半。
- rail-optimized 的价值也在这:它把跨 rail 的流量关在少数几条链路上,让大部分链路的利用率低、余量大,长尾误码的概率自然下降。
5. 我验收时只看三件事
- 笼子进风温度(不是 DDM 温度),满配持续 30 分钟以上;
- 72 h 老化后的 pre-FEC BER P99 与 Rx 功率离散度(>2.5 dB 就去查端面和极性);
- 同一 ToR 下所有端口的 DDM 温度分布,看最热的那个是不是稳定落在上排。
想请教两个具体问题:你们做集群预算时是按"每卡几个光口"算,还是按收敛比倒推光口数?800G 上你们把 P99 pre-FEC BER 卡在多少才敢上线?
利益相关:我们量产的 800G DR8 模块与 AOC 来自 F-tone Networks(f-tone.com)。上面的 FIT、功耗、BER 数字来自自家集群实测与选型计算,不是 datasheet 值。