AI 集群规模一上去,网络就成了瓶颈,这已经是共识。但真正在做 Scale-out 选型的时候,可插拔光模块、LPO、CPO 这三条路的取舍,很多团队是拍脑袋定的。这篇把三笔账算清楚:功耗、时延、运维。

一、先把拓扑说清楚
主流 Scale-out 是两层无阻塞 fat-tree:
Leaf 层:每台 Leaf 下挂 8~32 个 GPU 节点
Spine 层:Leaf 全互联
单链路速率:400G 已成主流,800G 正在起量
端口密度:51.2T 交换芯片 = 64 × 800G

在 51.2T 平台上,整机光模块数量是 64 只(单面)。按 800G 可插拔模块 15~16 W 计算,
单台交换机光模块功耗就接近 1 kW,这已经和交换芯片本身一个量级了。
这就是为什么 LPO 和 CPO 会被反复提起。

二、三条路的技术差异

1) 可插拔(Pluggable,带 DSP)
结构:光引擎 + DSP + 驱动,标准封装(QSFP-DD/OSFP)
功耗:800G 约 15~16 W/只
时延:DSP 引入约 100~200 ns(收发双向)
优点:热插拔、可混插、故障可单点更换、生态成熟
缺点:功耗与成本随速率线性上升

2) LPO(Linear Pluggable Optics,线性直驱)
结构:去掉 DSP,用线性驱动直驱光引擎,把均衡交给交换机 SerDes
功耗:800G 约 8~10 W/只,省 35~40%
时延:几乎为零(无 DSP)
代价:
链路预算变紧,对 PCB、连接器、光引擎线性度要求高
需要交换机 SerDes 支持对应均衡能力(不是所有芯片都行)
互操作性差,A 厂模块配 B 厂交换机经常不通
传输距离受限,通常 ≤ 500 m

3) CPO(Co-Packaged Optics,共封装)
结构:光引擎与交换 ASIC 同封装,电通道极短
功耗:可降到 5~7 W 等效/800G
时延:最低
代价:
不可热插拔,光引擎故障需整机返修
封装良率与可维修性是最大问题
生态不成熟,运维体系要重做

三、三笔账怎么算

功耗账(以 64 端口 800G 交换机为例):
可插拔:64 × 16 W = 1024 W
LPO:64 × 9 W = 576 W
CPO:约 64 × 6 W = 384 W
一个 40 台交换机的集群,差值就是 18 kW 到 26 kW,
折算到机房配电与空调,一年多出来的电费是实打实的。

时延账:
单跳差 150 ns,两层拓扑就是 300 ns。
对 AllReduce 的影响:一次 Ring AllReduce 的通信步数约 2×(N-1),
N=64 时是 126 步,累计差 38 μs。
对一次迭代 200 ms 的训练来说,可以忽略。
但对推理的 TPOT(每 token 时延)来说,端到端 300 ns × 跳数,
在长上下文场景会成为可感知的抖动来源。

运维账(这一项最容易被低估):
可插拔:坏了换一只,5 分钟恢复
LPO:坏了换一只,但可能不兼容,需要备同厂同批次
CPO:坏了返厂,停机按天算
在一个上千节点的集群里,年故障率按 1% 算就是十几个点,
返厂维修的停机成本远超省下的电费。

四、我们的选型建议
机柜内 / ≤ 3 m:DAC 直连铜缆,最省
3~30 m:AEC(有源电缆),比光模块便宜且省电
30~500 m:800G DR8 / 2×FR4 可插拔,成熟稳定,是当前主力
500 m~2 km:800G FR4 / 2×LR4
高密短距、且交换机芯片支持线性驱动:可以考虑 LPO,但必须做互操作验证
CPO:现阶段适合超大规模自建、且有专门运维团队的场景,中小企业不建议碰

五、一个务实的判断
LPO 不是"更便宜的可插拔",而是一个需要端到端协同设计的方案。
它把复杂度从模块转移到了交换机和运维体系上。
如果你的集群规模不到 500 个节点,用 LPO 省下的电费,抵不过兼容性排查投入的人力。

真正该做的是:先把光模块的故障率降下来,把 DOM 监控做起来,
让每一条链路的误码趋势可观测。这比换形态带来的收益更直接。

—— 北亿纤通(F-tone Networks)数据中心光互联技术团队
技术资料:https://www.f-tone.com