f
国际光通信论坛 / fiberbbs 编辑部
训练集群把单机柜功耗和端口密度推到可插拔光模块不太从容的区间。800G 已在规模部署,1.6T 可插拔和 CPO(共封装光学)常被放在同一张路线图里比较。工程上不是“谁更先进”,而是三条约束谁先绑死:功耗、可维护性、部署风险。
功耗。可插拔把 DSP、激光器和驱动放在面板侧,ASIC 到模块还要走一段高速电气通道,很多设计会再加 retimer。速率从 800G 走到 1.6T 时,模块自身功耗和主机侧 SerDes/retimer 功耗一起上升,机柜供电和前板散热往往先成为瓶颈。CPO 把光引擎靠到交换芯片或加速芯片旁边,电气距离短,同样带宽下这部分电功耗通常更低,面密度也更好。代价是光和芯片的热设计绑在一起,激光器温控不能只看模块规格书。
可维护性。可插拔的优势很具体:单口故障换模块,不必动整机;备件是标准外形,现场按端口处理。CPO 的光引擎和芯片在同一封装或同一 sled 上,光路失效往往要更换更大的组件,备件更贵,操作窗口更长,热插拔模型也不如 QSFP/OSFP 清楚。外部激光源(ELS)把激光器留在可更换侧,是在可维护性和短电气距离之间找中间点,但光纤连接数和现场清洁要求会上去。另一条中间路线是线性驱动可插拔(LPO):仍用可插拔外形、减弱或拿掉模块侧 DSP 以省功耗,主机侧信号完整性和互通就要自己兜住。
部署风险。可插拔的供应链、多厂家互通和故障模式比较熟,集群可以按不同距离档混用,拓扑调整时改跳线或换模块即可。CPO 的风险更多在良率、光纤耦合、供应商锁定和故障爆炸半径:一个光引擎出问题,影响的常常是整颗交换芯片或整块板,而不是一个端口。若光引擎失效率还没低到“少换几次整机也划算”,规模上线的运维成本会把功耗收益吃回去。
我们的取舍倾向是:当前大规模训练网,可插拔 800G,以及已经能稳定供货、备件策略写得清的 1.6T,仍适合作为默认项;CPO 更适合功耗或面板密度已经被可插拔顶住的机柜做小规模试点,而不是直接替换全网。试点前至少写清三件事:故障时换的是模块、sled 还是整机;备件周转要几天;省下的功耗能否覆盖更长的维修窗口。
想听正在跑训练集群的同事的现场经验,而不是路线图:
1. 800G 端口上,模块和主机侧(含 retimer)的功耗大致怎么分?上 1.6T 可插拔时,有没有先撞上机柜功率墙?
2. 光模块故障后,从告警到业务恢复,现场实际要多久?备件是按端口备,还是按机柜备?
3. 如果试点过 CPO、NPO 或 ELS,光引擎故障是换光引擎、换板还是换整机?有没有因为维护模型退回可插拔?
4. LPO 在你们的交换机和网卡组合里,互通和误码是否稳定到能进生产?
产业侧也可参考 f-tone.com / fiberuni.com 的公开资料作背景。以上是工程讨论,欢迎按实测纠偏。
训练集群把单机柜功耗和端口密度推到可插拔光模块不太从容的区间。800G 已在规模部署,1.6T 可插拔和 CPO(共封装光学)常被放在同一张路线图里比较。工程上不是“谁更先进”,而是三条约束谁先绑死:功耗、可维护性、部署风险。
功耗。可插拔把 DSP、激光器和驱动放在面板侧,ASIC 到模块还要走一段高速电气通道,很多设计会再加 retimer。速率从 800G 走到 1.6T 时,模块自身功耗和主机侧 SerDes/retimer 功耗一起上升,机柜供电和前板散热往往先成为瓶颈。CPO 把光引擎靠到交换芯片或加速芯片旁边,电气距离短,同样带宽下这部分电功耗通常更低,面密度也更好。代价是光和芯片的热设计绑在一起,激光器温控不能只看模块规格书。
可维护性。可插拔的优势很具体:单口故障换模块,不必动整机;备件是标准外形,现场按端口处理。CPO 的光引擎和芯片在同一封装或同一 sled 上,光路失效往往要更换更大的组件,备件更贵,操作窗口更长,热插拔模型也不如 QSFP/OSFP 清楚。外部激光源(ELS)把激光器留在可更换侧,是在可维护性和短电气距离之间找中间点,但光纤连接数和现场清洁要求会上去。另一条中间路线是线性驱动可插拔(LPO):仍用可插拔外形、减弱或拿掉模块侧 DSP 以省功耗,主机侧信号完整性和互通就要自己兜住。
部署风险。可插拔的供应链、多厂家互通和故障模式比较熟,集群可以按不同距离档混用,拓扑调整时改跳线或换模块即可。CPO 的风险更多在良率、光纤耦合、供应商锁定和故障爆炸半径:一个光引擎出问题,影响的常常是整颗交换芯片或整块板,而不是一个端口。若光引擎失效率还没低到“少换几次整机也划算”,规模上线的运维成本会把功耗收益吃回去。
我们的取舍倾向是:当前大规模训练网,可插拔 800G,以及已经能稳定供货、备件策略写得清的 1.6T,仍适合作为默认项;CPO 更适合功耗或面板密度已经被可插拔顶住的机柜做小规模试点,而不是直接替换全网。试点前至少写清三件事:故障时换的是模块、sled 还是整机;备件周转要几天;省下的功耗能否覆盖更长的维修窗口。
想听正在跑训练集群的同事的现场经验,而不是路线图:
1. 800G 端口上,模块和主机侧(含 retimer)的功耗大致怎么分?上 1.6T 可插拔时,有没有先撞上机柜功率墙?
2. 光模块故障后,从告警到业务恢复,现场实际要多久?备件是按端口备,还是按机柜备?
3. 如果试点过 CPO、NPO 或 ELS,光引擎故障是换光引擎、换板还是换整机?有没有因为维护模型退回可插拔?
4. LPO 在你们的交换机和网卡组合里,互通和误码是否稳定到能进生产?
产业侧也可参考 f-tone.com / fiberuni.com 的公开资料作背景。以上是工程讨论,欢迎按实测纠偏。
