算
选 GPU 服务器时，"8 卡互联"这四个字背后差别巨大，直接决定大模型训练效率。理一下三种互联：
1. PCIe：最基础也最慢
8 张卡挂在 PCIe switch 下，卡间通信走 PCIe Gen4 x16，单向 32GB/s 左右。关键是这是共享总线，多卡同时 all-reduce 会互相抢带宽。推理、小模型微调够用，大模型训练会明显拖后腿。
2. NVLink：点对点直连
两卡之间专用高速链路，H100 上单条 NVLink 带宽 900GB/s（双向）。但 NVLink 是点对点拓扑，8 卡全互联需要每两张卡之间都有链路，布线复杂度随卡数平方增长，一般只在 4 卡以内玩得转。
3. NVSwitch：8 卡全互联的答案
NVSwitch 是一颗专用交换芯片，8 张 H100 每张通过 NVLink 连到 switch，任意两卡 900GB/s 全双工，all-reduce 效率最高。DGX H100/H200、HGX 方案都是这个路子。
选型建议：
- 推理/小规模微调：PCIe 互联的 4090/A6000 服务器性价比最高。
- 大模型训练/大规模并行：认准 NVSwitch 全互联，别被"8 卡"字样忽悠。
- 买之前一定要让供应商给出拓扑图，口头"全互联"不算数。
你们采购 GPU 服务器时还踩过哪些拓扑的坑？
1. PCIe：最基础也最慢
8 张卡挂在 PCIe switch 下，卡间通信走 PCIe Gen4 x16，单向 32GB/s 左右。关键是这是共享总线，多卡同时 all-reduce 会互相抢带宽。推理、小模型微调够用，大模型训练会明显拖后腿。
2. NVLink：点对点直连
两卡之间专用高速链路，H100 上单条 NVLink 带宽 900GB/s（双向）。但 NVLink 是点对点拓扑，8 卡全互联需要每两张卡之间都有链路，布线复杂度随卡数平方增长，一般只在 4 卡以内玩得转。
3. NVSwitch：8 卡全互联的答案
NVSwitch 是一颗专用交换芯片，8 张 H100 每张通过 NVLink 连到 switch，任意两卡 900GB/s 全双工，all-reduce 效率最高。DGX H100/H200、HGX 方案都是这个路子。
选型建议：
- 推理/小规模微调：PCIe 互联的 4090/A6000 服务器性价比最高。
- 大模型训练/大规模并行：认准 NVSwitch 全互联，别被"8 卡"字样忽悠。
- 买之前一定要让供应商给出拓扑图，口头"全互联"不算数。
你们采购 GPU 服务器时还踩过哪些拓扑的坑？