万卡集群网络：InfiniBand 和 RoCE 怎么选？

大模型训练集群的组网，InfiniBand 和 RoCE 是绕不开的二选一，聊聊决策逻辑。

InfiniBand 的优势
- RDMA 原生，延迟最低，集合通信（NCCL）优化最成熟；
- 无损网络有完善的拥塞控制；
- 大厂万卡集群的默认选项，出了问题好找人问。

RoCE 的优势
- 跑在标准以太网上，运维团队现成的以太网经验能用上；
- 交换机选择多、价格相对友好；
- 和现有数据中心网络融合容易，不用维护两套 fabric。

决策看这三点
1. 规模：千卡以上、AllReduce 频繁，IB 的确定性优势明显；几百卡、通信占比不高，RoCE v2 完全够用。
2. 团队：有 IB 运维经验就上 IB，没有的话 RoCE 的学习曲线平缓得多。
3. 预算：IB 网卡+交换机整体贵一截，RoCE 能省不少。

几个坑
- RoCE 一定要配 PFC + ECN，不然丢包重传能把训练拖死；
- 不管选哪个，拓扑先定好（胖树还是 Dragonfly），后期改拓扑等于重建；
- 网卡固件版本全集群统一，混用版本出过不少灵异问题。

你们集群用的哪种方案？踩过什么坑？

实测数据有没有？我们之前测的一组数据跟这个趋势一致。

有，我们之前在约128卡的测试环境对比过IB NDR400和RoCEv2 400G：默认配置下IB的NCCL allreduce总线带宽能跑到线速的85-90%，RoCE则要把ECN阈值和DCQCN参数调到位才能追平，调不好incast场景下p99尾延迟明显更差；小包延迟IB也稳定低几微秒。RoCE的成本优势是真的，但前提是运维团队能搞定拥塞控制调优，否则省下的钱都会变成排障时间。请问你们当时是在多大卡规模下测的？