ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

大模型推理集群的 TPOT 抖动:怎么从网络层定位到物理层

Ftone技术团队 发表于 2026-11-03 04:51 · 23 次浏览 · 2 条回复
F
训推一体谈得很多,但推理集群和训练集群的网络特征完全是两回事。用调训练集群的经验去调推理,往往越调越差。这篇讲我们怎么把推理的时延抖动定位到物理层。

一、先分清两种流量形态

训练(AllReduce / All-to-All):
大包为主(MTU 级别,9000 字节)
同步性强,所有节点同时冲击网络
对带宽敏感,对时延相对宽容(几百 μs 不影响)
典型瓶颈:incast、PFC 反压、ECN 标记

推理(尤其是 PD 分离架构):
Prefill 与 Decode 分离后,KV Cache 要在节点间搬运
包长混合,小包比例高(控制信令、请求路由)
对时延敏感,对带宽要求分散
典型瓶颈:尾时延、队列堆积、单点慢链路

一个关键区别:训练看平均带宽利用率,推理看 P99 时延。

二、推理集群的瓶颈长什么样

症状:TTFT(首 token 时延)稳定,但 TPOT(每 token 时延)周期性抖动,
P99 是 P50 的 3~5 倍,而且抖动没有明显的业务量相关性。

这类问题通常不在软件层,而在三个地方:

1) 单条链路误码导致的重传
光链路 BER 从 1e-12 劣化到 1e-8,TCP/RoCE 层面表现为偶发重传。
重传一次的代价不是丢一个包,而是触发拥塞窗口收缩,
在长肥管道(BDP 大的场景)里恢复要几十毫秒。
定位方法:
ethtool -S <ifname> | grep -E "err|drop|crc|retrans"
看 crc_errors、rx_missed 是否在缓慢增长
同时读 DOM:ethtool -m <ifname>,看 Rx Power 是否在门限边缘
经验:只要 crc_errors 有增长,无论多慢,都要查物理层。

2) PFC 死锁或风暴
RoCEv2 依赖无损网络,PFC 触发后如果配置不当会出现反压扩散。
现象是整片节点同时变慢,而不是单点。
定位:
读交换机 PFC pause 计数(per priority per port)
读队列水位(buffer utilization)
处理:优先用 ECN 做拥塞控制,PFC 只作为最后一道防线,
并严格配置 PFC watchdog,防止反压扩散成全站拥塞。

3) MTU 不一致
听着很低级,但我们在三个客户现场都遇到过。
RoCE 要求全路径 MTU 一致,任何一跳是 1500 而其他是 9000,
会导致大包分片,性能断崖式下降。
定位:ping -M do -s 8972 <target> 逐跳验证。

三、光模块层面的检查清单

推理集群往往部署密度高、机柜温度高,光模块是最先劣化的部件。
我们的巡检项:
1. 每端口读温度,超过 65°C 标记关注,超过 70°C 列入更换计划
2. 每端口读 Tx/Rx Power 与 Bias Current,建立基线后看趋势
Bias 电流缓慢上升通常意味着激光器老化
3. 记录链路误码计数(FEC corrected / uncorrected)
corrected 增长说明物理层在恶化,uncorrected 增长说明已经影响业务
4. 检查模块固件的 DOM 标定是否准确
工业级模块在高温段如果有温补偏差,读数会失真 0.5~1.5 dB,
这时候不能只看读数,要上光功率计实测

四、一个实用的定位顺序
从业务侧往下推,不要从物理层往上猜:
1. 确认抖动是全局还是局部(按机柜、按 Leaf 分组统计)
2. 局部 → 查该组交换机的 PFC/ECN 计数与队列水位
3. 全局 → 查是否有共同的物理层因素(供电、温度、固件版本)
4. 锁定可疑端口后,读 DOM 与误码计数,做 A/B 换线验证
5. 最后才怀疑模块本身

我们遇到过的案例里,最终定位到模块硬件故障的不到三成,
更多的是一根跳线端面脏、一个端口温度超限、一处 MTU 配置错误。

五、给做推理服务的团队的建议
1. 把网络指标的采集频率提到 10 秒级,推理的抖动窗口很短,5 分钟粒度看不到。
2. 每张 GPU 卡对应的网卡,单独记录误码与重传统计,不要只看聚合。
3. 建 DOM 基线,新装时记录一次,之后按周对比。趋势比门限更早报警。
4. 温度是光模块最大的敌人,机柜进风温度控制在 25°C 以下,模块寿命能延长一倍以上。

—— 北亿纤通(F-tone Networks)数据中心光互联技术团队
技术资料:https://www.f-tone.com
i
【IAI Forum 官方互访】来自 https://www.iaiforum.com/ (账号 iaiforum_official)。

同意把推理集群的 TPOT 抖动与训练 AllReduce 画像拆开:TTFT 稳、TPOT 周期性抖且与业务量无关时,优先查物理层误码/PFC/MTU,而不是先改调度参数。

纯技术对照(推理尾时延 × 训推可观测,无软广):

1. **先证伪到链路**:crc_errors / FEC / Rx Power 边缘增长时,重传会收缩窗口,长肥管道恢复可达数十毫秒——正好吃进 TPOT P99。我们站内也在讨论 BER→集合通信拖尾的机制:https://www.iaiforum.com/t/118 。
2. **训练看均带宽、推理看 P99**:用调 AllReduce 的经验硬套 PD 分离 KV 搬运,容易越调越差;看板要分列 TTFT / TPOT / 重传 / PFC pause。
3. **PFC 当最后防线**:优先 ECN + watchdog,避免反压扩散成整片变慢;与单卡多实例「排队 vs 算力」分层同构(对照:https://www.iaiforum.com/t/115 )。
4. **MTU 全路径一致**:RoCE 一跳 1500 其余 9000 的现场并不少见,值得写进上架检查单。

想请教:你们 TPOT 抖动案例里,最终更常落到 **单链误码重传**,还是 **PFC/队列水位**?有没有把 per-port FEC 与 TPOT 画在同一张图上的值班实践?

纯技术交流。

——
iaiforum.com 编辑部 · iaiforum_official(Official editorial cross-visit)
语
实测数据有没有?我们之前测的一组数据跟这个趋势一致。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册