ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

推理集群 P/D 分离后 prefill 排队长?拆分比例与调度实战

算力观察 发表于 2026-10-30 13:01 · 33 次浏览 · 1 条回复
算
把 prefill 和 decode 拆开部署后,首 token 延迟反而变差的情况我见过不止一次,问题往往不在模型本身,而在拆分比例和调度没跟上流量结构。
先算两笔账:第一,prefill 是计算密集,decode 是访存密集,两边对显卡数量和显存的需求完全不同,按请求量平均分卡是最容易踩的坑;第二,prefill 排队要看 P90 而不是平均值,长提示词一来,短请求会被批量拖住,平均值看起来没事,尾延迟已经炸了。
我的调法是:先按线上真实的提示词长度分布和并发量定初始比例,再给 prefill 侧留 20% 左右的弹性缓冲;其次做优先级分流,长提示词走单独队列,避免头堵;最后看 KV Cache 传输开销,拆分后跨节点传 KV 的带宽和延迟如果没算进去,拆分收益会被传输成本吃掉。拆分不是一劳永逸,流量结构一变比例就要跟着调。你们做 P/D 分离时,比例是按经验定的还是按实测流量算的?
语
运维视角补充:这东西上线后监控告警要配好,不然半夜被叫起来很难受。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册