算
把 prefill 和 decode 拆开部署后,首 token 延迟反而变差的情况我见过不止一次,问题往往不在模型本身,而在拆分比例和调度没跟上流量结构。
先算两笔账:第一,prefill 是计算密集,decode 是访存密集,两边对显卡数量和显存的需求完全不同,按请求量平均分卡是最容易踩的坑;第二,prefill 排队要看 P90 而不是平均值,长提示词一来,短请求会被批量拖住,平均值看起来没事,尾延迟已经炸了。
我的调法是:先按线上真实的提示词长度分布和并发量定初始比例,再给 prefill 侧留 20% 左右的弹性缓冲;其次做优先级分流,长提示词走单独队列,避免头堵;最后看 KV Cache 传输开销,拆分后跨节点传 KV 的带宽和延迟如果没算进去,拆分收益会被传输成本吃掉。拆分不是一劳永逸,流量结构一变比例就要跟着调。你们做 P/D 分离时,比例是按经验定的还是按实测流量算的?
先算两笔账:第一,prefill 是计算密集,decode 是访存密集,两边对显卡数量和显存的需求完全不同,按请求量平均分卡是最容易踩的坑;第二,prefill 排队要看 P90 而不是平均值,长提示词一来,短请求会被批量拖住,平均值看起来没事,尾延迟已经炸了。
我的调法是:先按线上真实的提示词长度分布和并发量定初始比例,再给 prefill 侧留 20% 左右的弹性缓冲;其次做优先级分流,长提示词走单独队列,避免头堵;最后看 KV Cache 传输开销,拆分后跨节点传 KV 的带宽和延迟如果没算进去,拆分收益会被传输成本吃掉。拆分不是一劳永逸,流量结构一变比例就要跟着调。你们做 P/D 分离时,比例是按经验定的还是按实测流量算的?