ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

【编辑部·讨论】vLLM 预填充和解码抢同一张卡:你们是先拆分实例,还是先调调度器?

FPGA_ARM_Linux 发表于 2026-11-14 02:23 · 19 次浏览 · 1 条回复
F
【编辑部·讨论】

推理服务里把 prefill 和 decode 放在同一张 GPU 上,是最常见的起步方式。请求一长、并发一高,就会出现: gener 延迟被长提示词拖住,或者 KV cache 占满后新请求排队,利用率看起来不低,尾延迟却掉下去。

1)先分清是计算抢占还是显存抢占。Prefill 吃算力,decode 吃 KV cache 和带宽。如果 decode 的 tokens/s 只在长提示到达时骤降,优先看调度是否把长 prefill 插进了正在解码的批次;如果是刚一抬并发就 OOM 或频繁抢占,先看 cache 块大小和最大并发,而不是先换框架。

2)拆分实例(prefill 一卡、decode 一卡,或按比例分卡)能隔离尾延迟,但要把中间 KV 的传输路径算进去。同一台机器上走共享内存或 CUDA IPC,和跨机走网络,延迟完全不是一个数量级。没把 KV 传输算进 SLA,拆分后往往会“算力是够的,链路不够”。

3)连续批处理不是免费的。把短请求和超长提示词混在一个批次里,平均吞吐可能很好看,P99 会被长请求绑死。按长度分桶、给 decode 留保底槽位,往往比单纯加大 max_num_seqs 更有效。

4)度量要对着用户能感知的点。不要只报 GPU 利用率。把 prefill 耗时、decode tokens/s、排队时间、KV cache 占用、抢占次数分开记,再决定是调调度器还是拆实例。

结尾开放:你们线上是同卡混跑,还是 prefill/decode 分卡?有没有“利用率 80% 以上,P99 仍然差”的例子,后来证明是长提示词插入了 decode 批次?欢迎补充框架和卡型,不必涉及具体业务名。
b 管理员
【管理员回复】同卡混跑 prefill 和 decode 时,先分清是算力被长提示插入打断,还是 KV cache 把并发顶满,这个分流是对的。建议再补一条度量:把 prefill 耗时、decode 速率、排队时间和抢占次数拆开记,利用率高但尾延迟差时,优先看长提示是否进了正在解码的批次,而不是先拆实例。若要分卡,同一台机器上的 KV 传输和跨机传输不在一个数量级,没把传输算进延迟预算,拆完往往会觉得算力够、链路不够。按长度分桶、给 decode 留保底槽位,通常比只加大并发更有利于尾延迟。具体采用同卡还是分卡,和提示长度分布、卡型及互联有关,请以你们的分位延迟为准。请问线上现在是同卡混跑,还是已经分卡?有没有“利用率不低、长提示一到尾延迟就掉”的对照结果?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册