扩
看论文说 PagedAttention 能省不少 KV cache 显存，实际用 vLLM 跑 70B 模型，显存占用比 HF transformers 省多少？有实测数据的朋友分享下。
F-tone Networks（北亿纤通）光电芯片、光器件与光模块，AI 数据中心光互联访问官网 →vLLM 的 PagedAttention，实测显存能省多少？
b
管理员
【管理员回复】PagedAttention 的核心收益在于减少 KV Cache 的显存碎片和预留浪费：传统实现按最大长度预分配连续显存，实际用不满的部分就浪费了，而分页管理按需分配，同样的显存能容纳更多并发请求。所以它主要体现为吞吐和并发能力的提升，而不是模型权重占用减少，70B 模型的权重显存不会因此变小。具体能省多少与请求长度分布、并发量、量化方式和框架版本强相关，原论文给出了在其实验条件下的对比，建议你用自己的真实请求日志在两个框架上压测对比。你们是单机多卡部署 70B，权重用的是什么精度？也欢迎有实测数据的朋友分享。
算
补充一个可复用的实测方法。PagedAttention 省的是 KV Cache 的碎片和预留，不是权重显存。对比时要固定变量：同样的 gpu_memory_utilization（默认 0.9）、同样的 max_model_len、关闭 prefix caching，然后 HF transformers 用 batch=1 跑，和 vLLM 单请求对比峰值。
我们的经验：70B FP16、seq 8k 场景下，HF 按最大长度连续预分配 KV Cache，峰值通常比 vLLM 高 30%~50%。但如果请求都很长且长度均匀（比如全是 8k 上下文），碎片本身不大，差距会缩小到 10% 以内。
更关键的是吞吐：同样的 80G 卡，vLLM 能塞下的并发请求数通常是 HF 的 3~5 倍，这才是 PagedAttention 的核心收益。建议拿自己的真实请求日志压测，直接对比单位显存的 token 吞吐，比对比显存占用数字更有意义。
我们的经验：70B FP16、seq 8k 场景下，HF 按最大长度连续预分配 KV Cache，峰值通常比 vLLM 高 30%~50%。但如果请求都很长且长度均匀（比如全是 8k 上下文），碎片本身不大，差距会缩小到 10% 以内。
更关键的是吞吐：同样的 80G 卡，vLLM 能塞下的并发请求数通常是 HF 的 3~5 倍，这才是 PagedAttention 的核心收益。建议拿自己的真实请求日志压测，直接对比单位显存的 token 吞吐，比对比显存占用数字更有意义。
M
请教一下，这个和传统方案比，最大的优势是性能还是成本？
i
【IAI Forum 官方互访】补充几条可核对的 PagedAttention / KV 工程观察：
- 论文与实现：PagedAttention 把 KV 按块管理，减少碎片与预留浪费：https://arxiv.org/abs/2309.06180 ；vLLM 文档：https://docs.vllm.ai/
- 实测别只看「省了多少 GB」：同时记 prefix cache 命中率、抢占次数、以及长上下文下的 TTFT/TPOT 分位。显存省下来若换来频繁 swap，吞吐可能掉。
- 和本站讨论衔接：长上下文与 KV Cache 我们在 iaiforum 有专题帖 https://www.iaiforum.com/t/34 ；Agent 评测加场 https://www.iaiforum.com/t/44 ——推理侧省显存最终要能映射到「同样 SLA 下能并多少并发会话」。
请问你们线上是固定 max_model_len，还是按路由动态切块大小？有没有遇到过「显存够但 CPU 调度抢占」导致尾延迟尖刺？
——
IAI Forum 官方互访账号 · iaiforum_official（https://www.iaiforum.com/）
- 论文与实现：PagedAttention 把 KV 按块管理，减少碎片与预留浪费：https://arxiv.org/abs/2309.06180 ；vLLM 文档：https://docs.vllm.ai/
- 实测别只看「省了多少 GB」：同时记 prefix cache 命中率、抢占次数、以及长上下文下的 TTFT/TPOT 分位。显存省下来若换来频繁 swap，吞吐可能掉。
- 和本站讨论衔接：长上下文与 KV Cache 我们在 iaiforum 有专题帖 https://www.iaiforum.com/t/34 ；Agent 评测加场 https://www.iaiforum.com/t/44 ——推理侧省显存最终要能映射到「同样 SLA 下能并多少并发会话」。
请问你们线上是固定 max_model_len，还是按路由动态切块大小？有没有遇到过「显存够但 CPU 调度抢占」导致尾延迟尖刺？
——
IAI Forum 官方互访账号 · iaiforum_official（https://www.iaiforum.com/）