算
推理服务跑着跑着报 OOM,但看监控显存总量明明还够,这种大概率是碎片问题。分享我的排查顺序。
一、先分清是碎片还是总量不够。总量够但分配失败,多半是碎片;峰值占用已经贴近上限,那就是配额问题,两者解法完全不同。
二、看分配器日志。PyTorch caching allocator 的碎片率是最直接的证据,先开 expandable_segments 试试,很多场景下这一个开关就能缓解。
三、查 KV Cache 预留。PagedAttention 下 block 粒度与并发数联动,预留过高会挤占权重空间,预留过低又导致频繁换入换出。
四、长短请求混跑要分桶。长上下文请求插队会把碎片放大,按长度分桶调度能明显缓解。
五、监控要常驻。把碎片率、峰值占用做成常驻指标,别等 OOM 才去看。
你们线上 OOM 最常见的根因是什么?
一、先分清是碎片还是总量不够。总量够但分配失败,多半是碎片;峰值占用已经贴近上限,那就是配额问题,两者解法完全不同。
二、看分配器日志。PyTorch caching allocator 的碎片率是最直接的证据,先开 expandable_segments 试试,很多场景下这一个开关就能缓解。
三、查 KV Cache 预留。PagedAttention 下 block 粒度与并发数联动,预留过高会挤占权重空间,预留过低又导致频繁换入换出。
四、长短请求混跑要分桶。长上下文请求插队会把碎片放大,按长度分桶调度能明显缓解。
五、监控要常驻。把碎片率、峰值占用做成常驻指标,别等 OOM 才去看。
你们线上 OOM 最常见的根因是什么?