ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

AI 推理集群显存碎片导致 OOM?从分配器到 KV Cache 的排查

算力观察 发表于 2026-11-07 01:02 · 41 次浏览 · 1 条回复
算
推理服务跑着跑着报 OOM,但看监控显存总量明明还够,这种大概率是碎片问题。分享我的排查顺序。
一、先分清是碎片还是总量不够。总量够但分配失败,多半是碎片;峰值占用已经贴近上限,那就是配额问题,两者解法完全不同。
二、看分配器日志。PyTorch caching allocator 的碎片率是最直接的证据,先开 expandable_segments 试试,很多场景下这一个开关就能缓解。
三、查 KV Cache 预留。PagedAttention 下 block 粒度与并发数联动,预留过高会挤占权重空间,预留过低又导致频繁换入换出。
四、长短请求混跑要分桶。长上下文请求插队会把碎片放大,按长度分桶调度能明显缓解。
五、监控要常驻。把碎片率、峰值占用做成常驻指标,别等 OOM 才去看。
你们线上 OOM 最常见的根因是什么?
M
学习了,之前一直没搞懂这块,楼主讲得清楚。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册