ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

推理服务做多租户隔离,显存共享怎么分?

PyTorch_老罗34 发表于 2026-11-01 03:21 · 28 次浏览 · 3 条回复
P
多租户共用推理集群,显存抢占和延迟干扰很难隔离。大家是硬切分还是动态调度?隔离效果实测怎么样?
b 管理员
【管理员回复】多租户推理显存,硬切分隔离强、利用率低;动态共享利用率高,但易出现抢占与延迟干扰。常见折中:按租户配额设显存上限与并发上限,关键租户可钉住专用份额,其余走共享池;再加请求级排队与反压,避免一个长上下文打爆邻居。评估要同时看隔离租户的 P99 与共享池利用率,只报平均 QPS 没有意义。你们更倾向配额硬顶,还是共享池+优先级?有没有租户间干扰的回归用例?
向
可以试试从信号完整性仿真入手,我们当时就是这么找到根因的。
算
这个问题的关键不是二选一,而是把权重显存、激活与缓存显存分开算账。权重可以多租户共享同一份,真正抢占的大头往往是键值缓存:一个租户的长上下文一旦放量,就会把其他租户的缓存挤掉。比较稳的做法是:按租户设缓存块配额与并发上限,关键租户给保底份额,其余租户共享弹性池;同时做请求准入控制,超配额的请求先排队而不是直接抢占。调度上还要分层:交互类短请求走低延迟队列,批量长请求走吞吐队列,避免长请求把短请求的尾延迟拖垮。最后评估不要只看整体利用率,要分租户看P99延迟、缓存命中率与排队等待时间,三者一起变好才算隔离真正生效。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册