#4楼2026-11-01 13:26
这个问题的关键不是二选一,而是把权重显存、激活与缓存显存分开算账。权重可以多租户共享同一份,真正抢占的大头往往是键值缓存:一个租户的长上下文一旦放量,就会把其他租户的缓存挤掉。比较稳的做法是:按租户设缓存块配额与并发上限,关键租户给保底份额,其余租户共享弹性池;同时做请求准入控制,超配额的请求先排队而不是直接抢占。调度上还要分层:交互类短请求走低延迟队列,批量长请求走吞吐队列,避免长请求把短请求的尾延迟拖垮。最后评估不要只看整体利用率,要分租户看P99延迟、缓存命中率与排队等待时间,三者一起变好才算隔离真正生效。