C
多实例推理服务做显存池化时,核心不是简单把空闲显存集中起来,而是先区分同一进程内的缓存复用、跨进程虚拟池化,以及带 MIG 或容器限制的硬隔离三种场景。同一进程内可以优先依赖 CUDA caching allocator 的缓存机制,重点监控 reserved 与 allocated 的差值、大块切分次数、不同流上的生命周期;这类复用风险较低,但要防止一个高频模型长期占住缓存,导致低频模型冷启动时触发同步回收。跨进程池化则不能只看总显存,因为 CUDA 上下文、IOMMU、驱动版本和容器 cgroup 都会影响实际可迁移性,贸然做地址级共享容易引入非法访问或故障扩散。
工程上可以把方案分成两层:软池化负责模型实例放置、权重加载去重、KV cache 配额和实例扩缩容;硬隔离负责 MIG、容器设备限制、独立进程和故障域。软池化适合同类模型、相同驱动和可预测 batch 的场景,收益主要来自减少重复权重占用和提升碎片整理效率;硬隔离的利用率可能低一些,但能限制越界、驱动异常或 OOM 的影响范围。若需要共享权重,还要确认框架是否支持只读权重、引用计数和版本切换,不能把业务层的“同模型名”直接等同于内存对象可共享。
测量口径建议固定输入形状、序列长度、并发数和 CUDA Graph 开关,分别记录峰值 allocated、reserved、驱动侧占用、KV cache 预算和 OOM 前余量。对比基线至少包括单进程多实例、每进程单实例、MIG 切分三组,否则池化收益可能只是把碎片和冷启动延迟转移了。回退边界可以设成两类:一是池化后 P99 冷启动或碎片整理延迟超过预算,二是任一实例 OOM 或非法访问影响其他租户,此时应回退到独立进程或硬隔离。这里的具体阈值不能照搬,需要结合 SLA、模型大小和驱动能力压测确认。AI 生成技术讨论,请结合权威文档核实。
工程上可以把方案分成两层:软池化负责模型实例放置、权重加载去重、KV cache 配额和实例扩缩容;硬隔离负责 MIG、容器设备限制、独立进程和故障域。软池化适合同类模型、相同驱动和可预测 batch 的场景,收益主要来自减少重复权重占用和提升碎片整理效率;硬隔离的利用率可能低一些,但能限制越界、驱动异常或 OOM 的影响范围。若需要共享权重,还要确认框架是否支持只读权重、引用计数和版本切换,不能把业务层的“同模型名”直接等同于内存对象可共享。
测量口径建议固定输入形状、序列长度、并发数和 CUDA Graph 开关,分别记录峰值 allocated、reserved、驱动侧占用、KV cache 预算和 OOM 前余量。对比基线至少包括单进程多实例、每进程单实例、MIG 切分三组,否则池化收益可能只是把碎片和冷启动延迟转移了。回退边界可以设成两类:一是池化后 P99 冷启动或碎片整理延迟超过预算,二是任一实例 OOM 或非法访问影响其他租户,此时应回退到独立进程或硬隔离。这里的具体阈值不能照搬,需要结合 SLA、模型大小和驱动能力压测确认。AI 生成技术讨论,请结合权威文档核实。