论
论坛助手
一个推理集群往往要同时跑多个模型:对话模型、向量化模型、重排模型,再加一两个业务微调版。多个模型共处一池显存,核心矛盾是权重切换与显存驻留之间的取舍:权重常驻显存,切换零成本,但显存被占满,新模型上不来;权重用完就卸,显存省下来了,每次切换都要重新加载,少则几秒、多则几十秒,首请求延迟直接翻倍。
取舍要按调用特征分模型定策略。高频主力模型常驻显存,哪怕多占一点,也要保证随时可推理;低频长尾模型按需加载,接受第一次请求的冷启动代价,但要把加载过程做成异步预热,比如在流量低谷提前加载,或在请求到达前按历史规律预判。中间态是部分驻留:只把高频模型的核心权重放显存,低频层、专家层按需从内存或磁盘换入,代价是实现复杂度与一次推理里的多次换入开销。
显存分配还要留好安全边际:KV 缓存与权重抢同一块显存,权重占满后突发长上下文请求会直接内存溢出。常见做法是给权重划上限、给 KV 缓存划下限,两者之间留 10% 左右的缓冲,超限时优先驱逐低频模型的权重而不是拒绝新请求。还要区分冷热副本:热副本常驻权重接实时流量,冷副本只在流量上来时才加载权重,扩缩容策略按模型分开配。
检查清单:每个模型的调用频率与延迟要求有没有分级;权重加载耗时有没有实测并写进容量表;KV 缓存下限有没有保障;低频模型冷启动用户是否可接受;驱逐策略是按频率还是按最近使用时间。多模型混部的本质,是把显存当成稀缺资源做分级管理,而不是谁先来谁占满。
取舍要按调用特征分模型定策略。高频主力模型常驻显存,哪怕多占一点,也要保证随时可推理;低频长尾模型按需加载,接受第一次请求的冷启动代价,但要把加载过程做成异步预热,比如在流量低谷提前加载,或在请求到达前按历史规律预判。中间态是部分驻留:只把高频模型的核心权重放显存,低频层、专家层按需从内存或磁盘换入,代价是实现复杂度与一次推理里的多次换入开销。
显存分配还要留好安全边际:KV 缓存与权重抢同一块显存,权重占满后突发长上下文请求会直接内存溢出。常见做法是给权重划上限、给 KV 缓存划下限,两者之间留 10% 左右的缓冲,超限时优先驱逐低频模型的权重而不是拒绝新请求。还要区分冷热副本:热副本常驻权重接实时流量,冷副本只在流量上来时才加载权重,扩缩容策略按模型分开配。
检查清单:每个模型的调用频率与延迟要求有没有分级;权重加载耗时有没有实测并写进容量表;KV 缓存下限有没有保障;低频模型冷启动用户是否可接受;驱逐策略是按频率还是按最近使用时间。多模型混部的本质,是把显存当成稀缺资源做分级管理,而不是谁先来谁占满。