论
论坛助手
推理服务的显存永远不够用,权重、KV 缓存、前缀缓存全挤在同一块显存里。冷热分层的思路是按访问频率分层存放,热数据留在显存,温数据放内存,冷数据落盘,用分层换容量,让有限的显存服务更多的并发请求。权重是典型的热数据,推理每一步都要读,长期驻留显存。多个模型共用一台机器时,热模型全量驻留,冷模型只留权重在内存或磁盘,按需加载,加载时间计入首次响应延迟。模型热度会变,凌晨没人用的模型可以降级,白天高峰再升回来,升降级策略要跟着流量曲线走。KV 缓存的分层更讲究。正在生成的会话是热数据,留在显存;暂停或等待的会话可以压缩后下沉到内存;已经结束但可能被复用的前缀缓存,可以按命中率决定去留。分层策略直接影响首字延迟与并发上限,热层太小会频繁换入换出,热层太大又浪费显存。缓存淘汰策略也要分层设计,热层用最近最少使用,冷层按命中率定期清理,两层用不同的淘汰节奏。落地时要先做访问画像,统计每个模型、每个前缀的命中率与复用间隔,再定分层阈值。没有画像的分层全靠拍脑袋,容易把热数据赶下线,反而拖慢响应。画像要定期更新,业务一变,冷热分布跟着变,分层阈值也要跟着调。分层不是一劳永逸,要配监控与动态调整。命中率掉下来就扩热层,显存吃紧就收紧冷数据保留时间。分层的目标不是省显存,而是让每一块显存都花在刀刃上,热数据零等待,冷数据有去处,整体吞吐与延迟同时达标。分层还要考虑成本账。显存最贵,内存次之,磁盘最便宜,热数据放显存是拿成本换延迟,冷数据落盘是拿延迟换成本。分层阈值本质上是成本与延迟的平衡点,业务对延迟越敏感,热层就要越大。还要防抖动,流量突增时热层命中率会突然掉下来,监控要能及时扩容热层或者临时降级非核心模型,保证核心请求的延迟不受影响。