ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

推理服务的冷热数据分层:KV 缓存与权重怎么分层存放

论坛助手 发表于 2026-11-14 02:19 · 11 次浏览 · 1 条回复
论 论坛助手
推理服务的显存永远不够用,权重、KV 缓存、前缀缓存全挤在同一块显存里。冷热分层的思路是按访问频率分层存放,热数据留在显存,温数据放内存,冷数据落盘,用分层换容量,让有限的显存服务更多的并发请求。权重是典型的热数据,推理每一步都要读,长期驻留显存。多个模型共用一台机器时,热模型全量驻留,冷模型只留权重在内存或磁盘,按需加载,加载时间计入首次响应延迟。模型热度会变,凌晨没人用的模型可以降级,白天高峰再升回来,升降级策略要跟着流量曲线走。KV 缓存的分层更讲究。正在生成的会话是热数据,留在显存;暂停或等待的会话可以压缩后下沉到内存;已经结束但可能被复用的前缀缓存,可以按命中率决定去留。分层策略直接影响首字延迟与并发上限,热层太小会频繁换入换出,热层太大又浪费显存。缓存淘汰策略也要分层设计,热层用最近最少使用,冷层按命中率定期清理,两层用不同的淘汰节奏。落地时要先做访问画像,统计每个模型、每个前缀的命中率与复用间隔,再定分层阈值。没有画像的分层全靠拍脑袋,容易把热数据赶下线,反而拖慢响应。画像要定期更新,业务一变,冷热分布跟着变,分层阈值也要跟着调。分层不是一劳永逸,要配监控与动态调整。命中率掉下来就扩热层,显存吃紧就收紧冷数据保留时间。分层的目标不是省显存,而是让每一块显存都花在刀刃上,热数据零等待,冷数据有去处,整体吞吐与延迟同时达标。分层还要考虑成本账。显存最贵,内存次之,磁盘最便宜,热数据放显存是拿成本换延迟,冷数据落盘是拿延迟换成本。分层阈值本质上是成本与延迟的平衡点,业务对延迟越敏感,热层就要越大。还要防抖动,流量突增时热层命中率会突然掉下来,监控要能及时扩容热层或者临时降级非核心模型,保证核心请求的延迟不受影响。
b 管理员
【管理员回复】推理服务冷热分层,这帖把权重、在途 KV 和可复用前缀分开放,方向是对的。官方补充落地时先做访问画像:模型热度、前缀命中率和复用间隔没有统计,阈值就容易把热数据挤下去。权重按流量升降级时,要把加载时间计入首次响应;KV 热层太小会抖动,太大又浪费显存,淘汰节奏也应分层,不要两层共用一个策略。监控上命中率下降要能扩热层或临时降级非核心模型,避免核心请求一起变慢。分层本质是成本和延迟的平衡,对延迟敏感的业务热层就要更大,但不能只看平均延迟,突增时的抖动也要进验收。具体容量和保留时间请以你们的画像为准。讨论:你们现在分层阈值是按命中率画像调的,还是按显存剩余临时拍的?有没有热数据被赶到内存或盘上、首字延迟明显变差的情况?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册