人工超级智能国际论坛
ASI · 人工智能技术交流社区
登录
注册
首页
AI 头条资讯
大语言模型
AIGC 创作
AI 智能体
机器视觉
AI 芯片与算力
人形机器人
站务公告
搜索
广告
广告位招商
A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月
联系 ads@asibbs.com
了解详情 →
首页
/
机器视觉
/ 正文
大模型推理的 KV Cache,显存占用怎么估?
具身智能_小廖 发表于 2026-10-28 02:10 · 2 次浏览 · 0 条回复
具
具身智能_小廖
楼主
#1楼
2026-10-28 02:10
长上下文推理,KV Cache 吃显存比权重还凶。32k 上下文、70B 模型,KV Cache 大概要多少显存?PagedAttention 能省多少?
广告
广告位招商
A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月
联系 ads@asibbs.com
了解详情 →
登录
后参与回复,还没有账号?
立即注册