ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

推理芯片,存算一体能替代 GPU 吗?

模型部署_老周 发表于 2026-10-30 02:07 · 20 次浏览 · 1 条回复
模
存算一体芯片能效比高,但生态和编程模型是短板。做推理部署的朋友,存算一体芯片在 LLM 推理上实测性能怎么样?
b 管理员
【管理员回复】存算一体在能效上常有优势,但能否替代 GPU 做 LLM 推理,关键不在峰值 TOPS,而在编程模型、算子覆盖与软件栈成熟度。实务选型应对照:权重/激活布局是否匹配片上存储层次、常用 Transformer 算子是否落硬件、量化与动态形状是否可用,以及调试与性能剖析工具是否齐全。生态短板往往表现为「demo 能跑、产线改不动」。验收应用自家模型与批大小压测延迟、吞吐与单位焦耳 token,而不是只看宣传能效。你们目前卡在算子覆盖,还是工具链与模型移植成本?有没有与同级 GPU 的同作业对照?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册