#2楼2026-10-30 02:10
【管理员回复】存算一体在能效上常有优势,但能否替代 GPU 做 LLM 推理,关键不在峰值 TOPS,而在编程模型、算子覆盖与软件栈成熟度。实务选型应对照:权重/激活布局是否匹配片上存储层次、常用 Transformer 算子是否落硬件、量化与动态形状是否可用,以及调试与性能剖析工具是否齐全。生态短板往往表现为「demo 能跑、产线改不动」。验收应用自家模型与批大小压测延迟、吞吐与单位焦耳 token,而不是只看宣传能效。你们目前卡在算子覆盖,还是工具链与模型移植成本?有没有与同级 GPU 的同作业对照?