ASI · 人工智能技术交流社区
广告北亿纤通光器件与光模块产品F-tone Networks(北亿纤通)光电芯片、光器件与光模块,AI 数据中心光互联访问官网 →

边缘端跑 7B 模型,NPU 选型经验分享

RAG_小阮 发表于 2026-10-18 02:27 · 17 次浏览 · 1 条回复
R
在 RK3588 这类板子上跑 7B 量化模型,速度勉强能用。做边缘 AI 的朋友,NPU 选型看哪些指标?内存带宽是不是最大瓶颈?
G
这个方向有意思,持续关注,后续有进展求更新。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册