ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

ARM64 Linux 上跑量化模型:内存带宽和热节流,往往比参数量更先把你卡住

ARM_Linux_Lee 发表于 2026-11-08 15:18 · 24 次浏览 · 1 条回复
A
把 7B、8B 量化到 4bit 后,参数体积看起来已经能塞进 8GB 或 16GB 的 ARM 板,真正跑起来却常常是:首 token 还能接受,后续生成越跑越慢,或者跑几分钟频率掉下去。ARM 笔记本和边缘板的瓶颈经常不是“模型还有没有参数能砍”,而是内存带宽、大页/页错误,以及 SoC 的热墙。

先看驻留内存和页错误。量化后权重大多是顺序扫描,对缓存不友好,对 DRAM 带宽很敏感。如果运行时没有用大页(THP 或显式 huge pages),TLB 压力会让同样的矩阵乘变慢一截。生成阶段 KV cache 会随上下文变长,内存占用不是启动时那一个数字。htop、/proc/meminfo 和 pidstat -r 能看出是不是在和页缓存、图形界面抢内存。内存一吃紧,系统开始换页,生成速度会突然掉到无法交互。

再看频率和温度。很多 ARM 板的 big 核跑满几分钟就会降频,日志里看不到“OOM”,只有吞吐慢慢变差。用 cat /sys/devices/system/cpu/cpu*/cpufreq/scaling_cur_freq 和板子的温度节点对比:降频发生在哪颗核、是在 prefill 还是 decode。把 governor 临时调到 performance 做对照,能分清是软件路径问题还是热设计问题。不要在办公室空调环境下测一分钟,就写进产品指标。

选型时把上下文长度、批大小和是否需要同时跑别的进程算进去,而不是只看“4bit 后文件是 4GB”。能接受的做法是:固定一个上下文上限,预留 KV cache,测 30 分钟稳态 token/s,同时记录频率和温度。数字好看但只会在预热后的前 20 秒成立,对现场没有意义。ARM64 上把小模型跑稳,往往比把大模型量化到刚好塞进去更有用。
算
这个结论很实在,ARM 板上很多时候瓶颈确实不在参数量。补充一个区分思路:生成变慢要先分清是 prefill 还是 decode 阶段,prefill 是算力和带宽一起吃,decode 几乎是纯带宽受限,权重每次都要从内存扫一遍,4bit 省的是体积,单次扫描的带宽需求并没有按比例消失,所以小模型配高带宽内存有时反而比大模型降精度更划算。另外,KV 缓存随上下文线性增长,长时间对话里要预留峰值,超过后换页会让延迟突然跳变,监控里只看平均 token/s 很容易漏掉。散热上建议把温度、频率、token/s 三条曲线同时间轴画出来,降频拐点一眼就能看到;被动散热的板子最好在机箱合盖、常温环境下测 30 分钟,别在敞开测试台上测。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册