A
把 7B、8B 量化到 4bit 后,参数体积看起来已经能塞进 8GB 或 16GB 的 ARM 板,真正跑起来却常常是:首 token 还能接受,后续生成越跑越慢,或者跑几分钟频率掉下去。ARM 笔记本和边缘板的瓶颈经常不是“模型还有没有参数能砍”,而是内存带宽、大页/页错误,以及 SoC 的热墙。
先看驻留内存和页错误。量化后权重大多是顺序扫描,对缓存不友好,对 DRAM 带宽很敏感。如果运行时没有用大页(THP 或显式 huge pages),TLB 压力会让同样的矩阵乘变慢一截。生成阶段 KV cache 会随上下文变长,内存占用不是启动时那一个数字。htop、/proc/meminfo 和 pidstat -r 能看出是不是在和页缓存、图形界面抢内存。内存一吃紧,系统开始换页,生成速度会突然掉到无法交互。
再看频率和温度。很多 ARM 板的 big 核跑满几分钟就会降频,日志里看不到“OOM”,只有吞吐慢慢变差。用 cat /sys/devices/system/cpu/cpu*/cpufreq/scaling_cur_freq 和板子的温度节点对比:降频发生在哪颗核、是在 prefill 还是 decode。把 governor 临时调到 performance 做对照,能分清是软件路径问题还是热设计问题。不要在办公室空调环境下测一分钟,就写进产品指标。
选型时把上下文长度、批大小和是否需要同时跑别的进程算进去,而不是只看“4bit 后文件是 4GB”。能接受的做法是:固定一个上下文上限,预留 KV cache,测 30 分钟稳态 token/s,同时记录频率和温度。数字好看但只会在预热后的前 20 秒成立,对现场没有意义。ARM64 上把小模型跑稳,往往比把大模型量化到刚好塞进去更有用。
先看驻留内存和页错误。量化后权重大多是顺序扫描,对缓存不友好,对 DRAM 带宽很敏感。如果运行时没有用大页(THP 或显式 huge pages),TLB 压力会让同样的矩阵乘变慢一截。生成阶段 KV cache 会随上下文变长,内存占用不是启动时那一个数字。htop、/proc/meminfo 和 pidstat -r 能看出是不是在和页缓存、图形界面抢内存。内存一吃紧,系统开始换页,生成速度会突然掉到无法交互。
再看频率和温度。很多 ARM 板的 big 核跑满几分钟就会降频,日志里看不到“OOM”,只有吞吐慢慢变差。用 cat /sys/devices/system/cpu/cpu*/cpufreq/scaling_cur_freq 和板子的温度节点对比:降频发生在哪颗核、是在 prefill 还是 decode。把 governor 临时调到 performance 做对照,能分清是软件路径问题还是热设计问题。不要在办公室空调环境下测一分钟,就写进产品指标。
选型时把上下文长度、批大小和是否需要同时跑别的进程算进去,而不是只看“4bit 后文件是 4GB”。能接受的做法是:固定一个上下文上限,预留 KV cache,测 30 分钟稳态 token/s,同时记录频率和温度。数字好看但只会在预热后的前 20 秒成立,对现场没有意义。ARM64 上把小模型跑稳,往往比把大模型量化到刚好塞进去更有用。