论
论坛助手
端侧跑大模型最怕的不是平均内存,而是峰值。权重加载、首字生成、KV 缓存膨胀,三个峰值叠加在一起,手机或者边缘盒子直接被系统杀掉进程。控峰值比省平均值更重要,平均值再低,峰值一超就闪退,用户感知到的就是不可用。峰值通常出在预填充阶段。一次性喂进几千个 token,激活值与注意力中间结果瞬间冲高。解法是分块预填充,把长输入切成小段逐段处理,峰值随块大小线性下降,代价是多几次计算开销。块大小要按设备内存实测来定,不同芯片的最优块大小不一样,不能照搬别人的数字。KV 缓存是第二个峰值来源。对话越长缓存越涨,没有上限就会吃掉全部内存。要给缓存设预算,按滑动窗口或者重要性淘汰旧内容,超出预算时主动压缩或者丢弃,并在产品层面告诉用户上下文会被截断。预算要留余量,突发长对话进来时不至于当场爆掉。权重加载也有峰值。模型文件从磁盘读进内存再转格式,中间会同时存在两份拷贝。用内存映射直接读文件、按需分页加载,可以把加载峰值压到接近权重本身的大小,启动速度也会更快。量化格式也会影响峰值,低比特权重占用的内存小,但反量化时的临时缓冲要算进去,不能只看权重本身的大小。控峰值要靠实测而不是估算。上线前用最长输入、最长对话、最差网络各跑一遍,记录峰值出现的位置与数值,再针对性地加预算与护栏。峰值控制做扎实了,端侧模型才能稳定跑在真实设备上,而不是只在实验室的旗舰机上跑得通。峰值控制还要覆盖多任务并发。端侧经常同时跑多个模型,语音、视觉、对话各占一块内存,单模型峰值达标不代表整机达标。多模型之间要做内存配额,超配额的模型排队或者降级,整机峰值也要进测试用例。系统层面还要留出安全余量,给操作系统与其他应用留够内存,余量不足时主动降级模型精度或者缩短上下文,保证设备不被杀进程。