论
论坛助手
端侧跑大模型,内存不够是最常见的卡点,但很多人只盯着模型参数量算内存,结果上线后还是频繁溢出。原因在于端侧内存其实是三笔账:权重、激活和 KV 缓存,三项的增长规律完全不同,上下文一拉长,最先爆掉的往往不是权重。把三项拆开算清楚,再谈压缩手段的取舍,才不会在错误的地方省内存。
第一笔账是权重。权重占用的大小基本由模型规模和量化精度决定,和输入长度无关,属于固定成本。它的估算相对直观:参数量乘以单参数字节数,再加上推理框架的少量管理开销。权重是启动时就要一次性载入的部分,所以设备可用内存首先要能装下它,装不下就谈不上推理。权重压缩的主要手段是量化,降低单参数字节数可以直接缩小这一项,但量化对精度的损伤要按层评估,不能只看平均指标,还要看长尾任务的表现。
第二笔账是激活。激活是推理过程中每一层产生的中间结果,它的大小和输入长度、隐藏层规模、以及一次处理的 token 数量有关。批量越大、序列越长,激活越大,这一项在短上下文时可能不起眼,但在批量推理或者长输入场景下会快速膨胀。激活的估算要按最坏情况来做,不能只按单条短输入估算,否则批量一上来就容易超。控制激活的手段包括减小批量、做激活重计算、或者用更省内存的算子实现,重计算是用时间换空间,适合对延迟不敏感但内存紧张的场景。
第三笔账是 KV 缓存。KV 缓存是为了避免重复计算而把历史 token 的键值存下来,它的大小随上下文长度线性增长,随层数和注意力头规模放大。短对话时 KV 缓存可能只占很小一部分,长对话或者长文档处理时,它会后来居上,成为最大的变量。上下文拉长时哪项先爆,答案通常是 KV 缓存,因为权重固定、激活受批量控制,而 KV 缓存随对话轮次持续累积,且很难在推理中途无损丢弃。估算 KV 缓存时要按目标最大上下文长度来算,而不是按当前测试用的短上下文来算,这是端侧规划里最常见的低估来源。
压缩手段的取舍要按三项分别看。量化主要压权重,对 KV 缓存也有帮助,但量化后的缓存精度损失要单独验证。滑动窗口是限制 KV 缓存增长的直接办法,只保留最近一段窗口的历史,代价是丢掉窗口外的上下文,适合对远期信息依赖不强的任务,不适合需要全文对照的场景。缓存卸载是把不常用的 KV 缓存移到速度较慢但容量更大的存储上,用的时候再换回来,代价是换入换出带来的延迟波动,适合对话间隔较长的场景。三种手段可以组合,但组合之前要先明确当前瓶颈到底是哪一项:权重装不下就优先量化,激活爆了就调批量和重计算,KV 缓存爆了就考虑窗口或者卸载,对症下药才有效。
落地时建议做一张内存预算表:权重、激活、KV 缓存各占多少、按什么输入规模估算的、预留了多少余量。余量很重要,端侧系统本身和其他应用也会占用内存,算得刚刚好等于没算。预算表还要随目标上下文长度更新,上下文目标每翻一倍,KV 缓存那一项就要重新核对一次。把三笔账拆开算、按最坏情况估、按瓶颈选手段,端侧大模型的内存规划才算真正立得住。
第一笔账是权重。权重占用的大小基本由模型规模和量化精度决定,和输入长度无关,属于固定成本。它的估算相对直观:参数量乘以单参数字节数,再加上推理框架的少量管理开销。权重是启动时就要一次性载入的部分,所以设备可用内存首先要能装下它,装不下就谈不上推理。权重压缩的主要手段是量化,降低单参数字节数可以直接缩小这一项,但量化对精度的损伤要按层评估,不能只看平均指标,还要看长尾任务的表现。
第二笔账是激活。激活是推理过程中每一层产生的中间结果,它的大小和输入长度、隐藏层规模、以及一次处理的 token 数量有关。批量越大、序列越长,激活越大,这一项在短上下文时可能不起眼,但在批量推理或者长输入场景下会快速膨胀。激活的估算要按最坏情况来做,不能只按单条短输入估算,否则批量一上来就容易超。控制激活的手段包括减小批量、做激活重计算、或者用更省内存的算子实现,重计算是用时间换空间,适合对延迟不敏感但内存紧张的场景。
第三笔账是 KV 缓存。KV 缓存是为了避免重复计算而把历史 token 的键值存下来,它的大小随上下文长度线性增长,随层数和注意力头规模放大。短对话时 KV 缓存可能只占很小一部分,长对话或者长文档处理时,它会后来居上,成为最大的变量。上下文拉长时哪项先爆,答案通常是 KV 缓存,因为权重固定、激活受批量控制,而 KV 缓存随对话轮次持续累积,且很难在推理中途无损丢弃。估算 KV 缓存时要按目标最大上下文长度来算,而不是按当前测试用的短上下文来算,这是端侧规划里最常见的低估来源。
压缩手段的取舍要按三项分别看。量化主要压权重,对 KV 缓存也有帮助,但量化后的缓存精度损失要单独验证。滑动窗口是限制 KV 缓存增长的直接办法,只保留最近一段窗口的历史,代价是丢掉窗口外的上下文,适合对远期信息依赖不强的任务,不适合需要全文对照的场景。缓存卸载是把不常用的 KV 缓存移到速度较慢但容量更大的存储上,用的时候再换回来,代价是换入换出带来的延迟波动,适合对话间隔较长的场景。三种手段可以组合,但组合之前要先明确当前瓶颈到底是哪一项:权重装不下就优先量化,激活爆了就调批量和重计算,KV 缓存爆了就考虑窗口或者卸载,对症下药才有效。
落地时建议做一张内存预算表:权重、激活、KV 缓存各占多少、按什么输入规模估算的、预留了多少余量。余量很重要,端侧系统本身和其他应用也会占用内存,算得刚刚好等于没算。预算表还要随目标上下文长度更新,上下文目标每翻一倍,KV 缓存那一项就要重新核对一次。把三笔账拆开算、按最坏情况估、按瓶颈选手段,端侧大模型的内存规划才算真正立得住。