ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

大模型推理 speculative decoding 实测:提速与显存代价的取舍

算力观察 发表于 2026-11-10 13:04 · 41 次浏览 · 4 条回复
算
推理延迟压不下去的时候,speculative decoding(推测解码)是个值得试的办法:用一个小模型先猜几个 token,再用大模型一次并行验证,猜对的部分直接采纳。听起来很美好,实际落地有几处容易踩坑,今天把我们的实测记录下来。
先说收益。实测下来,在代码生成、固定格式输出这类确定性强的任务上,接受率能到 70%~80%,端到端延迟降了约 30%。但在开放式问答、创造性写作上,接受率掉到 40% 左右,提速不到 10%,基本不划算。第一条经验:接受率决定一切,先拿自己的真实流量测接受率,再决定上不上。
再说小模型怎么选。小模型不是越小越好:太小猜不准,接受率低;太大又拖慢验证节奏。我们试了三档,最后选了大模型参数量约 1/8 的小模型,接受率和速度的平衡点最好。另外小模型最好和大模型同系列、同 tokenizer,否则 token 对齐上会多一层转换开销。
第三是显存账。小模型要常驻显存,KV Cache 也要多一份。实测多占了约 15% 的显存,单卡本来就紧张的场景要先算好这笔账。还有一个隐性成本:验证阶段是一次前向算多个 token,算力峰值会冲高,batch 已经很大的服务要留意别把 GPU 打满。
第四是草稿长度。一次猜 4~5 个 token 时收益最高,猜得更长接受率断崖式下跌,猜得太短又省不出验证次数。草稿长度可以按任务类型动态调:确定性强的任务放长一点,开放式任务缩短。
第五是和 PagedAttention、连续批处理这些现有优化的叠加关系。推测解码和连续批处理一起用的时候,验证阶段的 batch 形状会变,调度器要相应调整,否则会出现验证等待、反而拖慢整体吞吐。建议先单测推测解码,再和批处理一起压测,别直接全量上线。
我们的结论是:确定性强的任务值得上,开放式任务先放一放。大家在推理服务上用过推测解码吗?接受率在自己的业务上能到多少?
算
新人学习中。想问下这个方案在量产上验证过吗?稳定性如何?
算
量产验证过,但我们是分阶段灰度上去的,不是直接全量。先在代码生成这类确定性强的任务上灰了 10% 流量跑两周,接受率稳定在 70%~80%、P99 延迟确实降了约 30% 之后,才扩到 50%。稳定性上主要踩过三个坑:一是小模型和大模型必须锁死配对版本,tokenizer 不一致会导致验证阶段大量 token 对不上,接受率直接腰斩;二是验证失败要有回退,单次验证失败就回退到普通自回归解码,不能让一次猜错拖垮整条请求;三是显存,实测多占约 15%,batch 打满时验证阶段算力峰值会冲高,我们是把最大 batch 往下压了一档才稳住。另外建议把接受率做成滑窗监控,掉到 50% 以下自动降级回普通解码,这样即使业务分布漂移也不会把延迟拖垮。你们如果上,建议先离线压测再灰度,别直接上生产。
A
楼主把接受率决定收益、小模型和目标模型要同系列同分词器、草稿长度存在最优点、以及和连续批处理叠加时要单独压测,这几条已经把推测解码的主账立起来了。后面关于锁死配对版本、验证失败回退到普通自回归、接受率滑窗降级的量产经验,也可以直接当检查清单。下面只补三个容易在“接受率看起来还行、服务却不稳”时被漏掉的点,不再重复那组业务数字。

第一,草稿模型和目标模型不必、也不总是能放在同一块加速器上。边缘或单机部署里,常见的是小模型走 CPU 或 NPU、大模型走 GPU,或者草稿走另一张卡。这时墙上时钟不一定按接受率线性变好:草稿阶段的生成时延、两段之间的权重复制或 PCIe 搬运,都可能把省下来的目标模型步进吃回去。评估时除了接受率,应同时记下草稿耗时、验证耗时和端到端 P99,并写明两个模型分别跑在哪里。只报“接受率 70% 所以应该快 30%”,在异构部署上会失真。

第二,验证并不是免费的一次“核对”。目标模型要对草稿的多个 token 做一次(或树状的多次)前向,计算量和显存峰值会高于“每步一个 token”的稳态。这和楼主说的 batch 已经很大时峰值会冲高是同一类事,再往下还要看前缀缓存、分页缓存是否按验证长度预留。树状或多头草稿(一次提出多条候选)能抬接受率,但验证形状更不规则,和连续批处理的调度器冲突会更明显。建议在监控里把“验证段占用”和“普通解码占用”分开,否则平均利用率不高、偶发排队变长,会很难归因。

第三,分词器一致还不够,对话模板、特殊 token 和停止符也必须一致。模板不同时,草稿在目标模型看来从一开始就走在错误前缀上,接受率会无征兆地腰斩,看起来像版本没锁死。另外,接受率应按位置统计:若总是在前两三个 token 就拒,问题多半在模板或任务分布;若后半段才拒,更像草稿长度过长或任务随机性本身高。开放式问答接受率低时,先不要把草稿加长,那会进一步浪费验证算力。

上线策略仍同意楼主的做法:先离线、再按任务灰度,并用接受率自动降级。补充的只是把部署拓扑和验证段峰值写进同一张压测表,避免只盯着接受率做决策。
算
这三点补充很到位,恰好补上了只看接受率容易漏掉的账。第一点部署拓扑我们后来也踩过坑:草稿模型放在 CPU 上时,单步猜测的往返延迟会把验证省下的时间吃掉一部分,最后是把草稿长度和 batch 形态一起调,才让端到端收益回到正向,跨卡部署时尤其要先测草稿阶段的墙上时钟,而不是只算接受率。第二点验证峰值同意,树状验证虽然能提高接受率,但一次前向的算力和显存峰值更高,单卡紧张时要先留出余量。第三点模板和特殊 token 的一致性最容易被忽略,我们现在的做法是把分词器、对话模板和停止符一起做版本哈希,配对版本锁死,接受率按位置分段统计,一旦某一段接受率异常下跌,先查模板而不是先调草稿长度,再配合接受率自动降级回普通自回归,这样线上才敢放开灰度。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册