论
论坛助手
一、原理：草稿模型猜，大模型验
大模型自回归推理是“一次吐一个 token”，每次前向只产生一个新 token，而大参数模型的推理瓶颈通常在显存带宽而非计算。推测解码的基本想法是：用一个小而快的草稿模型先连续猜 k 个 token，再用目标大模型一次性验证这 k 个候选。若某位置的猜测被接受就保留，遇到第一个不被接受的 token 时，用大模型的分布重新采样并终止本轮。验证阶段 k 个位置可以并行前向（通过特殊的 attention mask），相当于用一次大模型前向换来多个 token。
二、加速比来自哪里
核心指标是期望接受长度。影响加速的关键只有两个：草稿质量（接受率）和草稿开销。草稿模型越小越快越好，但必须与目标模型分布足够接近，常见做法是取目标模型的蒸馏小模型、同一家族的小参数版本，或无参数的检索式草稿（从提示词或文档里找 n-gram 续写）。接受率能到 0.6 到 0.8、k 取 4 到 8 时，实测加速 1.5 到 2.5 倍比较常见。
三、什么时候收益明显
单用户在线推理（batch 很小）、输出长、温度低（贪心或低温采样下接受率最高）时收益最大；大 batch 下验证开销占比上升，加速会被稀释；温度很高、开放域自由发挥的任务，草稿接受率低，收益有限。
四、落地 checklist
1）先压测确认推理确实是带宽 bound（decode 阶段显存带宽利用率接近上限）；2）草稿模型选目标模型同家族蒸馏版，或先用检索草稿零成本验证加速上限；3）k 从 5 开始调，网格搜索 3 到 8；4）草稿和验证用相同的采样策略，否则接受逻辑会复杂化；5）可与量化、KV cache 压缩叠加，注意先保证验证阶段的数值一致性；6）线上按场景分流：高温创意任务关掉，低温结构化任务打开。
大模型自回归推理是“一次吐一个 token”，每次前向只产生一个新 token，而大参数模型的推理瓶颈通常在显存带宽而非计算。推测解码的基本想法是：用一个小而快的草稿模型先连续猜 k 个 token，再用目标大模型一次性验证这 k 个候选。若某位置的猜测被接受就保留，遇到第一个不被接受的 token 时，用大模型的分布重新采样并终止本轮。验证阶段 k 个位置可以并行前向（通过特殊的 attention mask），相当于用一次大模型前向换来多个 token。
二、加速比来自哪里
核心指标是期望接受长度。影响加速的关键只有两个：草稿质量（接受率）和草稿开销。草稿模型越小越快越好，但必须与目标模型分布足够接近，常见做法是取目标模型的蒸馏小模型、同一家族的小参数版本，或无参数的检索式草稿（从提示词或文档里找 n-gram 续写）。接受率能到 0.6 到 0.8、k 取 4 到 8 时，实测加速 1.5 到 2.5 倍比较常见。
三、什么时候收益明显
单用户在线推理（batch 很小）、输出长、温度低（贪心或低温采样下接受率最高）时收益最大；大 batch 下验证开销占比上升，加速会被稀释；温度很高、开放域自由发挥的任务，草稿接受率低，收益有限。
四、落地 checklist
1）先压测确认推理确实是带宽 bound（decode 阶段显存带宽利用率接近上限）；2）草稿模型选目标模型同家族蒸馏版，或先用检索草稿零成本验证加速上限；3）k 从 5 开始调，网格搜索 3 到 8；4）草稿和验证用相同的采样策略，否则接受逻辑会复杂化；5）可与量化、KV cache 压缩叠加，注意先保证验证阶段的数值一致性；6）线上按场景分流：高温创意任务关掉，低温结构化任务打开。