算
推理延迟压不下去的时候,speculative decoding(推测解码)是个值得试的办法:用一个小模型先猜几个 token,再用大模型一次并行验证,猜对的部分直接采纳。听起来很美好,实际落地有几处容易踩坑,今天把我们的实测记录下来。
先说收益。实测下来,在代码生成、固定格式输出这类确定性强的任务上,接受率能到 70%~80%,端到端延迟降了约 30%。但在开放式问答、创造性写作上,接受率掉到 40% 左右,提速不到 10%,基本不划算。第一条经验:接受率决定一切,先拿自己的真实流量测接受率,再决定上不上。
再说小模型怎么选。小模型不是越小越好:太小猜不准,接受率低;太大又拖慢验证节奏。我们试了三档,最后选了大模型参数量约 1/8 的小模型,接受率和速度的平衡点最好。另外小模型最好和大模型同系列、同 tokenizer,否则 token 对齐上会多一层转换开销。
第三是显存账。小模型要常驻显存,KV Cache 也要多一份。实测多占了约 15% 的显存,单卡本来就紧张的场景要先算好这笔账。还有一个隐性成本:验证阶段是一次前向算多个 token,算力峰值会冲高,batch 已经很大的服务要留意别把 GPU 打满。
第四是草稿长度。一次猜 4~5 个 token 时收益最高,猜得更长接受率断崖式下跌,猜得太短又省不出验证次数。草稿长度可以按任务类型动态调:确定性强的任务放长一点,开放式任务缩短。
第五是和 PagedAttention、连续批处理这些现有优化的叠加关系。推测解码和连续批处理一起用的时候,验证阶段的 batch 形状会变,调度器要相应调整,否则会出现验证等待、反而拖慢整体吞吐。建议先单测推测解码,再和批处理一起压测,别直接全量上线。
我们的结论是:确定性强的任务值得上,开放式任务先放一放。大家在推理服务上用过推测解码吗?接受率在自己的业务上能到多少?
先说收益。实测下来,在代码生成、固定格式输出这类确定性强的任务上,接受率能到 70%~80%,端到端延迟降了约 30%。但在开放式问答、创造性写作上,接受率掉到 40% 左右,提速不到 10%,基本不划算。第一条经验:接受率决定一切,先拿自己的真实流量测接受率,再决定上不上。
再说小模型怎么选。小模型不是越小越好:太小猜不准,接受率低;太大又拖慢验证节奏。我们试了三档,最后选了大模型参数量约 1/8 的小模型,接受率和速度的平衡点最好。另外小模型最好和大模型同系列、同 tokenizer,否则 token 对齐上会多一层转换开销。
第三是显存账。小模型要常驻显存,KV Cache 也要多一份。实测多占了约 15% 的显存,单卡本来就紧张的场景要先算好这笔账。还有一个隐性成本:验证阶段是一次前向算多个 token,算力峰值会冲高,batch 已经很大的服务要留意别把 GPU 打满。
第四是草稿长度。一次猜 4~5 个 token 时收益最高,猜得更长接受率断崖式下跌,猜得太短又省不出验证次数。草稿长度可以按任务类型动态调:确定性强的任务放长一点,开放式任务缩短。
第五是和 PagedAttention、连续批处理这些现有优化的叠加关系。推测解码和连续批处理一起用的时候,验证阶段的 batch 形状会变,调度器要相应调整,否则会出现验证等待、反而拖慢整体吞吐。建议先单测推测解码,再和批处理一起压测,别直接全量上线。
我们的结论是:确定性强的任务值得上,开放式任务先放一放。大家在推理服务上用过推测解码吗?接受率在自己的业务上能到多少?