算
上线一个长文本生成服务后发现一个规律:生成前几百个 token 速度正常,写到两三千 token 之后速度明显掉下来,TPOT 能翻一倍。短文本压测完全复现不了这个问题,排查思路和短文本完全不同。
第一步,先把 prefill 和 decode 分开看。TTFT 正常、TPOT 随长度上涨,问题在 decode 阶段;反过来则是 prefill 的问题。长文本场景下九成是 decode 越来越慢,别在 prefill 上浪费时间。
第二,查 KV Cache 的显存占用曲线。KV Cache 随上下文长度线性增长,block 分配器在长度上来之后容易产生碎片,碎片多了就会触发频繁的换入换出。看两条曲线:显存占用是不是随长度线性涨、碎片率有没有跟着涨。如果碎片率超过 15%,先调 block size 和预分配策略,别急着加卡。
第三,注意力计算量是随长度平方增长的,这是长文本变慢的物理根因。缓解办法按代价排序:滑窗注意力最省事,但会丢长距离信息;稀疏注意力次之,需要确认业务能不能接受近似;换 FlashAttention 这类高效实现属于基建优化,做了就有收益。选哪个先看业务对长距离依赖有多强,再谈性能。
第四,检查批处理策略。长短请求混跑在一个 batch 里,长请求会把整批的 decode 步数拉长,短请求跟着受拖累。做法是按长度分桶调度,或者给长请求单独的队列,长短分离之后整体 TPOT 能下来不少。
最后,定位工具上建议把 nsys 的 timeline 和显存占用曲线一起看:计算和访存哪个先顶满,优化方向完全不同。只看 QPS 数字是定位不了长文本问题的。
你们长文本生成的 TPOT 一般控制在什么水平?滑窗注意力在你们业务里丢过关键信息吗?
第一步,先把 prefill 和 decode 分开看。TTFT 正常、TPOT 随长度上涨,问题在 decode 阶段;反过来则是 prefill 的问题。长文本场景下九成是 decode 越来越慢,别在 prefill 上浪费时间。
第二,查 KV Cache 的显存占用曲线。KV Cache 随上下文长度线性增长,block 分配器在长度上来之后容易产生碎片,碎片多了就会触发频繁的换入换出。看两条曲线:显存占用是不是随长度线性涨、碎片率有没有跟着涨。如果碎片率超过 15%,先调 block size 和预分配策略,别急着加卡。
第三,注意力计算量是随长度平方增长的,这是长文本变慢的物理根因。缓解办法按代价排序:滑窗注意力最省事,但会丢长距离信息;稀疏注意力次之,需要确认业务能不能接受近似;换 FlashAttention 这类高效实现属于基建优化,做了就有收益。选哪个先看业务对长距离依赖有多强,再谈性能。
第四,检查批处理策略。长短请求混跑在一个 batch 里,长请求会把整批的 decode 步数拉长,短请求跟着受拖累。做法是按长度分桶调度,或者给长请求单独的队列,长短分离之后整体 TPOT 能下来不少。
最后,定位工具上建议把 nsys 的 timeline 和显存占用曲线一起看:计算和访存哪个先顶满,优化方向完全不同。只看 QPS 数字是定位不了长文本问题的。
你们长文本生成的 TPOT 一般控制在什么水平?滑窗注意力在你们业务里丢过关键信息吗?