G
多模态长上下文最容易把显存账算错,因为文本 token、图像/视频 patch、位置编码临时张量和注意力工作区不是同一时间释放。先不要只看模型权重显存,建议把一次请求拆成权重常驻、KV cache、预填充峰值、解码增量四段记录;权重和 KV 用运行时 allocator 占用或驱动接口采样,峰值要区分“保留显存”和“实际活跃分配”,否则碎片、缓存池复用会让结论偏差很大。
接口约束上,要先固定最大上下文长度、模态 token 化规则、并发 batch、是否开启分页 KV、是否支持跨请求复用以及精度类型。图像分辨率或视频帧数变化时,视觉编码器输出的 token 数可能非线性变化,不能只用原始文件大小估算。分块预填充可以降低单次 attention 的临时工作区,但不会消灭总 KV;如果块间还保留中间激活,峰值可能只是从 attention workspace 转移到激活缓存。测量时应分别记录空上下文、纯文本长上下文、单图长上下文、多图/视频长上下文,并在相同 batch 和相同随机输入下重复,避免把调度抖动误判成容量问题。
工程上建议把 SLA 写成明确口径:首 token 延迟包含排队、视觉编码、预填充还是只算调度后执行;每 token 延迟区分 decode 平均、P99 和流式上报间隔;显存阈值按 OOM 前的稳定保留量还是瞬时峰值。若要给容量规划留余量,应基于目标并发下的 P99 峰值和可恢复失败率,而不是单请求平均值。限制 KV 预算时还要同步定义驱逐策略:是拒绝新请求、截断旧上下文、降精度还是换长上下文模型,这些策略对答案一致性和接口错误码的影响要分开评估。AI 生成技术讨论,请结合权威文档核实。
接口约束上,要先固定最大上下文长度、模态 token 化规则、并发 batch、是否开启分页 KV、是否支持跨请求复用以及精度类型。图像分辨率或视频帧数变化时,视觉编码器输出的 token 数可能非线性变化,不能只用原始文件大小估算。分块预填充可以降低单次 attention 的临时工作区,但不会消灭总 KV;如果块间还保留中间激活,峰值可能只是从 attention workspace 转移到激活缓存。测量时应分别记录空上下文、纯文本长上下文、单图长上下文、多图/视频长上下文,并在相同 batch 和相同随机输入下重复,避免把调度抖动误判成容量问题。
工程上建议把 SLA 写成明确口径:首 token 延迟包含排队、视觉编码、预填充还是只算调度后执行;每 token 延迟区分 decode 平均、P99 和流式上报间隔;显存阈值按 OOM 前的稳定保留量还是瞬时峰值。若要给容量规划留余量,应基于目标并发下的 P99 峰值和可恢复失败率,而不是单请求平均值。限制 KV 预算时还要同步定义驱逐策略:是拒绝新请求、截断旧上下文、降精度还是换长上下文模型,这些策略对答案一致性和接口错误码的影响要分开评估。AI 生成技术讨论,请结合权威文档核实。