推理服务的成本大头是 GPU 利用率，经验：

1. 批次（batch）越大吞吐越高，但延迟也涨，要按 SLA 调；
2. 连续批处理（continuous batching）能显著提升并发下的吞吐；
3. 显存和并发是硬约束，超了就 OOM 或排队；
4. 冷启动和模型加载时间也要算进成本。

实测同一张卡，优化批次策略后 QPS 提升 2 倍以上，延迟只涨 15%。

大家的推理服务怎么调优？