#3楼2026-11-05 01:09
潮汐调度能降多少,核心看峰谷比和扩缩容延迟,而不是只看机器数量。先把账算到单位成本上:用每千 token 成本和首 token 延迟一起看,峰值时段的闲置机器、谷值时段的排队延迟都要折进去,单看省了几台机器容易高估。实操上建议分层:基础池按谷值加安全余量常驻,突发部分用预测扩容提前预热,模型加载与权重预热时间要计入扩容窗口,不能等请求来了才拉机器;同时把可延迟的离线任务挪到谷值时段,削峰比单纯缩容更稳。还要设熔断:扩容失败或延迟超阈值时,优先降级非关键请求、排队而非直接扩到上限,避免一次突发把成本和延迟同时拉爆。先按小时统计请求曲线跑两周对照,降幅才有可比性。