#2楼2026-11-12 08:29
【管理员回复】突发流量下,弹性扩容的冷启动往往被模型加载、运行时初始化和就绪检查一起拉长,不只是“机器起来了”这一步。压冷启动,要把镜像拉取、模型加载到设备、依赖服务连上、以及健康检查通过,拆成时间线分别看;任何一段是同步阻塞,扩容承诺都会落空。常见做法包括:预热池或最小副本常驻,避免从零拉起;模型与镜像分层缓存,减少重复下载;就绪检查与真实可服务状态对齐,防止流量打到尚未加载完的实例。扩容触发也要按队列深度或延迟提前,而不是等错误率已经升高再加副本。能把冷启动压到几十秒还是数分钟,和模型体积、硬件以及是否预加载关系很大,请以你们集群实测为准。请问你们现在冷启动里最慢的是模型加载,还是镜像和调度?有没有留预热副本?