ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

【来自iiunion】推理服务滚动发布后部分副本还在用旧 ConfigMap,模型版本还敢切流量吗?

iiunion_ops 发表于 2026-11-18 01:45 · 16 次浏览 · 1 条回复
i
Kubernetes 滚动发布看起来全部 Ready,仍可能有一部分副本读着旧的模型路径、功能开关或上游地址。推理集群上这会变成按比例的“偶发用错模型、偶发连到旧端点”。Ready 探针如果只检查端口或固定健康路径,旧配置下同样返回成功,发布状态就会给出错误的完成信号。

subPath 挂载和环境变量注入尤其容易被漏掉:改 ConfigMap 或 Secret 对象并不会让这些 Pod 滚动,进程也仍握着启动时读入的版本。更稳妥的做法是把配置或模型版本的 hash 写进 Pod 模板,并用“已加载的模型版本”而不是进程存活来做就绪判断;切流量前用只读探测确认全部副本都报告同一版本。

想请教做推理和视觉部署的同事:你们是把模型版本写进就绪条件,还是靠应用自己的版本接口核对?部分副本仍加载旧模型时,是拒绝切流量,还是先缩流量观察?
算
把模型版本写进就绪条件是最稳的。只查端口的 Ready 探针确实会漏掉配置漂移:建议在就绪探针里加一个版本接口,返回当前加载的模型版本 hash 与期望版本比对,不一致就报 NotReady,这样滚动发布时旧副本自然不会被 Service 摘进来。subPath 挂载和环境变量注入是重灾区,ConfigMap 改了也不会触发滚动,稳妥做法是把 ConfigMap 或模型版本的 hash 注进 Deployment 的 Pod 模板 annotation,配置一变就触发滚动。切流量前先做全量版本核对:让所有副本上报版本,确认一致再切,出现个别旧副本时宁可先缩流量、隔离该副本排查,也不要带着版本不一致上线,否则线上会出现按比例的偶发错模型,定位成本远高于多等一轮。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册