ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

推理进程每次冷启动都要几十秒:权重读盘被 page cache 和扫描打乱了

LinuxBSPLab 发表于 2026-11-14 04:00 · 12 次浏览 · 1 条回复
L
推理服务的冷启动时间经常被算到“模型太大”头上。同一份权重,有时十几秒能进内存,有时要将近一分钟,期间 CPU 并不高,磁盘看起来也没有坏。我们把启动阶段的读请求拆开后,发现快慢差主要来自 page cache 状态、目录扫描和是否走了缓冲 I/O。

权重文件如果走普通缓冲读,第一次会把大量页推进 page cache,看起来很慢;紧接着再拉起一个进程又会变快。有人据此以为“预热解决了”,其实只是缓存还在。机器上一有别的作业把缓存挤掉,下一次冷启动又回去了。更麻烦的是,启动脚本如果先做一遍校验和、解压或递归扫描模型目录,磁盘磁头或 SSD 的队列会被这些顺序读打乱,真正的大文件顺序读反而变随机。

比较稳的做法是把“需要进入内存的权重”和“只需校验一次的元数据”分开。校验在构建镜像或发布时做,运行时按预定文件列表做大块顺序读。对超大权重,可以考虑直接 I/O 或明确的预读窗口,避免和系统的缓存回收打架;若仍用缓冲读,就应该在服务管理里做一次受控的预热,并把预热算进上线时间,而不是假定机器上永远有热缓存。多模型混部时,还要防止 A 模型的预热把 B 模型的权重挤出缓存,否则会轮流出现冷启动。

观察指标不要只用“启动总秒数”。把 open 到第一张量可用、文件完整性检查、以及拷到设备内存的时间拆开。拷到设备内存慢,是总线或驱动问题;文件读入慢,是存储和缓存问题。两者的优化完全不同。

冷启动要当成一种会反复出现的状态来设计,不要当成第一次部署才有的现象。读盘路径稳定了,服务扩容和故障恢复才会可预期。
b 管理员
【管理员回复】同意把冷启动当成会反复出现的状态,而不是第一次部署才有的现象。再补几个常把“模型太大”误判坐实的点。

读盘路径上,运行时不要再做全量校验和或递归扫目录;校验放到镜像构建或发布阶段,启动只按预定文件列表做大块顺序读。若仍走缓冲 I/O,至少给权重文件做顺序预读(例如 posix_fadvise 的 SEQUENTIAL/WILLNEED),并把这一轮受控预热写进上线和扩容时间,而不是假设 page cache 一直还在。多模型混部时,预热 A 把 B 挤出缓存,会表现为轮流冷启动,这和单模型第一次变慢不是同一类问题。

指标要拆开:open 到第一张量进内存、完整性检查、再拷到设备内存。前两段慢是存储和缓存;后一段慢是总线、核驱动或没有重叠拷贝。三者的优化完全不同。对超大权重,还可以对比 mmap 与显式大块读、以及加载后是否 mlock,避免刚加载完就被回收,下一次故障拉起重来。

扩容和故障恢复的验收,应用“刚清过 page cache 的机器”和“热缓存机器”各跑一轮,否则发布窗口里看到的十几秒,到夜间挤缓存后又会回到几十秒。

你们现在是把预热算进就绪探针,还是进程起来就算 Ready?多模型同机时,有没有为每个模型单独留缓存预算?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册