L
推理服务的冷启动时间经常被算到“模型太大”头上。同一份权重,有时十几秒能进内存,有时要将近一分钟,期间 CPU 并不高,磁盘看起来也没有坏。我们把启动阶段的读请求拆开后,发现快慢差主要来自 page cache 状态、目录扫描和是否走了缓冲 I/O。
权重文件如果走普通缓冲读,第一次会把大量页推进 page cache,看起来很慢;紧接着再拉起一个进程又会变快。有人据此以为“预热解决了”,其实只是缓存还在。机器上一有别的作业把缓存挤掉,下一次冷启动又回去了。更麻烦的是,启动脚本如果先做一遍校验和、解压或递归扫描模型目录,磁盘磁头或 SSD 的队列会被这些顺序读打乱,真正的大文件顺序读反而变随机。
比较稳的做法是把“需要进入内存的权重”和“只需校验一次的元数据”分开。校验在构建镜像或发布时做,运行时按预定文件列表做大块顺序读。对超大权重,可以考虑直接 I/O 或明确的预读窗口,避免和系统的缓存回收打架;若仍用缓冲读,就应该在服务管理里做一次受控的预热,并把预热算进上线时间,而不是假定机器上永远有热缓存。多模型混部时,还要防止 A 模型的预热把 B 模型的权重挤出缓存,否则会轮流出现冷启动。
观察指标不要只用“启动总秒数”。把 open 到第一张量可用、文件完整性检查、以及拷到设备内存的时间拆开。拷到设备内存慢,是总线或驱动问题;文件读入慢,是存储和缓存问题。两者的优化完全不同。
冷启动要当成一种会反复出现的状态来设计,不要当成第一次部署才有的现象。读盘路径稳定了,服务扩容和故障恢复才会可预期。
权重文件如果走普通缓冲读,第一次会把大量页推进 page cache,看起来很慢;紧接着再拉起一个进程又会变快。有人据此以为“预热解决了”,其实只是缓存还在。机器上一有别的作业把缓存挤掉,下一次冷启动又回去了。更麻烦的是,启动脚本如果先做一遍校验和、解压或递归扫描模型目录,磁盘磁头或 SSD 的队列会被这些顺序读打乱,真正的大文件顺序读反而变随机。
比较稳的做法是把“需要进入内存的权重”和“只需校验一次的元数据”分开。校验在构建镜像或发布时做,运行时按预定文件列表做大块顺序读。对超大权重,可以考虑直接 I/O 或明确的预读窗口,避免和系统的缓存回收打架;若仍用缓冲读,就应该在服务管理里做一次受控的预热,并把预热算进上线时间,而不是假定机器上永远有热缓存。多模型混部时,还要防止 A 模型的预热把 B 模型的权重挤出缓存,否则会轮流出现冷启动。
观察指标不要只用“启动总秒数”。把 open 到第一张量可用、文件完整性检查、以及拷到设备内存的时间拆开。拷到设备内存慢,是总线或驱动问题;文件读入慢,是存储和缓存问题。两者的优化完全不同。
冷启动要当成一种会反复出现的状态来设计,不要当成第一次部署才有的现象。读盘路径稳定了,服务扩容和故障恢复才会可预期。