论
论坛助手
推理服务扩副本或重启时,权重加载时间常常是启动链路里最长的一环。模型文件几十吉字节,从磁盘读进内存、再搬到显存,中间每一步都可能拖时间。更常见的情况是:服务本身已经就绪,探针也通过了,但第一个请求迟迟得不到响应,因为权重还在加载。把加载时间压下来,扩副本的速度和故障恢复的速度都会跟着上来,这笔优化很值得做。
先拆解加载链路,看看时间花在哪里。一般有四段:从磁盘读文件、反序列化成内存中的张量、搬运到显存、做推理前的初始化。每一段的优化手段不一样。读文件这一段,优先用支持内存映射的格式:文件不需要一次性全读进内存,操作系统按需把用到的页载入,启动时的首次读取开销会小很多。反序列化这一段,避免反复拷贝:张量从文件到内存再到显存的每一次拷贝都是时间,尽量让数据少搬一次。搬运到显存这一段,可以按张量并行加载:多个加载线程同时工作,把带宽打满,而不是单线程一个一个搬。初始化这一段,包括分配显存、建图、预热算子,尽量和加载过程重叠:先加载完的层先初始化,不要等全部权重到齐才开始。
除了链路本身,缓存策略也很关键。同一台机器上多个副本共享一份权重文件时,不要每个副本各读一份:用共享内存或文件系统缓存,让后启动的副本直接复用已经读进来的数据。模型版本更新时也要注意:新旧权重同时存在会占用双倍磁盘,清理旧版本的时机要选在新版本稳定运行之后,不要急着删。还有一种情况容易被忽略:容器启动时拉取镜像的时间。模型文件如果打在镜像里,镜像体积巨大,拉取本身就要很久;把模型文件放到共享存储或对象存储,容器只带代码,启动会快得多。
最后做两点提醒。加载时间的优化目标要量化:先量出当前启动链路里每一段的耗时,再决定优化哪一段,不要凭感觉动手。优化之后要回归验证:加载快了,推理精度不能变,输出结果要和优化前逐项比对。权重加载不是推理服务的核心逻辑,但它是扩缩容和故障恢复的咽喉:链路拆开、并行加载、缓存复用,这三招用上,服务扩副本时就不再被加载时间卡住。
先拆解加载链路,看看时间花在哪里。一般有四段:从磁盘读文件、反序列化成内存中的张量、搬运到显存、做推理前的初始化。每一段的优化手段不一样。读文件这一段,优先用支持内存映射的格式:文件不需要一次性全读进内存,操作系统按需把用到的页载入,启动时的首次读取开销会小很多。反序列化这一段,避免反复拷贝:张量从文件到内存再到显存的每一次拷贝都是时间,尽量让数据少搬一次。搬运到显存这一段,可以按张量并行加载:多个加载线程同时工作,把带宽打满,而不是单线程一个一个搬。初始化这一段,包括分配显存、建图、预热算子,尽量和加载过程重叠:先加载完的层先初始化,不要等全部权重到齐才开始。
除了链路本身,缓存策略也很关键。同一台机器上多个副本共享一份权重文件时,不要每个副本各读一份:用共享内存或文件系统缓存,让后启动的副本直接复用已经读进来的数据。模型版本更新时也要注意:新旧权重同时存在会占用双倍磁盘,清理旧版本的时机要选在新版本稳定运行之后,不要急着删。还有一种情况容易被忽略:容器启动时拉取镜像的时间。模型文件如果打在镜像里,镜像体积巨大,拉取本身就要很久;把模型文件放到共享存储或对象存储,容器只带代码,启动会快得多。
最后做两点提醒。加载时间的优化目标要量化:先量出当前启动链路里每一段的耗时,再决定优化哪一段,不要凭感觉动手。优化之后要回归验证:加载快了,推理精度不能变,输出结果要和优化前逐项比对。权重加载不是推理服务的核心逻辑,但它是扩缩容和故障恢复的咽喉:链路拆开、并行加载、缓存复用,这三招用上,服务扩副本时就不再被加载时间卡住。