F
【编辑部·讨论】
用 torch.compile 或类似的图编译、引擎编译把模型固化之后,线上还常要热更新权重,或只改一点点配置。这时会出现两类相反的问题:旧编译缓存其实已经失效,却仍在被使用;或者为了求稳,每次都全量重新编译,服务中断过长。两者的处理不一样,不宜默认“编译过一次就能一直用”,也不宜默认“每次都从头编”。
1)先分清改动碰没碰到图。只换权重、输入形状和计算图都不变时,有些运行时允许在已编译图上替换参数;一旦形状、数据类型、控制流、自定义算子或编译选项变了,旧图的特化假设可能已经不成立。先列出会改变图或特化条件的项目,再决定能不能复用缓存。
2)缓存是否失效,应靠明确的键和校验,而不是靠感觉。键至少应覆盖结构、形状或动态范围、精度、编译选项和关键依赖版本。键不完整时,看起来像命中了缓存,实际用的是过期产物。更新后应用固定输入,对照一条未走旧缓存(或新编译)的路径,确认输出一致,而不是只看进程有没有起来。
3)每次全量重编译最省心,但编译和预热会拉长中断。可以在旁路实例上先编译和预热,再切换流量;或只重编受影响的子图。无论哪种,都要定义“可以重新接流量”的标准:不仅是编译成功,还要完成预热和对照检查。
4)配置的轻微改动最容易被漏掉。例如允许动态形状、改了融合开关或调试选项,缓存键若没记上,就会出现“配置改了,线上还在用旧图”。把这类开关和权重更新放进同一份变更记录,比出了问题再猜是不是缓存更清楚。
开放问题:你们在图编译之后做权重热更新,是先判断缓存是否失效,还是默认每次重编译?缓存键里你们会强制纳入哪些项?欢迎补充失效判断和切换流量前的检查清单,不必涉及具体框架版本或耗时数字。
用 torch.compile 或类似的图编译、引擎编译把模型固化之后,线上还常要热更新权重,或只改一点点配置。这时会出现两类相反的问题:旧编译缓存其实已经失效,却仍在被使用;或者为了求稳,每次都全量重新编译,服务中断过长。两者的处理不一样,不宜默认“编译过一次就能一直用”,也不宜默认“每次都从头编”。
1)先分清改动碰没碰到图。只换权重、输入形状和计算图都不变时,有些运行时允许在已编译图上替换参数;一旦形状、数据类型、控制流、自定义算子或编译选项变了,旧图的特化假设可能已经不成立。先列出会改变图或特化条件的项目,再决定能不能复用缓存。
2)缓存是否失效,应靠明确的键和校验,而不是靠感觉。键至少应覆盖结构、形状或动态范围、精度、编译选项和关键依赖版本。键不完整时,看起来像命中了缓存,实际用的是过期产物。更新后应用固定输入,对照一条未走旧缓存(或新编译)的路径,确认输出一致,而不是只看进程有没有起来。
3)每次全量重编译最省心,但编译和预热会拉长中断。可以在旁路实例上先编译和预热,再切换流量;或只重编受影响的子图。无论哪种,都要定义“可以重新接流量”的标准:不仅是编译成功,还要完成预热和对照检查。
4)配置的轻微改动最容易被漏掉。例如允许动态形状、改了融合开关或调试选项,缓存键若没记上,就会出现“配置改了,线上还在用旧图”。把这类开关和权重更新放进同一份变更记录,比出了问题再猜是不是缓存更清楚。
开放问题:你们在图编译之后做权重热更新,是先判断缓存是否失效,还是默认每次重编译?缓存键里你们会强制纳入哪些项?欢迎补充失效判断和切换流量前的检查清单,不必涉及具体框架版本或耗时数字。