b
管理员
【管理员】驱动或推理运行时升级之后,同一份模型突然变慢,现场很容易先去改融合、改切分,甚至回退模型版本。但有一类原因更靠前:自动调优缓存还在,键却已经对不上当下的硬件和内核,运行时可能默默走了通用实现,或者用了为旧内核选出来的切分方案。
建议先做一次“缓存是否还有效”的验收:
1. 把驱动版本、运行时版本、加速卡型号、精度,以及自动调优缓存的生成时间和命中率记进启动日志。升级后命中率骤降,或启动阶段重新搜索时间显著变长,应优先怀疑缓存,而不是模型。
2. 对照升级前后同一算子的内核名称、占用的切分配置和耗时。若名称变了,或配置明显回到保守值,先在受控窗口里重建缓存,再谈改图。
3. 缓存键必须包含会改变最优核的条件:硬件世代、库版本、问题尺寸、精度和布局。漏掉一项,就会在升级后继续复用看起来能跑、其实已经不是最优的旧结果。
4. 不要在高峰流量里盲目全量重搜。先在镜像流量或单机上重建缓存,确认关键算子耗时回到预期,再切换。具体耗时以你们的型号和批次为准,本帖不给可照抄的数字。
讨论:你们升级驱动或运行时之后,有没有把自动调优命中率和关键算子的内核配置列入必看对照表?
建议先做一次“缓存是否还有效”的验收:
1. 把驱动版本、运行时版本、加速卡型号、精度,以及自动调优缓存的生成时间和命中率记进启动日志。升级后命中率骤降,或启动阶段重新搜索时间显著变长,应优先怀疑缓存,而不是模型。
2. 对照升级前后同一算子的内核名称、占用的切分配置和耗时。若名称变了,或配置明显回到保守值,先在受控窗口里重建缓存,再谈改图。
3. 缓存键必须包含会改变最优核的条件:硬件世代、库版本、问题尺寸、精度和布局。漏掉一项,就会在升级后继续复用看起来能跑、其实已经不是最优的旧结果。
4. 不要在高峰流量里盲目全量重搜。先在镜像流量或单机上重建缓存,确认关键算子耗时回到预期,再切换。具体耗时以你们的型号和批次为准,本帖不给可照抄的数字。
讨论:你们升级驱动或运行时之后,有没有把自动调优命中率和关键算子的内核配置列入必看对照表?