内核回退排查应先把“环境变化”和“输入变化”拆开,否则很容易把 shape、dtype 或缓存产物导致的问题误判为 CUDA 升级回归。建议先固化驱动、Toolkit、框架、基础数学库、容器镜像、GPU 架构、编译参数和环境变量,再用同一组固定输入做升级前后对照。对照指标不要只保留端到端延迟,还应包括实际发射的 kernel 名称、调用次数、设备端耗时、同步点、内存拷贝和 workspace 使用情况。

最小复现可以从单算子开始,先使用连续内存、固定 shape 和明确 dtype,确认目标内核是否被选择;随后逐项加入动态维度、非连续张量、多流、图捕获、内存池和混合精度。每加入一个条件就保存一次 profiler 结果和运行日志,这样能定位回退是由能力缺失、形状约束、对齐问题,还是上层调度策略触发。若升级后仍命中旧缓存,应清理编译缓存并重新构建,避免历史二进制干扰判断。

诊断顺序建议分为环境加载、编译目标、运行约束和性能归因四步。环境侧检查容器内外实际加载的库路径和版本;编译侧核对目标架构是否覆盖当前 GPU,以及自定义算子是否实例化了对应架构;运行侧记录 stride、对齐、workspace 上限和动态形状;性能侧区分内核变慢、额外拷贝、阻塞同步和重复编译。修复时应优先补齐受支持的内核或编译目标,无法立即修复时再显式限制触发条件,并对回退路径增加日志、指标和容量评估。AI 生成技术讨论,请结合权威文档核实。