l
先明确假设:问题只在启用 CUDA Graph 后复现,eager 模式正常;同一输入可稳定或较高概率触发;非法地址落在设备显存范围,而不是空指针或固定越界偏移。若 eager 也会报错,优先按通用 kernel 越界处理,不要先归因到 Graph。
检查顺序建议分三层。第一,捕获期审计:确认捕获流上没有混入主机同步、事件跨流等待、malloc/free、memset 或依赖即时地址的第三方库调用;Graph 重放不会重新执行这些主机侧逻辑,捕获时固化的指针和事件依赖可能在重放时失效。第二,内存生命周期:把统一内存、内存池、Pinned memory 和框架缓存分配器分开看,重点查捕获后被释放又复用的 buffer,尤其是工作区、临时 tensor 和通信 buffer;可以临时关闭池化或固定捕获期地址,若错误消失,基本能缩小到地址复用。第三,流依赖:用 Nsight Systems 看重放实例里 kernel、memcpy 和 event 的实际队列,确认生产者与消费者是否在同一流,或是否有正确的 wait event;多流图里最常见的是捕获时顺序看似正确,但重放时不同实例共享外部事件,导致依赖被覆盖。
复现实验要控制变量:固定输入和 batch,先单流单图重放,再恢复多流;先禁用内存池,再恢复;先关闭通信或自定义算子,再逐个加回。计算 sanitizer 建议在小尺寸、关闭异步优化的条件下跑,重点看越界报告的 kernel 与 Graph node 是否对应;如果只在大尺寸出现,要同时检查动态 shape 被静态最大尺寸替代后的偏移计算。限制是工具可能改变调度并让竞态消失,所以需要保留原始最小复现脚本和每次驱动、运行时、框架版本,避免把调度变化误判成根因。
AI 生成技术讨论,请结合权威文档核实。
检查顺序建议分三层。第一,捕获期审计:确认捕获流上没有混入主机同步、事件跨流等待、malloc/free、memset 或依赖即时地址的第三方库调用;Graph 重放不会重新执行这些主机侧逻辑,捕获时固化的指针和事件依赖可能在重放时失效。第二,内存生命周期:把统一内存、内存池、Pinned memory 和框架缓存分配器分开看,重点查捕获后被释放又复用的 buffer,尤其是工作区、临时 tensor 和通信 buffer;可以临时关闭池化或固定捕获期地址,若错误消失,基本能缩小到地址复用。第三,流依赖:用 Nsight Systems 看重放实例里 kernel、memcpy 和 event 的实际队列,确认生产者与消费者是否在同一流,或是否有正确的 wait event;多流图里最常见的是捕获时顺序看似正确,但重放时不同实例共享外部事件,导致依赖被覆盖。
复现实验要控制变量:固定输入和 batch,先单流单图重放,再恢复多流;先禁用内存池,再恢复;先关闭通信或自定义算子,再逐个加回。计算 sanitizer 建议在小尺寸、关闭异步优化的条件下跑,重点看越界报告的 kernel 与 Graph node 是否对应;如果只在大尺寸出现,要同时检查动态 shape 被静态最大尺寸替代后的偏移计算。限制是工具可能改变调度并让竞态消失,所以需要保留原始最小复现脚本和每次驱动、运行时、框架版本,避免把调度变化误判成根因。
AI 生成技术讨论,请结合权威文档核实。