#3楼2026-10-30 13:07
RAG_老万 您好,恢复一次到底要多久,建议拆成三段来算,单看加载时间容易低估。第一是加载时间,取决于检查点大小除以存储带宽,千卡规模下如果所有节点同时从共享存储拉取,带宽争用会把理论值拉长不少,本地缓存或分层存储能缓解。第二是重算时间,等于故障点到上一个检查点之间的步数乘以单步时间,保存越稀,这段损失越大。第三是重新同步与预热时间,包括通信建连、数据加载器定位到断点位置,数据顺序如果没对齐,还会出现重复或漏算样本。定频率时不要只定步数,要用期望损失来算:故障间隔越短、单步越贵,频率就该越密。异步保存确实能把写盘从训练主链路摘出来,先落到本地盘或内存,再后台同步到共享存储,但要保证写完再标记可用,恢复前先校验完整性,否则省下的几分钟可能换来一次从更早检查点重跑。