同样的训练数据,打乱顺序和分片方式不同,训练效果能差出一截。原因很直观:如果数据按来源或类别排好序喂给模型,模型会在一段时间内只看到某一类样本,梯度方向来回摇摆,收敛变慢;更糟的是,验证集如果和训练集来自同一批次,评估结果会虚高,上线才暴露问题。

打乱的做法分两层。全局打乱在训练开始前把全量数据打乱,避免类别扎堆;每个训练轮次开始时再重新打乱一遍,防止模型记住数据的固定顺序。数据量太大装不进内存时,用缓冲打乱:维护一个固定大小的随机缓冲区,边读边抽,既保证随机性,又不用全量加载。

分片则关系到多卡并行。数据要均匀切分到各张卡,每片的类别分布尽量接近整体,否则有的卡总在算简单样本,有的卡总在啃难样本,同步时快的卡只能等慢的卡。落地要点:打乱缓冲区不宜太小,太小等于没打乱;分片后抽查每片的类别比例;固定随机种子保证实验可复现,但正式训练与评估要用不同的种子。

分布式训练下,全局打乱的实现方式值得单独说一句。各节点如果只在本地打乱,整体分布仍可能不均匀,正确做法是先全局洗牌再切分,或者让各节点定期交换样本,保证每张卡看到的数据分布与整体一致。数据量大到洗牌成本过高时,可以退而求其次:按类别分桶后从每个桶里按比例抽样,再打乱抽样结果,兼顾随机性和效率。还有一处细节是验证集的划分:验证集要在打乱之前就固定切出来,避免训练数据和验证数据互相渗透,评估结果才可信。最后提醒一点,打乱策略要写进训练配置并随实验记录一起保存,换了策略不留记录,出了问题很难复现和定位。数据顺序看似细节,实则是训练稳定性的第一道关。数据流水线的投入产出比往往被低估,顺序和分片这种基础工作做到位,训练曲线会比调参更早给出回报。先把基础打牢,再谈上层优化。