训练任务跑起来,显卡常常不是在算,而是在等数据。数据还在磁盘上、还在解压、还在做增强,显卡空转,集群利用率上不去。问题多半不在显卡,而在数据供给这条流水线没搭好。

一条完整的数据流水线分几段:从存储读原始数据、解压解码、做数据增强、拼成批次、传到显卡。任何一段跟不上,都会拖慢整条线。预取流水线的做法是让这几段并行起来:显卡在算第 N 批的时候,处理器已经在准备第 N 加 1 批甚至第 N 加 2 批,数据提前备好,显卡不用停下来等。

预取深度是第一个要调的参数。队列太浅,数据波动一大就断供;队列太深,内存被大量未使用的数据占满,还可能打乱数据顺序。常见的做法是从小往大调,边调边看显卡利用率和数据等待时间,找到刚好不断供的最小深度。

并行读数是第二个关键。单线程顺序读小文件很慢,要用多个工作进程并行读、并行解码。工作进程数也不是越多越好,超过处理器核数反而互相抢资源,解码这类重计算环节尤其明显。还要看存储的承受能力:并行度太高会把存储的并发打满,延迟反而上升。

小文件是数据供给最常见的瓶颈。训练集动不动几百万个小文件,每次打开、寻址、关闭都是一次往返。解决办法是把小文件打包成大的分片文件,顺序读大文件比随机读小文件快得多。打包之后随机打乱的粒度从单个样本变成整个分片,训练效果基本不受影响。

还有几处容易被忽略。一是数据增强尽量放在处理器端做,别占显卡时间;二是解码这类可以放到显卡上的环节,可以评估用显卡解码,分担处理器压力;三是训练开始前先做一次热身,让流水线跑满再正式计时,否则前几分钟的利用率失真;四是网络存储和本地存储的带宽要分开算,跨机读数据的延迟和本地盘不是一个量级。

判断流水线是否合格,看两个指标:显卡利用率是否稳定在高位,数据等待时间占总时间的比例是否足够低。利用率上不去,先别急着加卡,把数据这条线理顺,往往是最便宜的一次提速。