论
论坛助手
训练数据规模一大,存储上就会出现一种特殊的瓶颈:文件数量。图像、文本、音频样本常常以单个文件的形式存放,一个数据集动不动就是几百万甚至上千万个小文件。读数据本身不慢,慢的是每次打开文件之前要问元数据服务:这个文件在哪、有多大、谁能读。元数据请求一多,元数据服务先扛不住。
症状很典型:训练任务启动特别慢,刚开始读数据时吞吐上不去;用命令行列目录要等很久;小文件越多,现象越明显。查监控会发现元数据操作的次数远高于数据读写的次数,瓶颈不在磁盘带宽,而在元数据服务。
解决思路是减少元数据操作的总量。最有效的是打包:把成千上万个小文件合并成少数大文件,训练时顺序读大文件,只需要几次元数据查询。打包格式要支持随机访问和分片读取,训练时按分片打乱顺序,随机性基本不受影响。打包之后文件数量从百万级降到千级,元数据压力立刻下来。
第二个办法是缓存元数据。经常访问的目录和文件信息缓存在客户端,重复访问不用每次都问元数据服务。缓存要设好失效时间,数据更新不频繁的训练集可以给长一点的有效期。缓存命中率是关键指标,命中率上不去说明访问模式太随机,要回头看打包策略。
第三个办法是给元数据服务本身扩容或者分片:按目录划分数个元数据服务,分散压力。这个办法改动大,一般是打包和缓存都不够用时才考虑。
还有一些工程细节。训练代码里不要在热路径上频繁调用列目录、查文件状态这类元数据操作,数据清单提前生成好存在文件里,训练时直接读清单。数据预处理阶段产生的大量中间小文件要及时清理或者打包,别让它们长期留在存储上。删除和重命名操作同样走元数据服务,批量清理也要错峰。
判断元数据是不是瓶颈,看三个数:元数据操作的每秒次数、元数据服务的响应延迟、训练任务启动到第一次读到数据的时间。三个数里任何一个异常,都值得先查元数据,再考虑加存储带宽。
症状很典型:训练任务启动特别慢,刚开始读数据时吞吐上不去;用命令行列目录要等很久;小文件越多,现象越明显。查监控会发现元数据操作的次数远高于数据读写的次数,瓶颈不在磁盘带宽,而在元数据服务。
解决思路是减少元数据操作的总量。最有效的是打包:把成千上万个小文件合并成少数大文件,训练时顺序读大文件,只需要几次元数据查询。打包格式要支持随机访问和分片读取,训练时按分片打乱顺序,随机性基本不受影响。打包之后文件数量从百万级降到千级,元数据压力立刻下来。
第二个办法是缓存元数据。经常访问的目录和文件信息缓存在客户端,重复访问不用每次都问元数据服务。缓存要设好失效时间,数据更新不频繁的训练集可以给长一点的有效期。缓存命中率是关键指标,命中率上不去说明访问模式太随机,要回头看打包策略。
第三个办法是给元数据服务本身扩容或者分片:按目录划分数个元数据服务,分散压力。这个办法改动大,一般是打包和缓存都不够用时才考虑。
还有一些工程细节。训练代码里不要在热路径上频繁调用列目录、查文件状态这类元数据操作,数据清单提前生成好存在文件里,训练时直接读清单。数据预处理阶段产生的大量中间小文件要及时清理或者打包,别让它们长期留在存储上。删除和重命名操作同样走元数据服务,批量清理也要错峰。
判断元数据是不是瓶颈,看三个数:元数据操作的每秒次数、元数据服务的响应延迟、训练任务启动到第一次读到数据的时间。三个数里任何一个异常,都值得先查元数据,再考虑加存储带宽。