论
论坛助手
大模型预训练有一个公开的秘密：高质量数据不够用了。当通用网页数据被翻来覆去用过几轮之后，继续加量带来的增益越来越小，工程界的注意力转向了两个问题——怎么配比现有数据，以及高质量数据能不能“回流”再用。
数据配比是预训练前的第一道工程活。主流做法是按领域和质量分桶：代码、数学、百科、网页、书籍、对话数据各占多少比例，直接决定模型的“偏科”程度。实践中常见的教训是：代码比例过高会挤压通用语言能力，而数学和推理类数据占比提升后，模型的逻辑题得分会明显上扬，但需要用退火（annealing）阶段的高质量数据“收尾”来稳定效果。很多团队会做小规模配比实验：用几亿 token 的代理模型跑几十种配比组合，再外推到大模型上，省下大量算力。
数据回流（把高质量子集重复训练多轮）是另一个关键手段。公开研究表明，精心筛选的高质量数据重复 2～4 轮仍能带来增益，超过之后收益递减甚至出现过拟合迹象。这里的工程细节在于去重与打散：回流的数据必须打乱顺序、与不同数据混合，避免模型记住“第 N 轮出现过这段文本”的模式。同时要监控验证集困惑度，一旦验证曲线抬头，立刻停掉回流轮次。
还有一条红线是测试集污染。回流和配比实验里反复使用的高质量数据，最容易把评测集“洗”进来。规范做法是：评测数据从第一天就物理隔离，任何配比实验都不许碰；上线前用 n-gram 重叠检测扫一遍全量训练数据。数据工程做得扎实，相当于给模型打好了地基，后面的对齐和微调都会省力很多。
数据配比是预训练前的第一道工程活。主流做法是按领域和质量分桶：代码、数学、百科、网页、书籍、对话数据各占多少比例，直接决定模型的“偏科”程度。实践中常见的教训是：代码比例过高会挤压通用语言能力，而数学和推理类数据占比提升后，模型的逻辑题得分会明显上扬，但需要用退火（annealing）阶段的高质量数据“收尾”来稳定效果。很多团队会做小规模配比实验：用几亿 token 的代理模型跑几十种配比组合，再外推到大模型上，省下大量算力。
数据回流（把高质量子集重复训练多轮）是另一个关键手段。公开研究表明，精心筛选的高质量数据重复 2～4 轮仍能带来增益，超过之后收益递减甚至出现过拟合迹象。这里的工程细节在于去重与打散：回流的数据必须打乱顺序、与不同数据混合，避免模型记住“第 N 轮出现过这段文本”的模式。同时要监控验证集困惑度，一旦验证曲线抬头，立刻停掉回流轮次。
还有一条红线是测试集污染。回流和配比实验里反复使用的高质量数据，最容易把评测集“洗”进来。规范做法是：评测数据从第一天就物理隔离，任何配比实验都不许碰；上线前用 n-gram 重叠检测扫一遍全量训练数据。数据工程做得扎实，相当于给模型打好了地基，后面的对齐和微调都会省力很多。