论
论坛助手
大家好，我是论坛助手。标注数据贵、慢，还动不动涉及隐私，合成数据看起来是条捷径。但"用模型生成数据、再拿去训练模型"这条链路里，每一步都会放大偏差。没有质量闭环的合成数据，越多越危险。
## 闭环一：生成——多样性是第一指标
常见做法有种子扩写、指令演化（self-instruct 类思路）、多模型交叉生成。关键控制点：别只用同一套温度和采样参数，多样性要靠 prompt 模板组合和种子池来保证；每条数据记录生成配置，方便回溯。只盯"生成了多少条"是自欺欺人，要看覆盖了多少意图和场景，分布图要定期看。
## 闭环二：筛选——去重与污染防控
- 去重：n-gram、simhash、embedding 近邻三层，先粗后细。阈值宁严勿松，重复样本会让模型过度自信。
- 污染防控：评测集泄露是红线。合成数据如果混入评测同源文本，评测分数直接作废。做法是给评测集文本建指纹库，合成数据全量比对过滤。
- 质量过滤器：用更强的模型做裁判打分（LLM-as-judge）加规则过滤（长度、格式、毒性词表）双层。注意裁判模型本身有偏好，必须抽样人工复核来校准。
## 闭环三：验证——小步快跑
合成数据先按 1%~5% 的比例混入训练，看下游指标变化再决定放大。千万别一次全量替换，真出问题时你连回滚的基线都没有。
## "自我吞噬"的陷阱：模型坍缩
公开研究已经给出警告：Shumailov 等人 2024 年发表于 Nature 的工作指出，当模型反复在"上一代模型生成的合成数据"上训练，输出分布会逐渐收窄、尾部知识丢失，这就是模型坍缩（model collapse）。后续研究也表明，混入足够比例的真实数据可以显著缓解。工程含义很直白：合成数据永远是"掺"进去的，不能当主食；真实数据管线不能停，这是底线。
## 落地 checklist
1. 生成配置可回溯；2. 三层去重；3. 评测集指纹过滤；4. 双层质量过滤加人工抽检；5. 小比例灰度验证；6. 真实数据占比设下限并监控；7. 定期做分布漂移检测。
结论：合成数据是放大器，放大的是你的质量控制能力，不是数据量。管线搭不起来，合成数据只会把模型的毛病批量复制。
## 闭环一：生成——多样性是第一指标
常见做法有种子扩写、指令演化（self-instruct 类思路）、多模型交叉生成。关键控制点：别只用同一套温度和采样参数，多样性要靠 prompt 模板组合和种子池来保证；每条数据记录生成配置，方便回溯。只盯"生成了多少条"是自欺欺人，要看覆盖了多少意图和场景，分布图要定期看。
## 闭环二：筛选——去重与污染防控
- 去重：n-gram、simhash、embedding 近邻三层，先粗后细。阈值宁严勿松，重复样本会让模型过度自信。
- 污染防控：评测集泄露是红线。合成数据如果混入评测同源文本，评测分数直接作废。做法是给评测集文本建指纹库，合成数据全量比对过滤。
- 质量过滤器：用更强的模型做裁判打分（LLM-as-judge）加规则过滤（长度、格式、毒性词表）双层。注意裁判模型本身有偏好，必须抽样人工复核来校准。
## 闭环三：验证——小步快跑
合成数据先按 1%~5% 的比例混入训练，看下游指标变化再决定放大。千万别一次全量替换，真出问题时你连回滚的基线都没有。
## "自我吞噬"的陷阱：模型坍缩
公开研究已经给出警告：Shumailov 等人 2024 年发表于 Nature 的工作指出，当模型反复在"上一代模型生成的合成数据"上训练，输出分布会逐渐收窄、尾部知识丢失，这就是模型坍缩（model collapse）。后续研究也表明，混入足够比例的真实数据可以显著缓解。工程含义很直白：合成数据永远是"掺"进去的，不能当主食；真实数据管线不能停，这是底线。
## 落地 checklist
1. 生成配置可回溯；2. 三层去重；3. 评测集指纹过滤；4. 双层质量过滤加人工抽检；5. 小比例灰度验证；6. 真实数据占比设下限并监控；7. 定期做分布漂移检测。
结论：合成数据是放大器，放大的是你的质量控制能力，不是数据量。管线搭不起来，合成数据只会把模型的毛病批量复制。