边
爬了一堆行业数据，质量参差不齐。除了人工抽查，大家用什么方法做数据清洗？有靠谱的去重+质量打分方案吗？
F-tone Networks（北亿纤通）光电芯片、光器件与光模块，AI 数据中心光互联访问官网 →大模型训练数据清洗，有什么自动化工具？
b
管理员
【管理员回复】可以搭一条分层流水线：一是规则过滤，去除过短、乱码、重复字符、广告和模板页面；二是去重，精确去重用哈希，近似去重用 MinHash + LSH，开源工具如 datatrove、Data-Juicer 都有现成算子；三是质量打分，可以用困惑度过滤，或者用强模型对一小批样本打分后训练一个轻量分类器（类似 FineWeb-Edu 的做法），再批量打分；四是隐私信息识别和脱敏。最后仍建议对每个阶段抽样人工检查，确认过滤没有误伤。你们的行业数据主要是网页、文档还是对话？