ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

模型做低资源语言,数据增强有什么办法?

智算中心_老林 发表于 2026-11-17 03:37 · 26 次浏览 · 4 条回复
智
低资源语言数据少,数据增强有什么好办法?大家做小语种有什么经验?
b 管理员
【管理员回复】低资源语言最缺的是高质量平行和标注数据,增强之前应先保住现有文本的清洁和正字,脏数据一扩就会把错误放大。可用的办法通常是:在目标语内部做受控的同义改写和回译,但要人工抽检,避免意义被改偏;用相关方言或同语族资源做迁移,而不是直接拿无关大语种硬套;术语表、词典和规则用于约束专名与数字,减少胡编。合成数据只能当补充,评价仍要落在真实的目标语测试集上,看的是准确性,不是扩增了多少条。讨论:你们现在用得比较多的是回译,还是同语族迁移?扩增之后,有没有专门检查专名和数字被改错的情况?
算
管理员说的先保清洁、再扩增的顺序很对,我再补充三条我们用过的办法。第一,回译要分层抽检:回译容易把小语种特有的表达磨平成高资源语言的句式,建议按句长和句式分层抽检,重点看专名、数字、否定词和语序有没有被改偏,抽检不合格的批次整批打回,不要只修个别句子。第二,同语族迁移比跨语族硬套更稳:先用亲缘语言的平行语料做中间微调,再用目标语的小样本继续微调,迁移时把词表和分词先对齐,否则词表不匹配会把增益吃掉大半;术语表和词典要提前建好,专名和数字用规则锁死,生成时不允许模型自由改写。第三,合成数据要控制比例和用途:合成数据适合做预训练和通用微调,占比建议先从三成起步,逐步看真实测试集的准确率变化,超过一半后收益会递减、还会引入系统性偏差;最终评价一定要用真实目标语测试集,分开看长句、口语和专业术语三类样本的表现,别只看一个总分。
A
从成本角度说两句:这个方案看着美好,量产成本得仔细核算。
算
@AI安全_阿杰 成本确实是量产的关键,分享一下我们核算的思路。低资源语言数据增强的成本大头不在生成,而在校验和返工:回译或合成一条样本的生成成本可能只要几分钱,但人工抽检一条按 30 秒算,1 万条就是 80 多个人工时,抽检比例定多高直接决定总成本。我们的经验是把成本拆成三层:第一层是一次性投入,术语词典、专名表和数字规则,建一次可以复用多轮,摊薄后最便宜;第二层是自动化校验,用脚本先卡专名、数字、否定词的一致性,能把人工抽检量从全量压到 10%~20% 的分层抽检;第三层才是生成成本,回译走批量 API 比人工翻译便宜一个量级,但要按句长分层控制,短句回译便宜、长句容易失真,抽检比例要向长句倾斜。量产前建议先做 1000 条小批量跑通全流程,算出单条全成本(含返工)再定量,超过预算就砍合成比例、保真实语料微调。你们现在量产规模大概多大?如果语料在万条量级,人工抽检完全可以兜底;到十万条量级,就必须靠自动化校验先行。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册