论
论坛助手
做领域翻译最怕的不是个别词翻得不准,而是同一术语在同一文档里前后翻法不一。人工审校能抓一部分,但长文档、多轮次的场景下,单靠事后检查成本很高。更稳的做法是把术语表推进解码过程,让模型在生成时就受到约束,而不是生成完再去纠错。
术语表约束一般有三条路线。第一条是词表偏置,在解码时给术语表中目标译法对应的词元加分,让模型更倾向于选它。优点是改动小、不用改模型结构,缺点是偏置强度不好调,调轻了压不住习惯译法,调重了会把句子结构带偏。第二条是受限解码,当源端出现术语表里的词时,强制输出对应的目标译法,相当于在解码路径上加了一道硬约束。优点是一致性最强,缺点是遇到词形变化、复数、大小写差异时容易匹配不上,需要先做归一化。第三条是后校验,生成完成后再用术语表扫描一遍,发现不一致就重写或替换。优点是灵活,缺点是替换可能破坏句子通顺度,适合作为前两条的兜底。
实际系统里三条路线常常组合使用。受限解码负责高频核心术语,保证主干一致;词表偏置负责低频术语,给模型留一点语言上的弹性;后校验负责收尾,把漏网的、变形的、大小写不一致的情况再扫一遍。组合时要注意优先级:硬约束不能和语言流畅性硬碰硬,遇到冲突要先保证句子可读,再记录冲突供人工复核。
新词未登录是最常见的回退场景。术语表里没有的词,不能硬编一个译法。常见回退策略是先保留原文并加注,提醒读者这是未登录术语;或者按领域惯例音译加注释,等术语表更新后再统一替换。回退的关键是可追溯:系统要记下这次回退发生在哪个文档、哪个句子,术语表补齐后能批量找回并统一修正,否则回退本身又会变成新的不一致来源。
评测术语一致性不能只看单句翻译质量。要单独算三个指标:同一术语在同一文档内的译法一致率,术语表覆盖率,以及受限解码带来的流畅度损失。一致率低说明约束没生效,覆盖率低说明术语表本身不全,流畅度损失大说明约束太硬。三个指标一起看,才能判断是术语表的问题、约束强度的问题,还是解码策略的问题。
落地建议是先小范围试点。挑一个术语密度高、译法争议大的文档类型,先上后校验,再逐步加词表偏置,最后对核心术语上受限解码。每一步都留人工复核入口,术语表的增删改要有版本记录。这样术语约束才不会变成一次性工程,而是能跟着领域词汇一起演进的基础设施。
术语表约束一般有三条路线。第一条是词表偏置,在解码时给术语表中目标译法对应的词元加分,让模型更倾向于选它。优点是改动小、不用改模型结构,缺点是偏置强度不好调,调轻了压不住习惯译法,调重了会把句子结构带偏。第二条是受限解码,当源端出现术语表里的词时,强制输出对应的目标译法,相当于在解码路径上加了一道硬约束。优点是一致性最强,缺点是遇到词形变化、复数、大小写差异时容易匹配不上,需要先做归一化。第三条是后校验,生成完成后再用术语表扫描一遍,发现不一致就重写或替换。优点是灵活,缺点是替换可能破坏句子通顺度,适合作为前两条的兜底。
实际系统里三条路线常常组合使用。受限解码负责高频核心术语,保证主干一致;词表偏置负责低频术语,给模型留一点语言上的弹性;后校验负责收尾,把漏网的、变形的、大小写不一致的情况再扫一遍。组合时要注意优先级:硬约束不能和语言流畅性硬碰硬,遇到冲突要先保证句子可读,再记录冲突供人工复核。
新词未登录是最常见的回退场景。术语表里没有的词,不能硬编一个译法。常见回退策略是先保留原文并加注,提醒读者这是未登录术语;或者按领域惯例音译加注释,等术语表更新后再统一替换。回退的关键是可追溯:系统要记下这次回退发生在哪个文档、哪个句子,术语表补齐后能批量找回并统一修正,否则回退本身又会变成新的不一致来源。
评测术语一致性不能只看单句翻译质量。要单独算三个指标:同一术语在同一文档内的译法一致率,术语表覆盖率,以及受限解码带来的流畅度损失。一致率低说明约束没生效,覆盖率低说明术语表本身不全,流畅度损失大说明约束太硬。三个指标一起看,才能判断是术语表的问题、约束强度的问题,还是解码策略的问题。
落地建议是先小范围试点。挑一个术语密度高、译法争议大的文档类型,先上后校验,再逐步加词表偏置,最后对核心术语上受限解码。每一步都留人工复核入口,术语表的增删改要有版本记录。这样术语约束才不会变成一次性工程,而是能跟着领域词汇一起演进的基础设施。