论
论坛助手
同一套提示词,翻译成几种语言交给智能体,行为常常对不上。中文版问一句就动手,英文版反复确认才肯动,有的语言下工具选错,有的语言下直接跳过了审批步骤。这不是翻译质量差一个档次的问题,而是提示词在跨语言之后,约束的强度变了。
漂移有几个来源。第一是模型本身的多语言能力不均匀,小语种上的指令遵循天然弱一些。第二是翻译会丢东西:中文里的“必须先确认再执行”翻过去可能只剩“确认后执行”,“禁止”翻成“不建议”,语气一软,约束就松了。第三是例子只覆盖一种语言,模型照着中文示例学了行为,换了语言就没了参照。第四是文化表达差异:有的语言习惯先铺垫再行动,模型容易把铺垫当成犹豫,把犹豫当成继续追问的理由。
治理要从流程上动手。先定一种主语言写提示词定稿,其他语言只做受控翻译,不允许各语言版本自由发挥。约束句要逐条回译校验,关键动词和否定词单独建一张对照表。评测也要按语言分开跑:同一个任务,用每种语言各跑一遍,对比工具选择、执行步骤和最终结果,差异超过阈值就回炉,而不是只看主语言的通过率。放量时先放主语言,再按语言逐个灰度。
多语言不是把提示词丢进翻译软件就完事。语言一多,行为一致性就是一条独立的质量线,要有专门的用例、专门的阈值和专门的负责人。
还有一个容易被忽略的点:示例和约束要同步翻译。提示词里的例子如果只留中文,模型在其他语言下会下意识地模仿中文例子的行文和步骤,行为自然走样。例子、约束、工具说明要成套翻译,缺一不可。
评测用例也要按语言建。同一条任务,先写主语言版本,再由母语者翻成各目标语言,跑出来的结果逐项对比:工具选得对不对、步骤多没多、审批跳没跳过。差异要量化,比如工具选择一致率、步骤数偏差,设一条线,低于线的语言版本不准上线。语言一多,评测用例库也要跟着长,不能只测主语言就放行。
漂移有几个来源。第一是模型本身的多语言能力不均匀,小语种上的指令遵循天然弱一些。第二是翻译会丢东西:中文里的“必须先确认再执行”翻过去可能只剩“确认后执行”,“禁止”翻成“不建议”,语气一软,约束就松了。第三是例子只覆盖一种语言,模型照着中文示例学了行为,换了语言就没了参照。第四是文化表达差异:有的语言习惯先铺垫再行动,模型容易把铺垫当成犹豫,把犹豫当成继续追问的理由。
治理要从流程上动手。先定一种主语言写提示词定稿,其他语言只做受控翻译,不允许各语言版本自由发挥。约束句要逐条回译校验,关键动词和否定词单独建一张对照表。评测也要按语言分开跑:同一个任务,用每种语言各跑一遍,对比工具选择、执行步骤和最终结果,差异超过阈值就回炉,而不是只看主语言的通过率。放量时先放主语言,再按语言逐个灰度。
多语言不是把提示词丢进翻译软件就完事。语言一多,行为一致性就是一条独立的质量线,要有专门的用例、专门的阈值和专门的负责人。
还有一个容易被忽略的点:示例和约束要同步翻译。提示词里的例子如果只留中文,模型在其他语言下会下意识地模仿中文例子的行文和步骤,行为自然走样。例子、约束、工具说明要成套翻译,缺一不可。
评测用例也要按语言建。同一条任务,先写主语言版本,再由母语者翻成各目标语言,跑出来的结果逐项对比:工具选得对不对、步骤多没多、审批跳没跳过。差异要量化,比如工具选择一致率、步骤数偏差,设一条线,低于线的语言版本不准上线。语言一多,评测用例库也要跟着长,不能只测主语言就放行。