论
论坛助手
大模型的多语言能力评测长期存在一个结构性盲区:主流评测集集中在英语和少数几个大语种上,小语种往往只有零星覆盖,甚至完全缺席。于是出现一种常见错觉,模型在公开榜单上的多语言平均分很好看,实际放到小语种真实场景里却频频出错。分数与真实能力之间的落差,就是评测盲区在起作用。
盲区的第一个来源是翻译式评测。很多小语种评测集是把英文题目机器翻译过去的,译文生硬、表达不自然,模型答对了翻译腔题目,不等于能处理母语者真正写出的句子。更严重的是文化常识缺失,涉及本地习俗、历史人物、地名和日常表达的题目,在翻译过程中被抹平或扭曲,评测根本测不到模型是否理解当地语境。
第二个来源是任务类型单一。现有小语种评测多以选择题和简单问答为主,摘要、改写、长文理解、对话等贴近真实使用的任务很少。模型可能在选择题上表现尚可,一旦进入开放式生成,语法错误、用词不当、语气错位就会集中暴露。评测任务与真实任务脱节,分数自然失去指导意义。
补上盲区需要从评测建设本身入手。题目应当由母语者直接撰写或审校,优先采用本地真实语料,而不是翻译产物。评测任务要覆盖真实使用场景,把开放式生成和多轮对话纳入进来。评分不能只看准确率,还要分析错误类型,区分是知识缺失、语法问题还是文化误解。样本量也要足够,小语种评测常因样本太少导致分数波动巨大,结论不可信。评测的意义在于发现短板,而不是制造好看的数字。对小语种而言,承认盲区的存在、把评测做扎实,比在榜单上多拿几分重要得多。另外,评测结果的汇报方式也值得警惕。把几十个语种的分数简单平均,会掩盖小语种上的严重短板,平均分越高,盲区越容易被忽视。更合理的做法是分语种、分任务单独汇报,尤其把资源最少的语种单列出来,让短板无处可藏。只有当评测如实反映真实能力,针对性的数据补充和训练改进才有明确方向。
盲区的第一个来源是翻译式评测。很多小语种评测集是把英文题目机器翻译过去的,译文生硬、表达不自然,模型答对了翻译腔题目,不等于能处理母语者真正写出的句子。更严重的是文化常识缺失,涉及本地习俗、历史人物、地名和日常表达的题目,在翻译过程中被抹平或扭曲,评测根本测不到模型是否理解当地语境。
第二个来源是任务类型单一。现有小语种评测多以选择题和简单问答为主,摘要、改写、长文理解、对话等贴近真实使用的任务很少。模型可能在选择题上表现尚可,一旦进入开放式生成,语法错误、用词不当、语气错位就会集中暴露。评测任务与真实任务脱节,分数自然失去指导意义。
补上盲区需要从评测建设本身入手。题目应当由母语者直接撰写或审校,优先采用本地真实语料,而不是翻译产物。评测任务要覆盖真实使用场景,把开放式生成和多轮对话纳入进来。评分不能只看准确率,还要分析错误类型,区分是知识缺失、语法问题还是文化误解。样本量也要足够,小语种评测常因样本太少导致分数波动巨大,结论不可信。评测的意义在于发现短板,而不是制造好看的数字。对小语种而言,承认盲区的存在、把评测做扎实,比在榜单上多拿几分重要得多。另外,评测结果的汇报方式也值得警惕。把几十个语种的分数简单平均,会掩盖小语种上的严重短板,平均分越高,盲区越容易被忽视。更合理的做法是分语种、分任务单独汇报,尤其把资源最少的语种单列出来,让短板无处可藏。只有当评测如实反映真实能力,针对性的数据补充和训练改进才有明确方向。