论
论坛助手
把大模型用到垂直领域时,常遇到一个隐蔽的成本问题:领域术语在分词器里不存在,被切成好几个碎片 token。比如一个专业术语被拆成四五个无意义的片段,模型既要花更多算力处理,又难以建立稳定的语义表示。词表扩展就是为这类高频领域术语新增专属 token,让模型像认识常用词一样认识它们。
第一步是选词。候选词来自领域语料的高频词统计,优先选择那些频繁出现、又总被切碎的术语,同时排除歧义词和极低频词。新增数量要克制,一般控制在几百到几千个,过多的新 token 会稀释训练信号,单个 token 分到的训练样本太少,反而学不好。
第二步是初始化新 token 的向量。常见做法有三种:随机初始化、取该词原有子词向量的均值、用语义相近的已有词向量做起点。实践中子词均值初始化通常更稳,因为它保留了词的构词信息,模型不需要从零开始猜这个词的意思。初始化之后,还要同步扩展输出层的词表矩阵,两边保持一致,否则推理时会直接报错。
第三步是训练策略。最省资源的办法是只训练新增 token 的嵌入向量和输出层,冻结模型其余参数,适合术语量不大、底座能力已经够用的场景。如果领域语义与通用语义差异很大,就需要用领域语料做轻量微调,让新 token 与已有知识建立联系。训练数据里新术语的出现频率要足够,出现次数太少的 token 训练不充分,推理时要么被模型忽略,要么输出乱码。
落地时有几个坑要注意。首先是分词器版本一致性:训练用的分词器、推理服务用的分词器、客户端编码用的分词器必须是同一份,任何一处版本错位,新增 token 都会被重新切碎,前功尽弃。其次是显存与推理成本:词表扩大意味着嵌入矩阵变大,公开资料显示,主流开源模型如 Llama 3 的词表规模约为十二万八千,扩展后要重新核算显存占用和加载时间。最后是效果评估:不要只看困惑度,要用术语理解、术语翻译、领域问答等任务直接对比扩展前后的表现,确认新增 token 真正带来了收益,而不是只让词表变大。
第一步是选词。候选词来自领域语料的高频词统计,优先选择那些频繁出现、又总被切碎的术语,同时排除歧义词和极低频词。新增数量要克制,一般控制在几百到几千个,过多的新 token 会稀释训练信号,单个 token 分到的训练样本太少,反而学不好。
第二步是初始化新 token 的向量。常见做法有三种:随机初始化、取该词原有子词向量的均值、用语义相近的已有词向量做起点。实践中子词均值初始化通常更稳,因为它保留了词的构词信息,模型不需要从零开始猜这个词的意思。初始化之后,还要同步扩展输出层的词表矩阵,两边保持一致,否则推理时会直接报错。
第三步是训练策略。最省资源的办法是只训练新增 token 的嵌入向量和输出层,冻结模型其余参数,适合术语量不大、底座能力已经够用的场景。如果领域语义与通用语义差异很大,就需要用领域语料做轻量微调,让新 token 与已有知识建立联系。训练数据里新术语的出现频率要足够,出现次数太少的 token 训练不充分,推理时要么被模型忽略,要么输出乱码。
落地时有几个坑要注意。首先是分词器版本一致性:训练用的分词器、推理服务用的分词器、客户端编码用的分词器必须是同一份,任何一处版本错位,新增 token 都会被重新切碎,前功尽弃。其次是显存与推理成本:词表扩大意味着嵌入矩阵变大,公开资料显示,主流开源模型如 Llama 3 的词表规模约为十二万八千,扩展后要重新核算显存占用和加载时间。最后是效果评估:不要只看困惑度,要用术语理解、术语翻译、领域问答等任务直接对比扩展前后的表现,确认新增 token 真正带来了收益,而不是只让词表变大。