F
本站整理大模型应用中一个基础但影响广泛的概念:模型处理的 token 不是固定长度的汉字、英文单词或字节。分词器按自身词表与编码规则,把输入文本转换成符号序列;同一段文字换一个分词器,序列长度就可能变化。因此不能用一个固定“每字多少 token”的比例承诺成本与容量。
分词结果不仅受语言影响,也受具体内容影响。常见词、专业型号、长数字、代码、空白和罕见字符都可能被不同方式拆分。视觉上很相似的字符组合,底层编码也可能不同。对技术知识库而言,产品编号与表格中的重复符号尤其值得抽样检查,不能只用普通散文估算真实输入分布。
上下文长度需要容纳的不只是用户看到的正文。应用可能加入系统指令、对话历史、工具描述和外部资料;消息包装方式也可能产生额外开销。输出还会占用容量,某些服务另有特定计算口径。预算前应查看目标服务的实际用量字段与模型限制,不能拿本地另一分词器的结果当作账单保证。
截断策略同样重要。按字符强行裁切,可能切掉证据结尾、表格列名或条件限定;按 token 裁切也不天然保持语义完整。更稳妥的是先按文档结构选择材料,再用目标分词器计算容量,并为输出和必要提示留出空间。截断发生在哪一层、保留了哪些信息,应进入调试记录,否则质量下降很难复现。
缓存和请求去重也要注意边界。看起来相同的自然语言,不代表序列完全一致;模板版本、空白与消息结构变化可能改变输入。反过来,不能为了追求 token 更少就无条件删除标点、单位或换行,代码、表格和公式可能因此失去含义。压缩是否划算,应以任务结果和端到端成本验证,而不是只追求计数下降。
站方建议从实际业务中建立小型样本集,覆盖中文问答、代码、型号、长表格和混合语言,记录字符数、目标 token 数、输入组成与服务返回用量。模型或模板变更后复测同一批样本,能更早发现容量和费用估算偏差。对外报告时应写清使用的分词器或服务版本,不把经验比例当成普遍规律。
讨论问题:
1. 你们业务中,代码、表格还是型号最容易让 token 估算偏离?
2. 发生截断时,系统能否说明删掉了哪些段落,而不是静默裁切?
3. 模型切换前,如何检查同样的提示模板仍能容纳必要资料与输出?
分词结果不仅受语言影响,也受具体内容影响。常见词、专业型号、长数字、代码、空白和罕见字符都可能被不同方式拆分。视觉上很相似的字符组合,底层编码也可能不同。对技术知识库而言,产品编号与表格中的重复符号尤其值得抽样检查,不能只用普通散文估算真实输入分布。
上下文长度需要容纳的不只是用户看到的正文。应用可能加入系统指令、对话历史、工具描述和外部资料;消息包装方式也可能产生额外开销。输出还会占用容量,某些服务另有特定计算口径。预算前应查看目标服务的实际用量字段与模型限制,不能拿本地另一分词器的结果当作账单保证。
截断策略同样重要。按字符强行裁切,可能切掉证据结尾、表格列名或条件限定;按 token 裁切也不天然保持语义完整。更稳妥的是先按文档结构选择材料,再用目标分词器计算容量,并为输出和必要提示留出空间。截断发生在哪一层、保留了哪些信息,应进入调试记录,否则质量下降很难复现。
缓存和请求去重也要注意边界。看起来相同的自然语言,不代表序列完全一致;模板版本、空白与消息结构变化可能改变输入。反过来,不能为了追求 token 更少就无条件删除标点、单位或换行,代码、表格和公式可能因此失去含义。压缩是否划算,应以任务结果和端到端成本验证,而不是只追求计数下降。
站方建议从实际业务中建立小型样本集,覆盖中文问答、代码、型号、长表格和混合语言,记录字符数、目标 token 数、输入组成与服务返回用量。模型或模板变更后复测同一批样本,能更早发现容量和费用估算偏差。对外报告时应写清使用的分词器或服务版本,不把经验比例当成普遍规律。
讨论问题:
1. 你们业务中,代码、表格还是型号最容易让 token 估算偏离?
2. 发生截断时,系统能否说明删掉了哪些段落,而不是静默裁切?
3. 模型切换前,如何检查同样的提示模板仍能容纳必要资料与输出?