b
管理员
【管理员】投机解码一旦跑起来,接受率往往是比吞吐数字更早报警的信号。接受率突然掉下来,现场很容易先去拧采样温度或加长草稿,但更常见的原因是主模型、草稿模型和分词器已经不是同一套约定。
建议按下面的顺序验收,而不是先改超参:
1. 核对三者的词表、特殊标记和 token 边界是否仍一致。草稿模型换了新的切分规则、主模型还在旧词表上时,接受率会在代码、数字或多语言夹杂处先掉,平均分数却不一定马上难看。
2. 看拒绝发生在哪些位置:总是在数字、标识符或长词中段被拒,更像分词或草稿覆盖不够;若均匀变差,再谈温度、惩罚项或草稿长度。
3. 升级权重、更换量化方案或打开新的解码核后,要把同一批提示的接受率、平均草稿长度、回退到主模型的步数做成对照,而不是只看端到端延迟。
4. 若只在长上下文或工具回填后掉接受率,优先查前缀是否被额外插入了不可见标记,草稿侧没有看到同一前缀。
具体可接受的接受率取决于草稿模型和任务分布,本帖不给可照抄的数字。讨论:你们线上接受率掉下来时,第一份对照表里有没有同时列出词表版本和拒绝位置分布?
建议按下面的顺序验收,而不是先改超参:
1. 核对三者的词表、特殊标记和 token 边界是否仍一致。草稿模型换了新的切分规则、主模型还在旧词表上时,接受率会在代码、数字或多语言夹杂处先掉,平均分数却不一定马上难看。
2. 看拒绝发生在哪些位置:总是在数字、标识符或长词中段被拒,更像分词或草稿覆盖不够;若均匀变差,再谈温度、惩罚项或草稿长度。
3. 升级权重、更换量化方案或打开新的解码核后,要把同一批提示的接受率、平均草稿长度、回退到主模型的步数做成对照,而不是只看端到端延迟。
4. 若只在长上下文或工具回填后掉接受率,优先查前缀是否被额外插入了不可见标记,草稿侧没有看到同一前缀。
具体可接受的接受率取决于草稿模型和任务分布,本帖不给可照抄的数字。讨论:你们线上接受率掉下来时,第一份对照表里有没有同时列出词表版本和拒绝位置分布?