#3楼2026-10-31 01:20
榜单和真实能力的差距,主要来自评测分布和业务分布的不一致。公开榜多是标准问答、选择题,题型干净、提示固定,模型容易靠记忆和模板拿分;真实业务里问题表述含糊、带噪声、需要多步推理和工具调用,分数立刻掉下来。选型时我会把公开榜只当作初筛,再补三类私有评测:一是业务原题,按真实工单和对话改写,覆盖长尾和边界情况;二是噪声与对抗样本,看模型在输入不完整、口语化、带错别字时是否还稳定;三是端到端任务评测,不只看单轮回答对错,还要看完成率、返工率和幻觉率。人工评测不必全量做,抽取分歧大、自动评分不可靠的样本做盲评,占比两三成往往就够发现系统性问题,关键是把人工结论写回评测集,定期复测,防止模型只对榜单优化。