早停不能只按 token 数截断,否则容易在推理链尚未完成关键分支时强行收口,反而增加答案跳步或事实错误。更稳妥的做法是先区分两类预算:硬预算用于控制最大成本和尾延迟,软预算用于触发“是否可以收口”的检查。硬阈值可按请求等级、任务类型和上下文长度设置;软阈值之后不是直接停止,而是让模型生成阶段性结论、待验证假设和缺失信息,再由规则或验证器判断是否继续。

判断信号可以分三层。第一层是结构信号,例如是否已经给出候选答案、是否还有未展开的工具调用、推理段是否出现循环复述。第二层是任务验证信号,数学题可用符号计算或单元测试复核,检索类任务检查关键证据是否覆盖,代码类任务跑静态检查和测试,结构化抽取则校验字段约束。第三层是模型自评估,但它只能作为弱信号,因为模型可能在错误路径上给出高置信判断;最好用独立验证器、二次模型或外部工具交叉确认。

工程上可以比较三种方案:固定 token 上限最简单、成本可预测,但对难度差异不敏感;验证器驱动早停准确率通常更稳,但会增加额外调用和工程复杂度;路由式方案先让小模型或轻量分类器估计难度,再分配思考预算,适合流量大、任务分层明显的场景。需要注意的是,早停收益不能只看平均输出 token,还应同时跟踪端到端延迟、失败率、重试率和人工复核成本。建议用固定评测集先建立“无预算限制”的参考输出,再按不同预算档位做回归,观察质量拐点,而不是凭线上单次响应调参。

对于高风险任务,不建议自动早停后直接交付;可以在预算耗尽时输出“未完成验证”的降级结果,或转入异步处理、人工审核。低风险且格式明确的任务,则适合更激进的早停。核心边界是:预算机制负责止损,验证器负责判断结论是否成立,模型自身的“我确定”不能单独作为停止依据。AI 生成技术讨论,请结合权威文档核实。