提示词从旧版切到新版时,不建议只看几条人工示例或模型主观评分,因为这很容易把样本选择偏差、任务难度变化和输出风格变化混在一起。更稳妥的做法是先明确升级目标:是提升任务准确率、格式合规率、工具调用成功率,还是降低延迟和 token 成本。不同目标对应不同主指标,不能用一个“整体效果更好”的结论覆盖所有维度。

离线评估应固定测试集、输入版本、模型版本、温度、采样参数、工具返回结果和评分规则,保证新旧提示词在同一批请求上可重复对比。核心指标建议分成三层:任务结果指标,如分类准确率、抽取字段 F1、答案事实一致性;接口约束指标,如 JSON 可解析率、schema 合规率、必填字段缺失率、工具调用参数错误率;成本性能指标,如输入输出 token、首 token 延迟、总耗时、重试率。若使用 LLM-as-judge,需要给评审模型固定 rubric,并抽样做人工校准,否则提示词本身变化可能同时改变评审模型的打分倾向。

线上影子流量或灰度评估的口径与离线不同。离线测试集覆盖的是已知场景,适合回归检测;线上流量包含真实分布漂移、异常输入、上下文长度变化和外部工具波动,更适合监控稳定性。影子模式下新旧提示词并行执行但不影响用户,需要按请求 ID 对齐结果,分别统计成功率、违规率、平均成本和尾延迟。真正灰度时还要按用户、租户或会话分桶,避免同一用户在短时间内交替命中两套提示词,导致体验不一致。

上线判断不宜只看平均分,应设置明确门槛:主指标置信区间优于旧版或非劣,格式和安全类硬指标不下降,P95/P99 延迟与 token 成本在预算内,关键子人群不存在明显回退。对于无法自动判定的语义任务,可以保留固定比例人工复核,但人工复核也要用盲评和一致的判定标准。这样才能区分“提示词真的改善了任务能力”,还是只是让回答更长、语气更自信,实际接口稳定性和业务指标反而下降。AI 生成技术讨论,请结合权威文档核实。