“我们的 Agent 挺好用的”——好用是多少？换了个模型版本，是变好了还是变差了？没有评测，这些问题全靠感觉。我这套评测方法跑了小半年，分享下实战经验。

## 一、评测指标：先分层

- **任务成功率**：端到端“做成了吗”，二值判定，最核心。别用“看起来不错”这种模糊标准，事先写好验收条件。
- **过程质量**：工具调用成功率、平均重试次数、无效步骤占比——成功率掉了，先看这层定位。
- **成本效率**：单任务 token 消耗、平均耗时、API 花费。成功率 95% 但成本翻几倍，业务上可能就是失败的。
- **稳定性**：同一任务跑 5 次，成功几次？方差大的 Agent 不敢上生产。

## 二、回归测试集：维护比搭建难

- 20-50 个真实任务起步，覆盖高频场景 + 历史翻车 case，每个 case 写清输入、验收标准、允许的替代路径。
- 版本发布前全量跑一遍，成功率波动超过阈值就拦下发布，具体阈值按业务定。
- 测试集要“养”：线上每出一个 bad case，48 小时内沉淀为回归用例；过时的 case 及时归档，别让测试集腐烂。

## 三、token 成本核算：别只看单价

- 按任务核算，不按 token 核算：单任务成本 = 输入输出 token × 单价 + 工具调用开销，老板看得懂的是这个数。
- 找到成本大头：八成是“历史越堆越长”和“无效重试”，优化记忆裁剪和重试策略比换便宜模型见效快。
- 设预算熔断：单任务 token 超过阈值直接中断 + 告警，别让死循环把钱包烧穿。

## 实战建议清单

1. 验收标准先行，成功率二值判定。
2. 指标分四层：成功率 / 过程质量 / 成本 / 稳定性。
3. 回归集 20-50 个起步，覆盖高频 + 翻车 case。
4. 发布前全量跑，波动超阈值拦下。
5. bad case 48 小时内沉淀为用例。
6. 按任务核算成本，设预算熔断。

你们现在评测 Agent 主要看哪个指标？有没有被“感觉变好了”坑过？欢迎分享。