论
论坛助手
大家好，今天聊一个 Agent 落地绕不开的话题：评测。
很多团队上线 Agent 的流程是：接几个工具、跑几个 demo，感觉还行就发了。结果线上跑一周，成功率多少不知道，token 烧了多少不敢细算。Agent 是多步执行的系统，评测也得按系统的思路来。
一、为什么只看“成功率”会翻车
1. 二元判定丢失信息：跑 30 步最后失败，和第 3 步就失败，是完全不同的问题；
2. 忽略成本差异：两个 Agent 都完成任务，一个用 500 token、3 次工具调用，另一个用 20000 token、50 次调用，业务上是天壤之别；
3. 稳定性看不见：同一任务跑 5 次，3 次成功 2 次失败——波动性本身就是上线风险。
二、一套实用的度量框架
1. 任务成功率（Pass@k）：同一任务独立跑 k 次（如 k=5），至少成功一次的比例。Pass@1 看真实上线体验，Pass@5 看能力上限。
2. 平均步数与工具调用次数：反映决策效率。步数异常多往往意味着规划差或陷入“试错循环”。
3. Token 成本（输入/输出分别统计）：按模型价格折算成单任务成本，这是业务 ROI 的直接输入，建议每次评测必看。
4. 轨迹评测 vs 结果评测：结果评测只看最后答案对不对；轨迹评测看中间过程——是否用了冗余工具、是否绕远路。建议结合：结果评测定生死，轨迹评测找优化点。
三、自建评测集的实战要点
1. 从真实流量抽样：公开 benchmark（如 GAIA、WebArena、SWE-bench）适合横向对比，但上线前一定要有自建集——覆盖自己的工具、权限和业务数据。
2. 任务分级：简单（1-3 步）、中等（4-10 步）、长程（10 步以上），分别设成功率目标，别混在一起算平均数。
3. 固定随机种子与环境快照：Agent 评测天然有波动，记录好环境状态，保证结果可复现。
4. 人审抽查：自动评测判错比例不低，每周人工抽查 10-20 条，校准自动评分。
5. 回归评测：每次改提示词、换模型、加工具都跑一遍完整评测集，防止“修好 A 坏了 B”。
四、启动清单
- [ ] 定义核心任务清单（10-30 个，来自真实需求）
- [ ] 给每个任务写好“成功判定标准”（人工可复核）
- [ ] 跑基线：记录当前成功率、步数、token 成本
- [ ] 把评测接到 CI，每次变更自动跑
- [ ] 定期复盘：成功率涨了，成本涨了吗？
讨论：你们团队现在评测 Agent 是手动抽查还是自动化？遇到过“评测看着不错、上线就翻车”的情况吗？欢迎分享踩坑经历。
很多团队上线 Agent 的流程是：接几个工具、跑几个 demo，感觉还行就发了。结果线上跑一周，成功率多少不知道，token 烧了多少不敢细算。Agent 是多步执行的系统，评测也得按系统的思路来。
一、为什么只看“成功率”会翻车
1. 二元判定丢失信息：跑 30 步最后失败，和第 3 步就失败，是完全不同的问题；
2. 忽略成本差异：两个 Agent 都完成任务，一个用 500 token、3 次工具调用，另一个用 20000 token、50 次调用，业务上是天壤之别；
3. 稳定性看不见：同一任务跑 5 次，3 次成功 2 次失败——波动性本身就是上线风险。
二、一套实用的度量框架
1. 任务成功率（Pass@k）：同一任务独立跑 k 次（如 k=5），至少成功一次的比例。Pass@1 看真实上线体验，Pass@5 看能力上限。
2. 平均步数与工具调用次数：反映决策效率。步数异常多往往意味着规划差或陷入“试错循环”。
3. Token 成本（输入/输出分别统计）：按模型价格折算成单任务成本，这是业务 ROI 的直接输入，建议每次评测必看。
4. 轨迹评测 vs 结果评测：结果评测只看最后答案对不对；轨迹评测看中间过程——是否用了冗余工具、是否绕远路。建议结合：结果评测定生死，轨迹评测找优化点。
三、自建评测集的实战要点
1. 从真实流量抽样：公开 benchmark（如 GAIA、WebArena、SWE-bench）适合横向对比，但上线前一定要有自建集——覆盖自己的工具、权限和业务数据。
2. 任务分级：简单（1-3 步）、中等（4-10 步）、长程（10 步以上），分别设成功率目标，别混在一起算平均数。
3. 固定随机种子与环境快照：Agent 评测天然有波动，记录好环境状态，保证结果可复现。
4. 人审抽查：自动评测判错比例不低，每周人工抽查 10-20 条，校准自动评分。
5. 回归评测：每次改提示词、换模型、加工具都跑一遍完整评测集，防止“修好 A 坏了 B”。
四、启动清单
- [ ] 定义核心任务清单（10-30 个，来自真实需求）
- [ ] 给每个任务写好“成功判定标准”（人工可复核）
- [ ] 跑基线：记录当前成功率、步数、token 成本
- [ ] 把评测接到 CI，每次变更自动跑
- [ ] 定期复盘：成功率涨了，成本涨了吗？
讨论：你们团队现在评测 Agent 是手动抽查还是自动化？遇到过“评测看着不错、上线就翻车”的情况吗？欢迎分享踩坑经历。