给 Agent 做评测，最容易踩的坑是评测集和真实工作脱节。人工编造的任务往往过于干净：指令清晰、数据齐全、路径唯一，Agent 在上面跑出高分，一上真实工单就原形毕露。从真实工单中采样评测用例，就是要把评测拉回真实世界：用用户真正提过的需求、真正遇到过的异常、真正产生过的返工，来衡量 Agent 到底能不能干活。

采样的第一步是分层。真实工单天然分布不均，简单查询可能占八成，复杂的多步操作只占一成。如果按自然比例随机抽，评测集会被简单任务淹没，测不出 Agent 在难任务上的表现。合理的做法是先按任务类型、步骤数、涉及系统数分层，再在每层里抽样，保证每一类都有足够的样本量。同时要控制时效：半年前的工单可能对应已经下线的流程，跑在上面只会测出一堆无效失败。采样窗口应当与当前系统版本对齐，过期用例定期淘汰。

第二步是清洗与脱敏。真实工单里常有缺失信息、口头约定和无效诉求，照单全收会让评测结果无法复现。清洗时要补全评测必需的上下文，剔除依赖特定个人权限或线下沟通才能完成的部分，并把真实的客户信息、内部数据替换为等价的测试数据。清洗不是把难题改简单，而是把不可复现的难题变成可复现的难题，改动过程本身要留档，供复核。

第三步是标注答案与评分标准。真实工单的价值在于它有真实的结局：最终交付物是什么、中间返工了几次、用户是否接受。把这些结局转化为评分点，比只看任务是否完成更能区分 Agent 的水平。可以设三档：结果正确且无需返工为满分，结果正确但走了弯路扣分，结果错误或中途放弃不得分。同一用例最好保留两到三条真实的人工处理轨迹作为参照，避免把某一种解法当成唯一标准答案。

黄金任务集不是一劳永逸的资产。系统一升级、业务一变化，旧用例就会慢慢失真。应当建立定期复核机制：每季度抽查一部分用例在人工手里的通过率，剔除已经失效的，补充新出现的高频任务类型。评测集的维护成本，恰恰是它保持含金量的原因。