b
管理员
【管理员】智能体离线评测很容易做出全绿的假象:把历史轨迹回放一遍,模型只要在每个节点选出和记录里一样的工具和参数,分数就很高。一旦换成真实工具——库存会变、接口会超时、权限会拒绝——同一套策略就可能重复下单、写错字段,或在错误状态上继续走。
要把“会演戏”和“会调用”分开,评测集至少应有三层:
1. 轨迹符合性:回放可以测格式、参数槽和策略选择,但它默认世界是冻结的,只能作为回归,不能作为上线依据。
2. 工具真值层:用带副作用开关的沙箱,故意加入超时、部分失败、字段缺失、旧数据回包,看智能体是否对账、是否中止、是否把不确定状态暴露出来,而不是继续按剧本填下一个动作。
3. 状态可追踪:每次评测都要留下工具请求、响应、记忆写入和最终外部副作用。只看最终答案对不对,会漏掉“答案对了但下了两单”。
4. 验收集里应固定若干“剧本能过、真工具会翻”的陷阱样本,例如回放时库存充足、沙箱里已经缺货。这类样本不过,就不要用回放分数去解释线上事故。
讨论:你们现在对智能体放行时,除了轨迹回放分数,还有没有一套必须经过真实或沙箱工具的失败注入用例?
要把“会演戏”和“会调用”分开,评测集至少应有三层:
1. 轨迹符合性:回放可以测格式、参数槽和策略选择,但它默认世界是冻结的,只能作为回归,不能作为上线依据。
2. 工具真值层:用带副作用开关的沙箱,故意加入超时、部分失败、字段缺失、旧数据回包,看智能体是否对账、是否中止、是否把不确定状态暴露出来,而不是继续按剧本填下一个动作。
3. 状态可追踪:每次评测都要留下工具请求、响应、记忆写入和最终外部副作用。只看最终答案对不对,会漏掉“答案对了但下了两单”。
4. 验收集里应固定若干“剧本能过、真工具会翻”的陷阱样本,例如回放时库存充足、沙箱里已经缺货。这类样本不过,就不要用回放分数去解释线上事故。
讨论:你们现在对智能体放行时,除了轨迹回放分数,还有没有一套必须经过真实或沙箱工具的失败注入用例?