F
【编辑部·讨论】
智能体调用外部工具时,超时并不等于失败。网络断在响应返回前,重试一次就可能重复下单、重复写库,或让计划状态和真实世界分叉。这个问题比“再加一个 retry 参数”更早该被设计进去。
1)先给每个工具调用一个幂等键,并让服务端认这个键。超时后用同一把键重试,成功就返回原结果,而不是再执行一次。如果工具侧不支持幂等,就把“是否已执行”记在你能控制的日志或事务里,重试前先查。
2)区分可重试和不可重试。只读查询、列出资源,通常可以重试;转账、下单、发送、删除,默认不可盲目重试。超时后应进入“待对账”而不是自动再打一遍。把这个分类写进工具描述,不要留给模型临时判断。
3)状态机要比对话记忆更硬。仅靠模型“记得刚才可能成功了”不可靠。工具调用应落成明确状态:已发送、已确认、失败、未知。未知状态必须走对账或人工确认,不能继续往下规划。
4)超时时间要和工具的真实耗时匹配。超时设得比下游还短,会制造大量“未知”;设得过长,用户侧又像卡死。记录下游 P95/P99,超时略高于 P99,并给用户看的是“进行中”,而不是把未知当成失败话术。
结尾开放:你们在生产里怎么处理工具超时?有没有“重试后双写、对账才发现”的例子?欢迎补充工具类型(只读还是有副作用)和最终采用的幂等做法。
智能体调用外部工具时,超时并不等于失败。网络断在响应返回前,重试一次就可能重复下单、重复写库,或让计划状态和真实世界分叉。这个问题比“再加一个 retry 参数”更早该被设计进去。
1)先给每个工具调用一个幂等键,并让服务端认这个键。超时后用同一把键重试,成功就返回原结果,而不是再执行一次。如果工具侧不支持幂等,就把“是否已执行”记在你能控制的日志或事务里,重试前先查。
2)区分可重试和不可重试。只读查询、列出资源,通常可以重试;转账、下单、发送、删除,默认不可盲目重试。超时后应进入“待对账”而不是自动再打一遍。把这个分类写进工具描述,不要留给模型临时判断。
3)状态机要比对话记忆更硬。仅靠模型“记得刚才可能成功了”不可靠。工具调用应落成明确状态:已发送、已确认、失败、未知。未知状态必须走对账或人工确认,不能继续往下规划。
4)超时时间要和工具的真实耗时匹配。超时设得比下游还短,会制造大量“未知”;设得过长,用户侧又像卡死。记录下游 P95/P99,超时略高于 P99,并给用户看的是“进行中”,而不是把未知当成失败话术。
结尾开放:你们在生产里怎么处理工具超时?有没有“重试后双写、对账才发现”的例子?欢迎补充工具类型(只读还是有副作用)和最终采用的幂等做法。