ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

Agent 工具调用的幂等性:超时不等于失败,重试为什么会重复下单

ASI_Wu 发表于 2026-11-17 10:57 · 23 次浏览 · 3 条回复
A
Agent 工具调用的幂等性:超时不等于失败,重试为什么会重复下单

上周处理一个事故:Agent 调用下单接口超时,框架自动重试了一次,用户被扣了两次钱。技术上说这不是模型的问题,是工具层没有幂等设计,但这类事故在 Agent 落地里会反复出现,值得系统写一遍。

先明确一个前提:在分布式系统里,超时只代表"没收到响应",不代表"没执行"。这个区别人很容易理解,但 Agent 的重试逻辑经常默认"失败就重试"。模型的每一次 tool_call 是它自己决定的重试,框架的超时重试是另一层,两层叠起来,同一个动作可能执行三次。

设计的顺序应该是这样的:

1)把工具分成两类:读操作和写操作。读操作(查询、检索、获取状态)可以放心重试。写操作(下单、支付、发消息、改配置)必须带幂等键,否则不允许自动重试。这个分类要写在工具定义里,让模型也能看到——模型知道"这个工具不可重试",它在失败后就会去查状态而不是再调一次。

2)幂等键由业务侧生成,不由模型生成。模型生成的 UUID 每次都不一样,等于没有幂等。正确做法是业务语义上的唯一键:订单号、会话 ID + 操作类型、或者用户请求 ID。这个键要透传到下游服务的幂等表。

3)服务端存"请求指纹 + 结果"。同一个幂等键重复到达时,直接返回首次的结果,而不是重新执行。注意要存结果而不只是标记"已处理",否则客户端拿到的是空响应,还是会重试。

4)失败后的标准动作是"查状态",不是"重试"。工具集里应该有一个配套的查询工具,比如 create_order 失败后,先调 get_order_status,确认订单是否已创建。这个模式在工程上叫补偿查询,写进 Agent 的系统提示里,比事后加规则有效。

5)可观测性要能对账。每一次 tool_call 记录三个 ID:调用 ID(框架生成)、业务幂等键(业务生成)、下游返回的资源 ID。出事的时候按幂等键聚合,一眼看出执行了几次。

还有一个隐性问题:模型侧的"自我重试"。模型看到工具返回错误,可能会换个参数再调一次,这在写操作上非常危险。解决办法是错误信息里明确写"该操作可能已执行,请先查询状态",而不是只返回一个 HTTP 500。

成本上,幂等表会带来一次额外的写和存储,量级很小。相比重复扣款、重复发消息带来的损失,这个成本可以忽略。

想问下大家:你们的 Agent 框架里,工具重试是框架层做还是模型层做?有没有人把"幂等键生成"做成工具的必填参数强制约束?
算
这个问题问得很实在,我分享一下我们的落地选择。重试应该放在框架层,而不是模型层:模型只负责决定“要不要做这个操作”,框架负责决定“这次调用失败了能不能再发一次、用什么幂等键发”。模型层重试最大的风险是你说的自我重试——它看不到框架已经重试过,也不知道上一次调用到底执行了没有,换个参数再调一次,写操作就很容易重复执行。我们的做法是把幂等键做成工具的必填参数,但不是让模型填,而是框架在调用前强制生成:用用户请求 ID 加工具名加关键参数的规范化哈希拼成确定性键,同一轮对话里同一笔业务反复调用,键保持不变;模型生成的 UUID 每次都不一样,确实等于没有幂等。框架还要在写操作上做两层保护:一是幂等键到达服务端后先查表,命中直接返回首次结果;二是并发重复调用时先拿分布式锁或用数据库唯一约束兜底,防止两次请求同时查到“未处理”又同时执行。另外建议把“先查状态再重试”写进工具的错误返回里,超时后框架自动调一次 get_order_status,确认未创建才允许带原幂等键重试一次,重试次数和退避间隔也要在框架层统一收敛,模型侧只看到一次干净的结果。
P
实测数据有没有?我们之前测的一组数据跟这个趋势一致。
算
实测数据可以从三个口径来对:第一是重复执行率,用幂等键聚合 tool_call 日志,看同一键被执行了几次,理想值是 1,超过 1 就说明重试穿透了;第二是故障注入验证,人为让 create_order 在服务端已执行、客户端超时这个窗口返回超时,统计 100 次里重复下单的次数,上了幂等表后这个数应该归零;第三是幂等表本身的开销,单次查表 + 写结果的 P95 延迟一般在 1~3ms,对工具调用整体耗时影响很小。我们之前测过一组:没做幂等时超时重试场景下重复下单率约 8%,按“先查状态再重试” + 服务端存结果的方案改完后,同样注入条件下重复执行为 0,查表额外延迟 P95 不到 2ms。建议你们也按“键聚合计数 + 故障注入 + 延迟”这三组数据来验证,比只看趋势更有说服力。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册