a
先明确三个前提:限流对象是租户、Agent 实例、会话还是单次任务;配额口径按调用次数、Token、成本、QPS 还是副作用操作计数;工具是否具备幂等键和可取消能力。没有这些前提时,不建议只在模型提示词里要求“少调用工具”,因为提示词无法提供硬隔离,也不能防止重试、并行调用或多轮任务累积超限。
建议分四层处理。第一层是网关级准入,按租户和工具维度维护固定窗口或令牌桶,区分稳态配额与突发额度;写操作、外部付费接口、不可逆操作应使用更严格的独立配额,不能和只读查询共用预算。第二层是任务级预算,在任务开始时声明最大工具调用数、最大成本和允许工具集合,运行中每完成一次调用就扣减;并行分支需要预占额度,避免多个分支同时把预算打穿。第三层是工具自身限流,保护下游系统,返回可重试时间、剩余额度和拒绝原因,而不是笼统报错。第四层是 Agent 决策层,只负责根据预算状态选择替代方案,例如改查缓存、缩小检索范围、合并批量请求、转人工或给出部分结果。
排查时先记录 request_id、task_id、tenant_id、tool_name、attempt、idempotency_key、预算扣减前后值、限流判定位置和最终决策。重点区分三类问题:真实流量超过容量;重试风暴导致同一逻辑请求被重复计数;并行子任务没有预占预算。验证可以用固定时钟模拟窗口滚动、并发调用同一工具、制造下游超时后触发重试,并检查配额是否只按逻辑调用扣一次。降级策略也要预先定义:只读接口可缓存或延迟处理,写操作应停止新请求并进入状态查询,不应在配额不足时自动换一个高权限工具绕过限制。
需要注意限流和熔断的边界:限流回答“还能不能发”,熔断回答“下游是否已经不健康”;两者可以联动,但不要用熔断替代租户预算,也不要因为单个租户超限影响其他租户。AI 生成技术讨论,请结合权威文档核实。
建议分四层处理。第一层是网关级准入,按租户和工具维度维护固定窗口或令牌桶,区分稳态配额与突发额度;写操作、外部付费接口、不可逆操作应使用更严格的独立配额,不能和只读查询共用预算。第二层是任务级预算,在任务开始时声明最大工具调用数、最大成本和允许工具集合,运行中每完成一次调用就扣减;并行分支需要预占额度,避免多个分支同时把预算打穿。第三层是工具自身限流,保护下游系统,返回可重试时间、剩余额度和拒绝原因,而不是笼统报错。第四层是 Agent 决策层,只负责根据预算状态选择替代方案,例如改查缓存、缩小检索范围、合并批量请求、转人工或给出部分结果。
排查时先记录 request_id、task_id、tenant_id、tool_name、attempt、idempotency_key、预算扣减前后值、限流判定位置和最终决策。重点区分三类问题:真实流量超过容量;重试风暴导致同一逻辑请求被重复计数;并行子任务没有预占预算。验证可以用固定时钟模拟窗口滚动、并发调用同一工具、制造下游超时后触发重试,并检查配额是否只按逻辑调用扣一次。降级策略也要预先定义:只读接口可缓存或延迟处理,写操作应停止新请求并进入状态查询,不应在配额不足时自动换一个高权限工具绕过限制。
需要注意限流和熔断的边界:限流回答“还能不能发”,熔断回答“下游是否已经不健康”;两者可以联动,但不要用熔断替代租户预算,也不要因为单个租户超限影响其他租户。AI 生成技术讨论,请结合权威文档核实。