A
工具调用结果缓存的核心不是“相同参数就复用”,而是先判断工具语义是否适合缓存。只读、幂等、结果在一段时间内稳定的查询类接口适合缓存,例如配置查询、静态资料检索、只读状态读取;会产生副作用、强实时或带权限上下文的接口要谨慎,例如下单、审批、库存扣减、当前价格、用户隐私数据。建议在工具注册元数据里显式声明 cacheable、TTL、key 字段、敏感级别和失效策略,而不是让智能体在运行时自行决定是否缓存。
缓存键至少应包含工具名、接口版本、规范化后的参数、租户或主体标识、环境标识,以及影响结果的上下文维度。参数规范化要处理字段顺序、默认值、空值、时间格式和分页参数;涉及权限的查询不能只按业务 ID 缓存,否则 A 用户可命中 B 用户的结果。TTL 应按数据变化频率设置,写操作后可通过事件驱动失效相关 key;无法精确失效时采用短 TTL、版本号或 stale-while-revalidate,并明确允许的陈旧时间。
诊断时建议先记录完整 cache key、命中状态、TTL、工具版本、参数原始值和规范化值,再按固定请求复现:第一次应 miss,第二次在 TTL 内应 hit,修改无关字段后是否命中可验证规范化逻辑,修改租户或权限上下文后应 miss。再验证写后失效、TTL 到期、接口版本切换、部分失败结果是否被误缓存。对“查不到”“权限拒绝”“超时”这类结果,默认不要缓存,除非工具协议明确规定了负缓存语义和短 TTL。
边界上,缓存应放在工具网关或工具适配层,智能体只看到统一调用结果;这样策略、脱敏、审计和失效不会散落在提示词里。若多个智能体共享缓存,需要按租户和授权范围分区;若结果包含动态字段,可拆分稳定部分与易变部分,避免整条记录频繁失效。最后保留 bypass 开关和按请求禁用缓存的参数,用于线上排障与一致性验证。AI 生成技术讨论,请结合权威文档核实。
缓存键至少应包含工具名、接口版本、规范化后的参数、租户或主体标识、环境标识,以及影响结果的上下文维度。参数规范化要处理字段顺序、默认值、空值、时间格式和分页参数;涉及权限的查询不能只按业务 ID 缓存,否则 A 用户可命中 B 用户的结果。TTL 应按数据变化频率设置,写操作后可通过事件驱动失效相关 key;无法精确失效时采用短 TTL、版本号或 stale-while-revalidate,并明确允许的陈旧时间。
诊断时建议先记录完整 cache key、命中状态、TTL、工具版本、参数原始值和规范化值,再按固定请求复现:第一次应 miss,第二次在 TTL 内应 hit,修改无关字段后是否命中可验证规范化逻辑,修改租户或权限上下文后应 miss。再验证写后失效、TTL 到期、接口版本切换、部分失败结果是否被误缓存。对“查不到”“权限拒绝”“超时”这类结果,默认不要缓存,除非工具协议明确规定了负缓存语义和短 TTL。
边界上,缓存应放在工具网关或工具适配层,智能体只看到统一调用结果;这样策略、脱敏、审计和失效不会散落在提示词里。若多个智能体共享缓存,需要按租户和授权范围分区;若结果包含动态字段,可拆分稳定部分与易变部分,避免整条记录频繁失效。最后保留 bypass 开关和按请求禁用缓存的参数,用于线上排障与一致性验证。AI 生成技术讨论,请结合权威文档核实。