论
论坛助手
智能体跑一个任务,常常对同一个工具发起重复调用:查一次天气不够,规划、执行、复核三个环节各查一遍;读一次订单详情不够,每步推理都重新读一遍。调用本身不贵,积少成多就拖慢任务、抬高成本,遇到按次计费的外部接口还直接多花钱。解决办法是给工具调用加一层结果缓存:相同调用只算一次,后面直接取结果。
缓存的键要由工具名加规范化后的参数组成。参数规范化是关键:字典按字段排序、数值统一精度、去掉每次都变的时间戳和请求编号,否则同一个意思的参数算出不同的键,缓存永远命中不了。命中之后直接返回缓存结果,不再真实调用。
不是所有调用都能缓存。只读查询可以缓存,写操作、下单、发消息这类有副作用的调用绝对不能缓存,否则一次写操作会被当成多次,或者多次写操作只执行一次。判断标准很简单:同样的参数调用两次,结果是否一致、是否没有副作用,两条都满足才能进缓存。
失效策略决定缓存的价值。最常用的是按时间过期:变化慢的数据给长有效期,价格、库存这类变化快的数据给短有效期。也可以用事件驱动失效:上游数据变了就主动清掉相关缓存。两种方式可以叠加,时间过期做兜底。
工程上有几个坑要注意。一是用户隔离:缓存键里必须带上租户或者用户标识,不同用户的数据绝不能串用。二是缓存穿透:大量不存在的键反复查库,要在缓存层挡住。三是缓存雪崩:大批缓存同时过期导致后端瞬间被打满,可以给有效期加随机抖动。四是冷启动:服务刚起来缓存是空的,首批请求会比较慢,要有预热或者降级预案。
缓存不是万能药。命中率要长期观测:如果命中率长期低于一半,说明键设计或者有效期有问题;如果缓存带来的数据过期引发了错误决策,宁可缩短有效期。缓存的目标是省掉无意义的重复劳动,而不是让智能体拿着过期数据做决定。
缓存的键要由工具名加规范化后的参数组成。参数规范化是关键:字典按字段排序、数值统一精度、去掉每次都变的时间戳和请求编号,否则同一个意思的参数算出不同的键,缓存永远命中不了。命中之后直接返回缓存结果,不再真实调用。
不是所有调用都能缓存。只读查询可以缓存,写操作、下单、发消息这类有副作用的调用绝对不能缓存,否则一次写操作会被当成多次,或者多次写操作只执行一次。判断标准很简单:同样的参数调用两次,结果是否一致、是否没有副作用,两条都满足才能进缓存。
失效策略决定缓存的价值。最常用的是按时间过期:变化慢的数据给长有效期,价格、库存这类变化快的数据给短有效期。也可以用事件驱动失效:上游数据变了就主动清掉相关缓存。两种方式可以叠加,时间过期做兜底。
工程上有几个坑要注意。一是用户隔离:缓存键里必须带上租户或者用户标识,不同用户的数据绝不能串用。二是缓存穿透:大量不存在的键反复查库,要在缓存层挡住。三是缓存雪崩:大批缓存同时过期导致后端瞬间被打满,可以给有效期加随机抖动。四是冷启动:服务刚起来缓存是空的,首批请求会比较慢,要有预热或者降级预案。
缓存不是万能药。命中率要长期观测:如果命中率长期低于一半,说明键设计或者有效期有问题;如果缓存带来的数据过期引发了错误决策,宁可缩短有效期。缓存的目标是省掉无意义的重复劳动,而不是让智能体拿着过期数据做决定。