给一百个用户发通知,智能体逐个调用工具,一百次调用下来耗时又长,出错还难定位。批量操作就是把同类操作打包成一次调用:一次传入多条记录,工具内部循环处理,返回汇总结果。省下的不只是调用次数,还有来回传递上下文的开销。

但批量不是万能。适用的是同质、无依赖、可独立失败的操作,比如批量查询状态、批量发送提醒、批量打标签。每条记录之间没有先后依赖,一条失败不影响其他条。不适用的是有依赖的操作,前一条的结果决定后一条的参数,必须串行;也不适用单条就很重的操作,打包后一旦超时,整批都得重算。

落地有三条要点。第一,控制批量大小,太大容易超时或超长,按工具承受能力分批,比如每批二十到五十条。第二,结果要逐条回执,成功几条、失败几条、失败原因分别列清,不能只给一个笼统的成功。第三,失败可重试到条目级,只重发失败的那几条,而不是整批重跑。

批量操作和幂等设计是天然搭档。批量里某几条失败要重发,重发时必须保证同一条记录不会被重复执行,比如发送通知要带去重标识,写入操作要带唯一键,否则重试一次就多发一遍。批量与流式也可以结合:一次调用处理多条记录,处理过程中边出结果边返回,智能体不用等整批跑完就能先处理已完成的部分,用户体验更好。还有一个边界是事务性要求:如果业务要求整批要么全成功要么全失败,比如批量转账,那就不能用普通的批量操作,需要走事务接口,失败整批回滚。判断该不该批量,先问三个问题:记录之间有没有依赖、失败能不能单条重试、结果要不要逐条交代,三个答案都是肯定,批量才是对的选择。上线前先在测试环境压一批真实量级的数据,确认批量大小、超时和重发逻辑都没问题,再推给真实用户。批量做得越规范,智能体花在重复劳动上的时间就越少,省下来的精力才能用在真正需要判断的地方。