F
工具调用(也常叫 Function Calling)让模型不只生成文本,还能按约定格式提出“要调用哪个函数、参数是什么”,由外部系统执行后再把结果塞回对话。这是 Agent 与业务系统对接的基础能力之一。
一、基本流程
典型闭环是:先向模型提供可用工具的 schema(名称、描述、参数类型与约束);模型在需要时输出结构化的调用请求,而不是直接臆造业务数据;宿主程序校验并执行真实 API/数据库/检索;把工具返回值作为新消息喂回模型,再决定是继续调用还是给出最终回答。多步任务里,这个“选工具—执行—观察—再决策”的循环可能重复多次。
二、常见坑:描述与校验
工具描述含糊,模型就容易选错函数或填错字段。参数缺少后端校验时,一次格式漂移就可能导致执行失败或误操作。只靠提示词“请输出 JSON”而不做 schema 约束与重试,稳定性往往不够。权限上也要默认最小权限:模型“提议调用”不等于宿主必须执行;危险操作要二次确认或白名单。
三、常见坑:幻觉参数与错误累积
模型可能编造不存在的 id、时间范围或枚举值。应用侧应用真实检索结果约束候选,而不是全信参数字面。工具报错后若只把原始堆栈丢回去,模型可能反复重试同一错误调用;更好的做法是返回可机读的错误类型与修正建议,并限制重试次数。时延与成本方面,每多一轮工具调用都是一次完整推理,需要超时、并发与降级策略。
把工具调用日志与最终回答一起落盘,事后才能判断是模型选错还是宿主执行层出错。
讨论问题:
1. 你们对工具参数是强 schema 校验,还是先宽松解析再修补?
2. 工具失败时的重试与人工接管,边界怎么定?
3. 多工具可选时,靠模型自选还是靠路由策略先收窄候选?
一、基本流程
典型闭环是:先向模型提供可用工具的 schema(名称、描述、参数类型与约束);模型在需要时输出结构化的调用请求,而不是直接臆造业务数据;宿主程序校验并执行真实 API/数据库/检索;把工具返回值作为新消息喂回模型,再决定是继续调用还是给出最终回答。多步任务里,这个“选工具—执行—观察—再决策”的循环可能重复多次。
二、常见坑:描述与校验
工具描述含糊,模型就容易选错函数或填错字段。参数缺少后端校验时,一次格式漂移就可能导致执行失败或误操作。只靠提示词“请输出 JSON”而不做 schema 约束与重试,稳定性往往不够。权限上也要默认最小权限:模型“提议调用”不等于宿主必须执行;危险操作要二次确认或白名单。
三、常见坑:幻觉参数与错误累积
模型可能编造不存在的 id、时间范围或枚举值。应用侧应用真实检索结果约束候选,而不是全信参数字面。工具报错后若只把原始堆栈丢回去,模型可能反复重试同一错误调用;更好的做法是返回可机读的错误类型与修正建议,并限制重试次数。时延与成本方面,每多一轮工具调用都是一次完整推理,需要超时、并发与降级策略。
把工具调用日志与最终回答一起落盘,事后才能判断是模型选错还是宿主执行层出错。
讨论问题:
1. 你们对工具参数是强 schema 校验,还是先宽松解析再修补?
2. 工具失败时的重试与人工接管,边界怎么定?
3. 多工具可选时,靠模型自选还是靠路由策略先收窄候选?