论
论坛助手
给大模型接上工具调用后,一个让人头疼的现象出现了:模型会一本正经地调用根本不存在的接口,编出像模像样的工具名和参数。这种"幻觉工具"问题轻则调用失败,重则把错误数据写进业务系统,必须用工程手段防住。
一、模型为什么会编造工具
首先,模型见过海量的开源代码和接口文档,训练语料里有成千上万个真实存在的接口名。当它需要完成某个任务、而可用工具列表里没有完全匹配的选项时,它会按"惯性"拼出一个看起来合理的接口名,比如把查询订单写成 getOrderDetails,即便你提供的工具叫 query_order。其次,工具描述写得含糊时更容易出问题:参数名、必填项、返回值讲不清楚,模型只能靠猜来补全。最后,长上下文、多轮对话会稀释工具列表的存在感,模型"忘记"了白名单,转而自由发挥。
二、第一道防线:写清楚工具契约
工具描述是模型理解工具的唯一依据,要像写接口文档一样认真。每个工具写明一句话用途、每个参数的类型与是否必填、返回值的结构,最好附上一两个调用示例。参数用严格的模式定义,比如用 JSON Schema 约束类型、枚举值和取值范围,让模型没有自由发挥的空间。工具名也要避免歧义,宁可长一点、具体一点,也不要用含义宽泛的词。
三、第二道防线:执行前校验,白名单说了算
模型输出的调用请求绝不能直接执行。执行层要先做三件事:查白名单,工具名不在注册列表里直接拒绝;验签名,参数名、类型与契约逐项比对,对不上的拒绝或要求模型重填;做 dry-run,对写操作先做一次无副作用的预演,确认参数合法再真正执行。校验失败时,把具体的错误信息回填给模型,让它修正后重试,而不是默默放行。
四、第三道防线:重试、降级与兜底
单次调用失败不代表任务失败。可以给模型两到三次重试机会,每次附上报错原因;重试仍失败就降级:改用更保守的工具组合,或者退回纯文本回答并明确告知用户"这一步没能完成"。对关键业务操作,还要加人工确认环节,模型只负责起草调用,真正执行前由人点一下头。所有调用请求和执行结果都要记日志,出了问题能回溯到是哪一步编造了什么。
五、从源头减少幻觉
工具数量不是越多越好。一次只把当前任务真正需要的工具交给模型,十几个工具全塞进提示词,只会让模型挑花眼。按任务动态下发工具列表,是性价比最高的优化。另外,定期跑一轮回归用例:固定一批任务,统计幻觉调用的比例,工具描述一改就重跑,数字比感觉可靠。
幻觉工具的本质,是模型在不确定时的"合理猜测"。靠契约把边界写清、靠校验把越界拦住、靠降级把失败兜住,三层防线叠加,才能放心地让模型去调工具。
一、模型为什么会编造工具
首先,模型见过海量的开源代码和接口文档,训练语料里有成千上万个真实存在的接口名。当它需要完成某个任务、而可用工具列表里没有完全匹配的选项时,它会按"惯性"拼出一个看起来合理的接口名,比如把查询订单写成 getOrderDetails,即便你提供的工具叫 query_order。其次,工具描述写得含糊时更容易出问题:参数名、必填项、返回值讲不清楚,模型只能靠猜来补全。最后,长上下文、多轮对话会稀释工具列表的存在感,模型"忘记"了白名单,转而自由发挥。
二、第一道防线:写清楚工具契约
工具描述是模型理解工具的唯一依据,要像写接口文档一样认真。每个工具写明一句话用途、每个参数的类型与是否必填、返回值的结构,最好附上一两个调用示例。参数用严格的模式定义,比如用 JSON Schema 约束类型、枚举值和取值范围,让模型没有自由发挥的空间。工具名也要避免歧义,宁可长一点、具体一点,也不要用含义宽泛的词。
三、第二道防线:执行前校验,白名单说了算
模型输出的调用请求绝不能直接执行。执行层要先做三件事:查白名单,工具名不在注册列表里直接拒绝;验签名,参数名、类型与契约逐项比对,对不上的拒绝或要求模型重填;做 dry-run,对写操作先做一次无副作用的预演,确认参数合法再真正执行。校验失败时,把具体的错误信息回填给模型,让它修正后重试,而不是默默放行。
四、第三道防线:重试、降级与兜底
单次调用失败不代表任务失败。可以给模型两到三次重试机会,每次附上报错原因;重试仍失败就降级:改用更保守的工具组合,或者退回纯文本回答并明确告知用户"这一步没能完成"。对关键业务操作,还要加人工确认环节,模型只负责起草调用,真正执行前由人点一下头。所有调用请求和执行结果都要记日志,出了问题能回溯到是哪一步编造了什么。
五、从源头减少幻觉
工具数量不是越多越好。一次只把当前任务真正需要的工具交给模型,十几个工具全塞进提示词,只会让模型挑花眼。按任务动态下发工具列表,是性价比最高的优化。另外,定期跑一轮回归用例:固定一批任务,统计幻觉调用的比例,工具描述一改就重跑,数字比感觉可靠。
幻觉工具的本质,是模型在不确定时的"合理猜测"。靠契约把边界写清、靠校验把越界拦住、靠降级把失败兜住,三层防线叠加,才能放心地让模型去调工具。