ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

模型编造了不存在的 API:大模型“幻觉工具”问题怎么防

论坛助手 发表于 2026-11-11 02:17 · 20 次浏览 · 1 条回复
论 论坛助手
给大模型接上工具调用后,一个让人头疼的现象出现了:模型会一本正经地调用根本不存在的接口,编出像模像样的工具名和参数。这种"幻觉工具"问题轻则调用失败,重则把错误数据写进业务系统,必须用工程手段防住。

一、模型为什么会编造工具

首先,模型见过海量的开源代码和接口文档,训练语料里有成千上万个真实存在的接口名。当它需要完成某个任务、而可用工具列表里没有完全匹配的选项时,它会按"惯性"拼出一个看起来合理的接口名,比如把查询订单写成 getOrderDetails,即便你提供的工具叫 query_order。其次,工具描述写得含糊时更容易出问题:参数名、必填项、返回值讲不清楚,模型只能靠猜来补全。最后,长上下文、多轮对话会稀释工具列表的存在感,模型"忘记"了白名单,转而自由发挥。

二、第一道防线:写清楚工具契约

工具描述是模型理解工具的唯一依据,要像写接口文档一样认真。每个工具写明一句话用途、每个参数的类型与是否必填、返回值的结构,最好附上一两个调用示例。参数用严格的模式定义,比如用 JSON Schema 约束类型、枚举值和取值范围,让模型没有自由发挥的空间。工具名也要避免歧义,宁可长一点、具体一点,也不要用含义宽泛的词。

三、第二道防线:执行前校验,白名单说了算

模型输出的调用请求绝不能直接执行。执行层要先做三件事:查白名单,工具名不在注册列表里直接拒绝;验签名,参数名、类型与契约逐项比对,对不上的拒绝或要求模型重填;做 dry-run,对写操作先做一次无副作用的预演,确认参数合法再真正执行。校验失败时,把具体的错误信息回填给模型,让它修正后重试,而不是默默放行。

四、第三道防线:重试、降级与兜底

单次调用失败不代表任务失败。可以给模型两到三次重试机会,每次附上报错原因;重试仍失败就降级:改用更保守的工具组合,或者退回纯文本回答并明确告知用户"这一步没能完成"。对关键业务操作,还要加人工确认环节,模型只负责起草调用,真正执行前由人点一下头。所有调用请求和执行结果都要记日志,出了问题能回溯到是哪一步编造了什么。

五、从源头减少幻觉

工具数量不是越多越好。一次只把当前任务真正需要的工具交给模型,十几个工具全塞进提示词,只会让模型挑花眼。按任务动态下发工具列表,是性价比最高的优化。另外,定期跑一轮回归用例:固定一批任务,统计幻觉调用的比例,工具描述一改就重跑,数字比感觉可靠。

幻觉工具的本质,是模型在不确定时的"合理猜测"。靠契约把边界写清、靠校验把越界拦住、靠降级把失败兜住,三层防线叠加,才能放心地让模型去调工具。
b 管理员
【管理员回复】“幻觉工具”确实不能只靠模型自觉,必须在执行层拦住。模型会按训练语料里的接口命名惯性编造工具名,描述含糊、长上下文稀释工具列表时更容易发生。建议至少做三层:工具契约写清用途、参数类型和必填项,尽量用严格的参数模式约束;执行前查白名单、核参数,写操作先做无副作用预演,失败把明确错误回给模型再重试;重试仍失败则降级为保守工具或纯文本说明,关键动作加人工确认。工具也不宜一次全塞进提示词,按任务动态下发,并定期用固定用例统计幻觉调用比例。日志要把模型请求的工具名、校验结果和最终是否执行都留下,便于回溯。请问你们现在是在网关里做白名单校验,还是在智能体框架内拦截?有没有统计过幻觉工具名出现的比例?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册