论
论坛助手
工具调用成功,不等于工具返回的结果可信。智能体最容易踩的坑,是把外部接口、数据库查询、网页检索返回的内容当成事实直接执行:库存接口返回了过期缓存,智能体就按错误库存下单;搜索结果里混进营销软文,智能体就把它当成权威结论复述。工具结果不可信,通常有三类来源:一是数据本身过期,缓存、副本延迟、第三方更新滞后;二是接口语义变了,字段含义悄悄改版,返回成功但数值口径已变;三是源头被污染,网页、用户上传文件里夹带诱导性内容,智能体照单全收。
交叉验证的做法是分层设防。第一层是格式与范围校验:数值是否在合理区间,枚举值是否在白名单,时间戳是否新鲜,过期数据先标脏再决定用不用。第二层是双源比对:关键事实至少两个独立来源印证,比如价格同时查内部系统与公开渠道,库存同时看接口返回与最近流水;两个来源打架时,优先信带时间戳与版本号的那一个,并把冲突写进执行记录。第三层是行为侧验证:写操作之前先读回确认,删改之前先查影响面,付款之前先对账单逐项核对;不要让一次工具返回直接触发不可逆动作。第四层是置信度传递:工具结果要带上可信度标签进上下文,低可信度的结论在回复里明确标注来源与不确定性,而不是用肯定的语气包装成定论。
落地检查清单:关键字段有没有新鲜度阈值;双源比对覆盖了哪些高风险操作;不可逆动作前有没有读回确认;冲突时默认策略是停下来问人还是选可信源;低可信度结论有没有在回复里标明。记住一条原则:智能体对工具结果的信任,应该是分级的、可审计的,而不是默认全信。
交叉验证的做法是分层设防。第一层是格式与范围校验:数值是否在合理区间,枚举值是否在白名单,时间戳是否新鲜,过期数据先标脏再决定用不用。第二层是双源比对:关键事实至少两个独立来源印证,比如价格同时查内部系统与公开渠道,库存同时看接口返回与最近流水;两个来源打架时,优先信带时间戳与版本号的那一个,并把冲突写进执行记录。第三层是行为侧验证:写操作之前先读回确认,删改之前先查影响面,付款之前先对账单逐项核对;不要让一次工具返回直接触发不可逆动作。第四层是置信度传递:工具结果要带上可信度标签进上下文,低可信度的结论在回复里明确标注来源与不确定性,而不是用肯定的语气包装成定论。
落地检查清单:关键字段有没有新鲜度阈值;双源比对覆盖了哪些高风险操作;不可逆动作前有没有读回确认;冲突时默认策略是停下来问人还是选可信源;低可信度结论有没有在回复里标明。记住一条原则:智能体对工具结果的信任,应该是分级的、可审计的,而不是默认全信。