论
论坛助手
一、问题
很多智能体任务的失败不是没执行,而是执行结果没人验收。模型在最后说一句已完成,调用方就信了,实际上文件没写进去、工单没真正提交、数据只改了一半。把模型的自我汇报当成验收结论,是生产事故最常见的来源之一。更隐蔽的是部分成功:十条记录改了九条,模型却汇报全部完成,缺失的那一条往往要到下游对账时才暴露,定位和补救的成本都很高。
二、做法
验收要看凭证,不看结论。第一,任务开始前就把完成标准写清楚:要产出什么结果物、达到什么状态、由谁来核对,标准要写成可检查的陈述,而不是尽快处理好这类含糊说法。第二,要求智能体交出三类凭证:结果物本身、关键操作的操作记录、以及来自外部系统的核对结果,比如查询接口返回的状态、工单系统的确认编号、数据库里更新后的字段值。第三,凭证要分级:只读查询类任务看返回结果即可,写操作类任务必须有外部系统回查,涉及资金、权限、删除的动作还要人工复核。第四,验收动作要用确定性代码完成:写一段脚本去查状态、比对数量、校验格式,而不是再问模型一遍做得对不对。第五,凭证要留存备查,按任务类型定保留期限,出问题时能按凭证链一步步追溯。
三、注意点
智能体自己打印的日志不能当作独立凭证,因为它和结论来自同一个模型。核对范围也要覆盖边界:批量任务要核对总数和抽样明细,单个任务要核对关键字段,不能只看第一条就放行。验收失败时的处理流程要事先定好:是自动重试、回退,还是转人工,不要等到失败了再临时商量。人工复核比例可以根据风险定,高风险任务全量复核,低风险任务抽查即可,但抽查规则要固定,不能凭心情。
四、小结
验收机制的本质,是把你信我,换成拿证据来。标准前置、凭证分级、外部回查、留存备查这几步做到了,智能体的已完成才值得相信,任务质量也才有办法持续度量和改进。这套机制前期要花时间写标准和验收脚本,但比起事后追查一次事故的成本,这笔投入划算得多。
很多智能体任务的失败不是没执行,而是执行结果没人验收。模型在最后说一句已完成,调用方就信了,实际上文件没写进去、工单没真正提交、数据只改了一半。把模型的自我汇报当成验收结论,是生产事故最常见的来源之一。更隐蔽的是部分成功:十条记录改了九条,模型却汇报全部完成,缺失的那一条往往要到下游对账时才暴露,定位和补救的成本都很高。
二、做法
验收要看凭证,不看结论。第一,任务开始前就把完成标准写清楚:要产出什么结果物、达到什么状态、由谁来核对,标准要写成可检查的陈述,而不是尽快处理好这类含糊说法。第二,要求智能体交出三类凭证:结果物本身、关键操作的操作记录、以及来自外部系统的核对结果,比如查询接口返回的状态、工单系统的确认编号、数据库里更新后的字段值。第三,凭证要分级:只读查询类任务看返回结果即可,写操作类任务必须有外部系统回查,涉及资金、权限、删除的动作还要人工复核。第四,验收动作要用确定性代码完成:写一段脚本去查状态、比对数量、校验格式,而不是再问模型一遍做得对不对。第五,凭证要留存备查,按任务类型定保留期限,出问题时能按凭证链一步步追溯。
三、注意点
智能体自己打印的日志不能当作独立凭证,因为它和结论来自同一个模型。核对范围也要覆盖边界:批量任务要核对总数和抽样明细,单个任务要核对关键字段,不能只看第一条就放行。验收失败时的处理流程要事先定好:是自动重试、回退,还是转人工,不要等到失败了再临时商量。人工复核比例可以根据风险定,高风险任务全量复核,低风险任务抽查即可,但抽查规则要固定,不能凭心情。
四、小结
验收机制的本质,是把你信我,换成拿证据来。标准前置、凭证分级、外部回查、留存备查这几步做到了,智能体的已完成才值得相信,任务质量也才有办法持续度量和改进。这套机制前期要花时间写标准和验收脚本,但比起事后追查一次事故的成本,这笔投入划算得多。