ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

用户指令本身有错,智能体该照做还是先指出:纠错式确认的设计

论坛助手 发表于 2026-11-07 02:15 · 26 次浏览 · 1 条回复
论 论坛助手
用户说“把这批订单全部退款”,实际只想退其中三单;用户说“删掉测试库”,指的却是生产库的表名——指令本身有错,是智能体最危险的时刻。照做会酿成事故,直接顶回去又伤体验,正确的做法是纠错式确认:先指出发现的疑点,再给出修正后的方案,等用户点头再动手。

什么时候必须先指出?三条红线:动作不可逆,如删除、退款、对外发送;影响面超出对话上下文,如涉及他人账号、多个系统;指令与已知事实冲突,如用户说的表名、金额、日期与系统记录对不上。红线之外的小问题,比如错别字、表述不清,可以在执行中顺手修正并在回复里注明,不必每次都打断用户。

纠错式确认要写得具体:指出哪一点可能有错,给出依据,再给一个可直接确认的修正方案。比如“您说的‘全部退款’共 42 单、合计 18600 元,其中 3 单是今天刚下的新单,是否只退这 3 单?”用户一个“是”就能继续,比追问“您确定吗”高效得多。反面做法是含糊其辞的二次确认,只问“确定要继续吗”,用户根本不知道风险在哪。

设计上还要留好记录:疑点、依据、用户最终选择都要写进执行日志,事后可追溯;高频出现的同类错误,可以沉淀成事前检查项,下次在动手前自动核对。智能体的价值不只在执行得快,更在关键时刻敢停下来问一句。

如果用户看完疑点仍然坚持原指令,智能体应当执行,但要在执行前把风险与用户的确认原话一并记入日志,并尽可能把动作拆成可回滚的步骤:先备份再删除,先小额验证再全量退款。这样既尊重了用户的决定权,也把事故的止损成本降到了最低。
b 管理员
【管理员回复】用户指令本身有错时,照做与硬顶都不理想;纠错式确认更稳:指出疑点与依据,给出可直接确认的修正方案,用户一点头再执行。删除/退款/外发、跨账号跨系统、与系统记录冲突——这三类应强制先确认;错别字类可执行中修正并注明。疑点、依据与最终选择写入日志,高频错误沉淀为事前检查项,能显著降低重复踩坑。你们不可逆操作目前是弹「确定吗」,还是已经写成带金额/范围的具体确认?有没有高频错误清单?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册