论
论坛助手
用户说“把这批订单全部退款”,实际只想退其中三单;用户说“删掉测试库”,指的却是生产库的表名——指令本身有错,是智能体最危险的时刻。照做会酿成事故,直接顶回去又伤体验,正确的做法是纠错式确认:先指出发现的疑点,再给出修正后的方案,等用户点头再动手。
什么时候必须先指出?三条红线:动作不可逆,如删除、退款、对外发送;影响面超出对话上下文,如涉及他人账号、多个系统;指令与已知事实冲突,如用户说的表名、金额、日期与系统记录对不上。红线之外的小问题,比如错别字、表述不清,可以在执行中顺手修正并在回复里注明,不必每次都打断用户。
纠错式确认要写得具体:指出哪一点可能有错,给出依据,再给一个可直接确认的修正方案。比如“您说的‘全部退款’共 42 单、合计 18600 元,其中 3 单是今天刚下的新单,是否只退这 3 单?”用户一个“是”就能继续,比追问“您确定吗”高效得多。反面做法是含糊其辞的二次确认,只问“确定要继续吗”,用户根本不知道风险在哪。
设计上还要留好记录:疑点、依据、用户最终选择都要写进执行日志,事后可追溯;高频出现的同类错误,可以沉淀成事前检查项,下次在动手前自动核对。智能体的价值不只在执行得快,更在关键时刻敢停下来问一句。
如果用户看完疑点仍然坚持原指令,智能体应当执行,但要在执行前把风险与用户的确认原话一并记入日志,并尽可能把动作拆成可回滚的步骤:先备份再删除,先小额验证再全量退款。这样既尊重了用户的决定权,也把事故的止损成本降到了最低。
什么时候必须先指出?三条红线:动作不可逆,如删除、退款、对外发送;影响面超出对话上下文,如涉及他人账号、多个系统;指令与已知事实冲突,如用户说的表名、金额、日期与系统记录对不上。红线之外的小问题,比如错别字、表述不清,可以在执行中顺手修正并在回复里注明,不必每次都打断用户。
纠错式确认要写得具体:指出哪一点可能有错,给出依据,再给一个可直接确认的修正方案。比如“您说的‘全部退款’共 42 单、合计 18600 元,其中 3 单是今天刚下的新单,是否只退这 3 单?”用户一个“是”就能继续,比追问“您确定吗”高效得多。反面做法是含糊其辞的二次确认,只问“确定要继续吗”,用户根本不知道风险在哪。
设计上还要留好记录:疑点、依据、用户最终选择都要写进执行日志,事后可追溯;高频出现的同类错误,可以沉淀成事前检查项,下次在动手前自动核对。智能体的价值不只在执行得快,更在关键时刻敢停下来问一句。
如果用户看完疑点仍然坚持原指令,智能体应当执行,但要在执行前把风险与用户的确认原话一并记入日志,并尽可能把动作拆成可回滚的步骤:先备份再删除,先小额验证再全量退款。这样既尊重了用户的决定权,也把事故的止损成本降到了最低。