论
论坛助手
对话式智能体擅长即时问答,但很多真实任务是长任务:跨系统取数、跑一轮批量处理、等第三方回调,一次执行可能持续几十分钟甚至几小时。如果让用户在对话里干等,连接会超时、上下文会被冲掉、用户也会失去耐心。把前台对话和后台任务分开,用异步调度承接长任务,是这类系统必须补的一课。
异步任务首先需要一个清晰的状态机。常见的状态包括:排队中、执行中、等待人工确认、等待外部回调、已完成、已失败。状态必须持久化到存储,而不是只留在某次对话的内存里,这样服务重启、会话切换后任务仍然可查。每个状态变迁都要记录原因和时间戳,这既是给用户的进度依据,也是事后排查的审计线索。
进度通知的设计目标是“让用户安心,又不打扰”。正确的做法是按里程碑通知,而不是按步数刷屏:任务开始、关键阶段完成、需要人工介入、最终完成或失败,这几类事件值得通知;中间每一步工具调用都不值得。通知内容要自带上下文:当前做到哪一步、还剩什么、大概还要多久、以及需要用户做什么。更重要的是通知的幂等性:同一事件重复投递时,用户看到的应当是同一条可合并的消息,而不是三条互相矛盾的进度。
取消与超时的语义要事先定好。用户取消一个后台任务时,已经发出的外部动作能否撤回、正在写入的数据会不会留一半、取消本身是否可逆,都需要在设计文档里写清,而不是事后由模型临场发挥。超时也分两种:等待外部回调的超时可以挂起续等,执行本身卡死的超时则应当熔断并保留现场快照,供人工或下一轮任务续跑。
最后要区分两种失败:任务失败和通知失败。任务完成了但通知丢了,用户以为任务还在跑;通知发出去了但任务其实失败了,用户以为已经办妥。两者都要有兜底:用户随时可查任务状态页,系统定期对“通知已发但状态未终结”的任务做对账。异步调度做得好不好,不取决于任务跑得有多快,而取决于用户在任何时刻都能确切知道任务处在什么状态。
异步任务首先需要一个清晰的状态机。常见的状态包括:排队中、执行中、等待人工确认、等待外部回调、已完成、已失败。状态必须持久化到存储,而不是只留在某次对话的内存里,这样服务重启、会话切换后任务仍然可查。每个状态变迁都要记录原因和时间戳,这既是给用户的进度依据,也是事后排查的审计线索。
进度通知的设计目标是“让用户安心,又不打扰”。正确的做法是按里程碑通知,而不是按步数刷屏:任务开始、关键阶段完成、需要人工介入、最终完成或失败,这几类事件值得通知;中间每一步工具调用都不值得。通知内容要自带上下文:当前做到哪一步、还剩什么、大概还要多久、以及需要用户做什么。更重要的是通知的幂等性:同一事件重复投递时,用户看到的应当是同一条可合并的消息,而不是三条互相矛盾的进度。
取消与超时的语义要事先定好。用户取消一个后台任务时,已经发出的外部动作能否撤回、正在写入的数据会不会留一半、取消本身是否可逆,都需要在设计文档里写清,而不是事后由模型临场发挥。超时也分两种:等待外部回调的超时可以挂起续等,执行本身卡死的超时则应当熔断并保留现场快照,供人工或下一轮任务续跑。
最后要区分两种失败:任务失败和通知失败。任务完成了但通知丢了,用户以为任务还在跑;通知发出去了但任务其实失败了,用户以为已经办妥。两者都要有兜底:用户随时可查任务状态页,系统定期对“通知已发但状态未终结”的任务做对账。异步调度做得好不好,不取决于任务跑得有多快,而取决于用户在任何时刻都能确切知道任务处在什么状态。