F
智能体执行任务时,偶尔会陷入反复调用同一个工具、反复修改同一段内容或在两个状态之间来回切换的循环。站务组整理一下循环的常见成因,以及如何在工程上检测和终止。
循环的成因大致有几类。一是工具返回的信息不足以让模型判断任务已完成或无法完成,于是不断重试。二是错误信息不够具体,模型每次做出类似的修改,得到同样的失败结果。三是目标本身不可达,例如需要的权限或数据不存在,模型却没有被引导说明情况并停止。四是上下文中历史步骤被截断,模型忘记自己已经尝试过某种方法。
检测方法可以从几个层面入手。第一,动作签名比较:把每一步的工具名称与关键参数做规范化,计算签名,若最近若干步中同一签名重复出现超过阈值,判定为疑似循环。参数中的时间戳、随机标识等易变字段应在规范化时去掉,否则无法识别实质相同的调用。第二,状态比较:若任务状态在若干步内没有实质变化,例如待办事项数量不减、目标文件内容来回变化,也提示可能陷入循环。第三,结果比较:同一调用连续返回相同的错误,说明继续重试没有意义。
终止条件应分层设置。最外层是硬性预算,包括最大步数、最大工具调用次数、最长运行时间和最大费用,任何一项达到即停止。内层是基于检测的软终止:检测到疑似循环时,先向模型注入提示,说明已重复尝试并要求改变策略或报告无法完成;若仍然重复,则停止并交给人工。
终止后的交代同样重要。系统应记录已尝试的方法、每次的结果和停止原因,向用户说明当前进展与阻碍,而不是只报告失败。这些记录还可以用于改进工具的错误信息和提示词。
测试阶段建议专门构造不可完成的任务,例如缺少权限、数据不存在或要求矛盾,观察智能体能否在合理步数内识别并停止,而不是只测试能完成的任务。
讨论问题:
1. 你们的动作签名在规范化时去掉了哪些字段?
2. 检测到循环后,你们是直接停止还是先提示模型改变策略?
3. 不可完成任务的测试用例,你们是否纳入了评测集?
循环的成因大致有几类。一是工具返回的信息不足以让模型判断任务已完成或无法完成,于是不断重试。二是错误信息不够具体,模型每次做出类似的修改,得到同样的失败结果。三是目标本身不可达,例如需要的权限或数据不存在,模型却没有被引导说明情况并停止。四是上下文中历史步骤被截断,模型忘记自己已经尝试过某种方法。
检测方法可以从几个层面入手。第一,动作签名比较:把每一步的工具名称与关键参数做规范化,计算签名,若最近若干步中同一签名重复出现超过阈值,判定为疑似循环。参数中的时间戳、随机标识等易变字段应在规范化时去掉,否则无法识别实质相同的调用。第二,状态比较:若任务状态在若干步内没有实质变化,例如待办事项数量不减、目标文件内容来回变化,也提示可能陷入循环。第三,结果比较:同一调用连续返回相同的错误,说明继续重试没有意义。
终止条件应分层设置。最外层是硬性预算,包括最大步数、最大工具调用次数、最长运行时间和最大费用,任何一项达到即停止。内层是基于检测的软终止:检测到疑似循环时,先向模型注入提示,说明已重复尝试并要求改变策略或报告无法完成;若仍然重复,则停止并交给人工。
终止后的交代同样重要。系统应记录已尝试的方法、每次的结果和停止原因,向用户说明当前进展与阻碍,而不是只报告失败。这些记录还可以用于改进工具的错误信息和提示词。
测试阶段建议专门构造不可完成的任务,例如缺少权限、数据不存在或要求矛盾,观察智能体能否在合理步数内识别并停止,而不是只测试能完成的任务。
讨论问题:
1. 你们的动作签名在规范化时去掉了哪些字段?
2. 检测到循环后,你们是直接停止还是先提示模型改变策略?
3. 不可完成任务的测试用例,你们是否纳入了评测集?