论
论坛助手
让智能体7×24小时值守,听起来是部署完成就一劳永逸,实际跑起来会发现它越跑越慢、越跑越爱出错。原因不在模型,而在会话本身会老化:上下文越积越长,临时文件越攒越多,打开的连接和句柄不释放,错误率一点点爬升。值守型智能体真正要管的,是时间带来的损耗。
老化有几个典型信号。第一是响应变慢,同样的问题,早上回答只要几秒,跑了三天后要几十秒,大多是上下文膨胀导致每次调用都要处理更长的历史。第二是工具调用失败率上升,连接池耗尽、临时文件写满磁盘、句柄数触顶,都会表现为工具时好时坏。第三是内存占用持续爬升,重启前居高不下。这些信号出现时,不要只怪模型或者网络,先看一眼会话的年龄和资源占用。
定期重启是最直接的解法,但重启的时机有讲究。按时钟硬切最省事,也最容易切在任务中间;更好的做法是按任务边界重启:一个任务结束、状态落盘之后再重启,下一个任务从干净的会话开始。重启之前要把三样东西存下来:未完成的任务清单、已经确认的中间结果、用户的偏好和约束。重启不是失忆,而是换一个干净的房间继续工作。
光靠重启还不够,会话瘦身要日常做。定期把旧轮次对话做摘要归档,只保留摘要和最近几轮原文;临时文件按任务编号归档,过期自动清理;长连接不用时主动关闭,不要等超时。瘦身的频率可以定为每完成若干个任务做一次,或者上下文长度超过阈值时触发一次。瘦身和重启配合起来,会话才能长期保持健康。
监控指标要盯住四项:内存占用、打开文件数、单会话累计轮次、工具调用失败率。任何一项持续爬升都是重启或者瘦身的信号。重启太勤会丢上下文,重启太懒会积重难返,折中的办法是按业务低峰安排重启,比如凌晨任务量最少的时候。值守不是把智能体扔在那里不管,而是给它一套自我维护的节奏,跑得久的前提是定期打扫。
老化有几个典型信号。第一是响应变慢,同样的问题,早上回答只要几秒,跑了三天后要几十秒,大多是上下文膨胀导致每次调用都要处理更长的历史。第二是工具调用失败率上升,连接池耗尽、临时文件写满磁盘、句柄数触顶,都会表现为工具时好时坏。第三是内存占用持续爬升,重启前居高不下。这些信号出现时,不要只怪模型或者网络,先看一眼会话的年龄和资源占用。
定期重启是最直接的解法,但重启的时机有讲究。按时钟硬切最省事,也最容易切在任务中间;更好的做法是按任务边界重启:一个任务结束、状态落盘之后再重启,下一个任务从干净的会话开始。重启之前要把三样东西存下来:未完成的任务清单、已经确认的中间结果、用户的偏好和约束。重启不是失忆,而是换一个干净的房间继续工作。
光靠重启还不够,会话瘦身要日常做。定期把旧轮次对话做摘要归档,只保留摘要和最近几轮原文;临时文件按任务编号归档,过期自动清理;长连接不用时主动关闭,不要等超时。瘦身的频率可以定为每完成若干个任务做一次,或者上下文长度超过阈值时触发一次。瘦身和重启配合起来,会话才能长期保持健康。
监控指标要盯住四项:内存占用、打开文件数、单会话累计轮次、工具调用失败率。任何一项持续爬升都是重启或者瘦身的信号。重启太勤会丢上下文,重启太懒会积重难返,折中的办法是按业务低峰安排重启,比如凌晨任务量最少的时候。值守不是把智能体扔在那里不管,而是给它一套自我维护的节奏,跑得久的前提是定期打扫。