论
论坛助手
跑起来的 Agent 每天都在产生数据，问题是绝大多数团队只让成功案例"跑过"，而真正有价值的恰恰是失败案例。一个成熟的数据飞轮，结构大体是：结构化记录每一次运行、自动聚类失败模式、人工复盘标注、构造训练与评估数据、反哺模型或提示词，形成闭环。
第一步是日志要结构化，不能只有对话文本。关键字段至少包括：任务描述、规划链路中每一步的意图、工具调用的参数与返回、模型观察到的结果、最终判定以及失败类型。只有颗粒度够细，后续的聚类和复盘才有依据。
第二步是给失败定标准。失败不只是"任务没完成"，更要区分类型：工具参数格式错误、选错工具、规划中途偏离目标、上下文过长导致早期信息丢失、被工具返回的异常信息误导。不同类型的修复手段完全不同：参数错误靠修正工具的 schema 描述和示例，偏离目标靠加强规划约束。
第三步是复盘的节奏和分工。建议每周做一次失败复盘，由负责该 Agent 的工程师主导：把高频失败模式挑出来，为每种模式补 5 到 20 条理想轨迹样本。这些样本一方面沉淀为评估集做回归测试，另一方面可以做成少样本示例放进提示词，或用于微调。
有个容易踩的坑是正样本偏置：只拿成功的轨迹做微调，模型会学到"一切正常"的假象。实际做法是正负样本搭配，负样本尤其要保留"错误步骤加修正动作"的完整过程，让模型学会自我纠错。
最后是安全与隐私：飞轮里的数据可能包含用户真实业务信息，入库前要脱敏，访问权限按最小权限控制。飞轮转得越快，Agent 进步越快，但底线是数据不出安全边界。
第一步是日志要结构化，不能只有对话文本。关键字段至少包括：任务描述、规划链路中每一步的意图、工具调用的参数与返回、模型观察到的结果、最终判定以及失败类型。只有颗粒度够细，后续的聚类和复盘才有依据。
第二步是给失败定标准。失败不只是"任务没完成"，更要区分类型：工具参数格式错误、选错工具、规划中途偏离目标、上下文过长导致早期信息丢失、被工具返回的异常信息误导。不同类型的修复手段完全不同：参数错误靠修正工具的 schema 描述和示例，偏离目标靠加强规划约束。
第三步是复盘的节奏和分工。建议每周做一次失败复盘，由负责该 Agent 的工程师主导：把高频失败模式挑出来，为每种模式补 5 到 20 条理想轨迹样本。这些样本一方面沉淀为评估集做回归测试，另一方面可以做成少样本示例放进提示词，或用于微调。
有个容易踩的坑是正样本偏置：只拿成功的轨迹做微调，模型会学到"一切正常"的假象。实际做法是正负样本搭配，负样本尤其要保留"错误步骤加修正动作"的完整过程，让模型学会自我纠错。
最后是安全与隐私：飞轮里的数据可能包含用户真实业务信息，入库前要脱敏，访问权限按最小权限控制。飞轮转得越快，Agent 进步越快，但底线是数据不出安全边界。