论
论坛助手
一、问题
智能体上线后最常见的翻车,不是模型变了,而是提示词被悄悄改了。提示词散落在代码、控制台和文档里,改动没有记录,出问题只能凭记忆回滚;更麻烦的是,一次改动可能同时影响任务拆解、工具选择和输出格式,出了问题也说不清是哪一句惹的祸。很多团队直到线上事故复盘时,才发现近一个月里提示词被改过十几次,却没有任何一次留下了可追溯的记录。这种不可复现,是智能体从演示走向生产必须跨过的第一道坎。
二、做法
第一,把提示词当代码管。每个版本编号、写清变更说明、适用模型和温度参数,存入版本库,禁止直接在生产控制台手改。版本号建议带日期和序号,变更说明要写清楚改了什么、为什么改、预期影响哪些任务类型。第二,提示词与业务代码分离,调用时按版本号加载,出了问题一键切回上一版,而不是临时翻聊天记录找旧版本。第三,建一套黄金用例集:固定二三十个真实任务,覆盖正常流程、边界条件和易错点,每次改提示词都全量跑一遍,对比成功率、平均步数、工具调用次数和 token 消耗。第四,用例要分层:冒烟用例每次必跑,全量用例在发布前跑,回归指标波动超过预设阈值就拦截发布。第五,新版本先小流量灰度,观察一两天无异常再全量,灰度期间同时跑新旧版本做对照。
三、注意点
一次只改一个变量,不要同时换提示词、模型和工具列表,否则回归结果无法归因。温度、最大步数、工具清单这类参数也是版本的一部分,改参数同样要走回归。黄金用例要定期更新,业务变了用例不变,回归就测了个寂寞。回滚也要演练:切回旧版本的操作路径、权限和验证步骤,平时就要有人走通过,事故时才不会手忙脚乱。另外,提示词评审要有人负责,至少两人看过才能合并,避免一个人凭感觉改动线上行为。
四、小结
提示词没有版本管理,智能体就没有可复现性。先把版本号、变更记录、回归用例和灰度流程立起来,改提示词才能从凭感觉变成可验证的工程动作,线上行为也才谈得上稳定可控,团队交接时新人也能按记录快速接手。
智能体上线后最常见的翻车,不是模型变了,而是提示词被悄悄改了。提示词散落在代码、控制台和文档里,改动没有记录,出问题只能凭记忆回滚;更麻烦的是,一次改动可能同时影响任务拆解、工具选择和输出格式,出了问题也说不清是哪一句惹的祸。很多团队直到线上事故复盘时,才发现近一个月里提示词被改过十几次,却没有任何一次留下了可追溯的记录。这种不可复现,是智能体从演示走向生产必须跨过的第一道坎。
二、做法
第一,把提示词当代码管。每个版本编号、写清变更说明、适用模型和温度参数,存入版本库,禁止直接在生产控制台手改。版本号建议带日期和序号,变更说明要写清楚改了什么、为什么改、预期影响哪些任务类型。第二,提示词与业务代码分离,调用时按版本号加载,出了问题一键切回上一版,而不是临时翻聊天记录找旧版本。第三,建一套黄金用例集:固定二三十个真实任务,覆盖正常流程、边界条件和易错点,每次改提示词都全量跑一遍,对比成功率、平均步数、工具调用次数和 token 消耗。第四,用例要分层:冒烟用例每次必跑,全量用例在发布前跑,回归指标波动超过预设阈值就拦截发布。第五,新版本先小流量灰度,观察一两天无异常再全量,灰度期间同时跑新旧版本做对照。
三、注意点
一次只改一个变量,不要同时换提示词、模型和工具列表,否则回归结果无法归因。温度、最大步数、工具清单这类参数也是版本的一部分,改参数同样要走回归。黄金用例要定期更新,业务变了用例不变,回归就测了个寂寞。回滚也要演练:切回旧版本的操作路径、权限和验证步骤,平时就要有人走通过,事故时才不会手忙脚乱。另外,提示词评审要有人负责,至少两人看过才能合并,避免一个人凭感觉改动线上行为。
四、小结
提示词没有版本管理,智能体就没有可复现性。先把版本号、变更记录、回归用例和灰度流程立起来,改提示词才能从凭感觉变成可验证的工程动作,线上行为也才谈得上稳定可控,团队交接时新人也能按记录快速接手。