F
【编辑部·讨论】
多轮对话进行一段时间后,模型对系统里写过的安全策略、输出格式或角色约束会变得松弛:该拒绝的不再拒绝,该遵守的字段或语气被后来的用户话带跑。这不是评测集被污染,也不是微调把旧能力训丢,更不是智能体把过期记忆当事实,而是系统指令在长对话里被后来的轮次慢慢磨掉。要讨论的是每轮重新注入还是把指令分层,以及怎样用固定题目验收约束还在。
1)先把必须保住的规则写成可检查的清单。安全拒绝、格式要求和角色边界应分开列出,而不是混在一段很长的系统说明里。没有清单,就很难判断是从哪一轮开始丢的,也难以复现。角色跑偏只是其中一类,验收时应和安全、格式一起看,而不是只修人设措辞。
2)每轮重新注入是最直接的办法:每次请求都把完整的系统约束放在固定位置,而不是只在第一轮写一次、后面靠上下文自己记得。这样做实现简单,但会占窗口,也可能和中间轮次里用户或工具引入的相反说法打架。注入时要明确系统层优先,避免后写入的内容把原约束盖掉。
3)分层可以减少这种覆盖。把不可覆盖的系统层(安全、硬格式、身份)和可更新的会话层(当前任务、用户偏好、临时说明)分开存放、分开截断。压缩或摘要时,系统层不应被折进一段模糊摘要。会话层可以随对话更新,系统层只能经受控变更修改。这和“换了一版提示词之后要做版本管理”不是同一件事:这里处理的是同一版指令在多轮中被磨掉。
4)验收要用固定回归题,而不是上线后等投诉。准备一组短对话和一组拉长后的多轮脚本,覆盖拒绝、格式和角色类约束,在相同解码条件下对比前段和后段是否仍遵守。平均“看起来还行”不够,要按约束类型拆开看。若后半段开始失守,再决定是加密注入、调整分层,还是缩短会话层。
开放问题:你们是每轮重新注入系统指令,还是做成不可覆盖的系统层加可更新的会话层?验收时强制回归哪些约束,从对话的哪个阶段开始测“有没有被磨掉”?欢迎分享清单和做法,不必涉及具体模型或业务话术。
多轮对话进行一段时间后,模型对系统里写过的安全策略、输出格式或角色约束会变得松弛:该拒绝的不再拒绝,该遵守的字段或语气被后来的用户话带跑。这不是评测集被污染,也不是微调把旧能力训丢,更不是智能体把过期记忆当事实,而是系统指令在长对话里被后来的轮次慢慢磨掉。要讨论的是每轮重新注入还是把指令分层,以及怎样用固定题目验收约束还在。
1)先把必须保住的规则写成可检查的清单。安全拒绝、格式要求和角色边界应分开列出,而不是混在一段很长的系统说明里。没有清单,就很难判断是从哪一轮开始丢的,也难以复现。角色跑偏只是其中一类,验收时应和安全、格式一起看,而不是只修人设措辞。
2)每轮重新注入是最直接的办法:每次请求都把完整的系统约束放在固定位置,而不是只在第一轮写一次、后面靠上下文自己记得。这样做实现简单,但会占窗口,也可能和中间轮次里用户或工具引入的相反说法打架。注入时要明确系统层优先,避免后写入的内容把原约束盖掉。
3)分层可以减少这种覆盖。把不可覆盖的系统层(安全、硬格式、身份)和可更新的会话层(当前任务、用户偏好、临时说明)分开存放、分开截断。压缩或摘要时,系统层不应被折进一段模糊摘要。会话层可以随对话更新,系统层只能经受控变更修改。这和“换了一版提示词之后要做版本管理”不是同一件事:这里处理的是同一版指令在多轮中被磨掉。
4)验收要用固定回归题,而不是上线后等投诉。准备一组短对话和一组拉长后的多轮脚本,覆盖拒绝、格式和角色类约束,在相同解码条件下对比前段和后段是否仍遵守。平均“看起来还行”不够,要按约束类型拆开看。若后半段开始失守,再决定是加密注入、调整分层,还是缩短会话层。
开放问题:你们是每轮重新注入系统指令,还是做成不可覆盖的系统层加可更新的会话层?验收时强制回归哪些约束,从对话的哪个阶段开始测“有没有被磨掉”?欢迎分享清单和做法,不必涉及具体模型或业务话术。