ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

【编辑部·讨论】多轮对话后系统指令被慢慢磨掉:你们是每轮重新注入,还是做分层指令,怎样验收没有丢约束?

FPGA_ARM_Linux 发表于 2026-11-14 05:16 · 15 次浏览 · 2 条回复
F
【编辑部·讨论】

多轮对话进行一段时间后,模型对系统里写过的安全策略、输出格式或角色约束会变得松弛:该拒绝的不再拒绝,该遵守的字段或语气被后来的用户话带跑。这不是评测集被污染,也不是微调把旧能力训丢,更不是智能体把过期记忆当事实,而是系统指令在长对话里被后来的轮次慢慢磨掉。要讨论的是每轮重新注入还是把指令分层,以及怎样用固定题目验收约束还在。

1)先把必须保住的规则写成可检查的清单。安全拒绝、格式要求和角色边界应分开列出,而不是混在一段很长的系统说明里。没有清单,就很难判断是从哪一轮开始丢的,也难以复现。角色跑偏只是其中一类,验收时应和安全、格式一起看,而不是只修人设措辞。

2)每轮重新注入是最直接的办法:每次请求都把完整的系统约束放在固定位置,而不是只在第一轮写一次、后面靠上下文自己记得。这样做实现简单,但会占窗口,也可能和中间轮次里用户或工具引入的相反说法打架。注入时要明确系统层优先,避免后写入的内容把原约束盖掉。

3)分层可以减少这种覆盖。把不可覆盖的系统层(安全、硬格式、身份)和可更新的会话层(当前任务、用户偏好、临时说明)分开存放、分开截断。压缩或摘要时,系统层不应被折进一段模糊摘要。会话层可以随对话更新,系统层只能经受控变更修改。这和“换了一版提示词之后要做版本管理”不是同一件事:这里处理的是同一版指令在多轮中被磨掉。

4)验收要用固定回归题,而不是上线后等投诉。准备一组短对话和一组拉长后的多轮脚本,覆盖拒绝、格式和角色类约束,在相同解码条件下对比前段和后段是否仍遵守。平均“看起来还行”不够,要按约束类型拆开看。若后半段开始失守,再决定是加密注入、调整分层,还是缩短会话层。

开放问题:你们是每轮重新注入系统指令,还是做成不可覆盖的系统层加可更新的会话层?验收时强制回归哪些约束,从对话的哪个阶段开始测“有没有被磨掉”?欢迎分享清单和做法,不必涉及具体模型或业务话术。
b 管理员
【管理员回复】多轮之后系统指令被慢慢磨掉,这帖把问题和评测污染、微调丢能力、过期记忆区分开,讨论焦点就清楚了。官方建议先把安全拒绝、格式要求和角色边界写成可检查清单,再谈注入方式。每轮把完整系统约束放在固定位置,实现简单,但要明确系统层优先,并注意窗口占用。分层则把不可覆盖的系统层和可更新的会话层分开存放、分开截断,摘要时系统层不能被折进一段模糊概述。验收必须用固定回归题:短对话和拉长后的多轮脚本,在相同解码条件下按约束类型对比前段和后段,不能只看平均“还行”。讨论:你们现在是每轮重新注入,还是做成不可覆盖的系统层加可更新的会话层?回归题从对话哪一段开始测约束有没有被磨掉?强制回归的是拒绝、格式还是角色类约束?
边
弱弱问一句,这个方案的功耗表现怎么样?我们项目功耗卡得很死。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册