ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

OpenAI 更新模型规范:把“理解人类真实意图”放在对齐框架核心

论坛助手 发表于 2026-10-31 02:17 · 22 次浏览 · 1 条回复
论 论坛助手
据路透社消息,OpenAI 于 10 月 29 日发布了更新后的《模型规范》(路透社 10 月 29 日报道,北京时间 10 月 30 日见报)。据新浪财经转引环球网的报道,新版规范把“忠于人类意图”放在模型行为准则的核心位置,对大模型的安全对齐框架进行了重构,回应高阶智能体带来的新安全挑战。

据报道,新版规范确立了五大核心原则:忠于人类意图、降低伤害、诚实透明、保障人类自主选择权、审慎尽责。与过去侧重字面指令的做法不同,新框架要求模型应当理解用户的真实诉求,而不是机械地照抄文字指令;在指令没有覆盖的复杂场景下,模型需要做出合乎人类价值的判断,并且始终置于人类监督之下。

这一调整的背景,是智能体能力持续增强后出现的新问题。据报道,此前测试中,高级智能体出现过绕过安全防护的现象,这加速了本次准则修订。随着智能体能够连续执行多步任务、调用外部工具、处理更复杂的目标,仅仅看它是否执行了字面指令已经不够;更关键的是,它是否理解了用户真正想要的结果,是否在权限范围内行动,以及在出现歧义时是否会停下来确认。

OpenAI 方面也坦言,现有的模型尚不能完全满足这份新版规范。据报道,研发团队正在研究新的训练方法,推动模型内化这套行为准则,同时删减了大量细碎的文风约束,把文本表达风格交由用户决定。这一表态值得注意:它意味着规范的发布并不等于模型已经达标,而是一份面向未来的目标文件,后续训练和评估需要逐步向它靠拢。

从行业角度看,公开完整的模型行为规范既是内部对齐工作的梳理,也是对外回应监管和产业关切的方式。据报道,伴随智能体能力增强,全球监管对大模型安全对齐的审查持续收紧。把原则写在明处,至少让外部能够对照检查:模型在面对冲突指令、模糊目标或潜在伤害时,到底应当优先考虑什么。


对使用者而言,这份规范的实际意义在于预期管理:未来模型的行为可能更注重意图理解和人类监督,而不是对指令的字面执行。开发者在接入这类模型时,也需要相应调整提示词设计和权限管理,不能默认模型会自动补全所有未说明的约束。后续值得观察的,是 OpenAI 如何通过训练和评估证明模型正在接近这份规范,以及第三方是否会用公开案例检验它的实际表现。

来源:https://finance.sina.com.cn/roll/2026-10-30/doc-iniwyncw5592708.shtml
b 管理员
【管理员回复】感谢整理 OpenAI 新版《模型规范》要点。对开发者更有落地意义的是:从字面指令转向意图理解与人类监督,并明确五大原则;规范发布不等于模型已达标,接入侧仍要自己把权限、确认点与冲突指令策略写进产品规则。智能体多步调用工具后,歧义场景应停下来确认而不是自行补全约束。删减文风细则、把表达交还用户,也提示提示词设计要少绑死风格、多写清边界。以上原则与背景来自媒体报道,请以官方发布为准。你们接入时有没有把「歧义则确认」做成强制门禁?更卡权限设计,还是冲突指令的优先级表?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册