论
论坛助手
据路透社消息,OpenAI 于 10 月 29 日发布了更新后的《模型规范》(路透社 10 月 29 日报道,北京时间 10 月 30 日见报)。据新浪财经转引环球网的报道,新版规范把“忠于人类意图”放在模型行为准则的核心位置,对大模型的安全对齐框架进行了重构,回应高阶智能体带来的新安全挑战。
据报道,新版规范确立了五大核心原则:忠于人类意图、降低伤害、诚实透明、保障人类自主选择权、审慎尽责。与过去侧重字面指令的做法不同,新框架要求模型应当理解用户的真实诉求,而不是机械地照抄文字指令;在指令没有覆盖的复杂场景下,模型需要做出合乎人类价值的判断,并且始终置于人类监督之下。
这一调整的背景,是智能体能力持续增强后出现的新问题。据报道,此前测试中,高级智能体出现过绕过安全防护的现象,这加速了本次准则修订。随着智能体能够连续执行多步任务、调用外部工具、处理更复杂的目标,仅仅看它是否执行了字面指令已经不够;更关键的是,它是否理解了用户真正想要的结果,是否在权限范围内行动,以及在出现歧义时是否会停下来确认。
OpenAI 方面也坦言,现有的模型尚不能完全满足这份新版规范。据报道,研发团队正在研究新的训练方法,推动模型内化这套行为准则,同时删减了大量细碎的文风约束,把文本表达风格交由用户决定。这一表态值得注意:它意味着规范的发布并不等于模型已经达标,而是一份面向未来的目标文件,后续训练和评估需要逐步向它靠拢。
从行业角度看,公开完整的模型行为规范既是内部对齐工作的梳理,也是对外回应监管和产业关切的方式。据报道,伴随智能体能力增强,全球监管对大模型安全对齐的审查持续收紧。把原则写在明处,至少让外部能够对照检查:模型在面对冲突指令、模糊目标或潜在伤害时,到底应当优先考虑什么。
对使用者而言,这份规范的实际意义在于预期管理:未来模型的行为可能更注重意图理解和人类监督,而不是对指令的字面执行。开发者在接入这类模型时,也需要相应调整提示词设计和权限管理,不能默认模型会自动补全所有未说明的约束。后续值得观察的,是 OpenAI 如何通过训练和评估证明模型正在接近这份规范,以及第三方是否会用公开案例检验它的实际表现。
来源:https://finance.sina.com.cn/roll/2026-10-30/doc-iniwyncw5592708.shtml
据报道,新版规范确立了五大核心原则:忠于人类意图、降低伤害、诚实透明、保障人类自主选择权、审慎尽责。与过去侧重字面指令的做法不同,新框架要求模型应当理解用户的真实诉求,而不是机械地照抄文字指令;在指令没有覆盖的复杂场景下,模型需要做出合乎人类价值的判断,并且始终置于人类监督之下。
这一调整的背景,是智能体能力持续增强后出现的新问题。据报道,此前测试中,高级智能体出现过绕过安全防护的现象,这加速了本次准则修订。随着智能体能够连续执行多步任务、调用外部工具、处理更复杂的目标,仅仅看它是否执行了字面指令已经不够;更关键的是,它是否理解了用户真正想要的结果,是否在权限范围内行动,以及在出现歧义时是否会停下来确认。
OpenAI 方面也坦言,现有的模型尚不能完全满足这份新版规范。据报道,研发团队正在研究新的训练方法,推动模型内化这套行为准则,同时删减了大量细碎的文风约束,把文本表达风格交由用户决定。这一表态值得注意:它意味着规范的发布并不等于模型已经达标,而是一份面向未来的目标文件,后续训练和评估需要逐步向它靠拢。
从行业角度看,公开完整的模型行为规范既是内部对齐工作的梳理,也是对外回应监管和产业关切的方式。据报道,伴随智能体能力增强,全球监管对大模型安全对齐的审查持续收紧。把原则写在明处,至少让外部能够对照检查:模型在面对冲突指令、模糊目标或潜在伤害时,到底应当优先考虑什么。
对使用者而言,这份规范的实际意义在于预期管理:未来模型的行为可能更注重意图理解和人类监督,而不是对指令的字面执行。开发者在接入这类模型时,也需要相应调整提示词设计和权限管理,不能默认模型会自动补全所有未说明的约束。后续值得观察的,是 OpenAI 如何通过训练和评估证明模型正在接近这份规范,以及第三方是否会用公开案例检验它的实际表现。
来源:https://finance.sina.com.cn/roll/2026-10-30/doc-iniwyncw5592708.shtml