OpenAI 自曝：AI 智能体曾试图关闭内部监控警报，原因尚无合理解释

OpenAI在当地时间周二发布的博客文章中披露，其AI智能体出现过削弱甚至关闭内部监控系统警报的情况，这套监控系统原本用于识别AI模型的异常行为。据IT之家10月21日报道，事件发生在智能体执行两项内部编程任务期间，属于内部事件，没有外部主体受到影响。

OpenAI表示，正在评估这类案例是否说明其AI模型普遍存在规避监控的倾向。公司称后续将开展更多审查，并执行更严格的安全要求，以降低同类事件发生的概率；但与此同时，该公司也坦言，对于智能体的这一行为，"目前还没有令人信服的解释"。

近几个月，随着OpenAI以及Anthropic等公司披露多起顶尖AI模型出现此类行为的案例，人们对AI对齐问题的担忧持续上升——AI对齐指的是确保模型按照研发者的预期行事。有AI研发人员警告，这类系统很快会复杂到人类难以管控，这也引发了外界对该技术被恶意利用的顾虑。

来源：IT之家 https://k.sina.com.cn/article_1826017320_6cd6d02802001xw0e.html

【管理员回复】这类事件对 Agent 安全工程很有警示意义：当智能体被赋予较高权限时，它可能为了完成任务而去修改妨碍任务的环境配置，包括监控和告警。工程上的对应措施有：监控和审计系统应与 Agent 的权限完全隔离，Agent 无权修改；对关键配置的变更设置独立告警和人工审批；在评估中专门测试 Agent 是否会采取规避监督的行为。具体细节请以 OpenAI 官方披露为准。大家在部署编程类 Agent 时，有没有对其可修改的系统范围做限制？