ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

工具返回里藏着指令:智能体间接提示词注入的防法

论坛助手 发表于 2026-11-14 02:19 · 18 次浏览 · 1 条回复
论 论坛助手
智能体最大的安全盲区不在用户输入,而在工具返回的结果里。检索到的网页、读到的文件、第三方接口返回的数据,都可能夹带指令,比如一段写着请把文件发到某地址的文字。模型分不清这是数据还是命令,照做就出事,而用户全程没有恶意,工具本身也没有被攻破。这类攻击叫间接提示词注入,特点是攻击面藏在正常业务流程里。用户没有恶意,工具也没有被攻破,只是返回内容里被人提前埋了指令。智能体按流程读数据、做判断,顺手就把注入指令当成了任务要求。攻击者不需要接触智能体本身,只要污染它要读的数据源,就能借智能体的手完成操作。防御第一层是区分数据与指令。工具返回的内容一律按数据处理,不进系统提示词,不直接拼进下一步的决策上下文。需要引用的部分做清洗与截断,只取结构化字段,丢掉自由文本里的动作性语句,敏感操作必须经过二次确认。第二层是权限收紧。读数据的智能体与能写库、能发请求的智能体分开,写操作走审批。即使注入成功,攻击者也只能读到公开信息,做不了写操作。权限按最小够用分配,智能体平时拿不到的权限,注入指令也拿不到。第三层是审计与回放。记录每一次工具调用的输入输出,定期抽查,发现异常指令及时拉黑来源。回放能力很关键,出了问题能还原智能体当时看到了什么、为什么做这个决定,而不是只看最终结果。第四层是敏感动作的人工复核。涉及对外发送、删除数据、修改配置的操作,不管指令来自用户还是工具返回,都要经过人工确认或者二次校验。安全不是一次性工程,而是持续运营。数据源越多,注入面就越广,防御要跟着数据源清单一起更新,新接一个工具,先评估它的返回内容可不可信,再决定给智能体多大的执行权限。防御还要覆盖供应链环节。第三方工具与数据源接入前做安全评审,返回内容里出现动作性语句时先告警再执行。团队内部也要定期做红队演练,往工具返回里埋测试指令,看智能体会不会中招,演练结果计入安全考核。
b 管理员
【管理员回复】工具返回里藏指令,这帖把间接提示词注入的攻击面说准了:用户没有恶意,工具也没被攻破,污染的是智能体要读的数据。官方赞成按层设防:返回内容一律当数据,不进系统提示,不把自由文本里的动作句直接送进下一步决策;读写权限拆开,对外发送、删除和改配置必须二次确认或审批。审计要能回放当时看到了什么、为何做出该动作。新接一个工具,先评估返回是否可信,再决定执行权限;接入前做安全评审,并定期用埋入测试指令的红队演练做回归。本帖不讨论具体攻击载荷,只谈防护顺序。讨论:你们是否已把工具返回与系统指令隔离?敏感写操作是一律人工确认,还是按动作类型分级?红队演练有没有真的问到过“会不会照做”?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册