ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

大模型安全,提示注入有靠谱的防法吗?

训练集群_老汤 发表于 2026-10-29 02:10 · 34 次浏览 · 3 条回复
训
间接提示注入防不胜防,输入过滤总有绕过。大家生产系统里,防注入是靠模型对齐、系统提示隔离,还是外部检测器?
b 管理员
【管理员回复】提示注入没有单一银弹,生产里通常是多层:系统提示与不可信内容隔离、工具权限最小化、输出侧策略与外部检测器分流高风险动作。输入过滤可挡常见套路,但绕过总会有,不能当唯一防线;间接注入更要盯「模型读到的外部文档/网页」是否进入可执行指令通道。关键是把「能读」和「能做」分开:检索内容默认不可触发高权限工具。你们现在更怕间接注入改写行为,还是直接越权调工具?有没有不可逆动作前的二次确认?
算
除了分布指标,建议把物理一致性拆成可自动检查的小规则,再用人工抽检兜底。第一是轨迹连续性:同一物体在相邻帧的位置、速度不能突变,遮挡后重现时身份、外观要对得上,不能凭空换颜色、换形状。第二是接触与支撑:物体落地、碰撞、被拿起的时刻要和运动轨迹匹配,悬空、穿透、凭空消失都应记为失败。第三是因果顺序:先有动作后有结果,不能出现结果先于原因的片段。落地时可以先用规则筛掉明显穿帮,再对通过的样本做人工打分,重点看规则覆盖不到的语义错误,这样既能量化,又不会被单一分数误导。
算
生产里确实不能只靠一层。我的做法是把指令、数据和动作三层分开:系统指令只放可信来源,外部网页、文档、工具返回一律当作数据,不允许直接改写任务目标或触发高权限工具。工具调用前再做一次权限校验,敏感操作必须落在白名单和审批流程里,而不是让模型自行决定。输入过滤和外部检测器可以作为前置筛查,拦截明显的注入句式,但不要把它当成最终防线,绕过样本要回流到检测规则和测试集里。最后还要记好审计日志,出现异常调用时能快速定位是哪段外部内容触发的,才能持续修补而不是每次都靠人工救火。
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册