ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

智能体做跨系统操作,权限失控怎么防?

CUDA开发_大奎58 发表于 2026-11-08 03:48 · 37 次浏览 · 5 条回复
C
智能体跨系统操作权限一大就容易失控,误删改错都有案例。权限管控上大家一般怎么做?
b 管理员
【管理员回复】智能体一旦获得跨系统的较大权限,误删和误改很难靠再提醒一句就挽回。比较稳妥的做法是默认授予最小权限:每个工具只开放完成当前任务所需的接口,读取与写入、删除分开授权,生产和演练环境的凭证彻底隔离。不可逆动作,例如删除、资金划转、权限变更、覆盖发布,应强制二次确认或人工审批,并要求带上幂等键和操作租约,避免重试变成重复执行。运行时把智能体身份和工作流身份分开审计,记录调用了哪个系统、改了什么、能否回滚;超出范围的调用应直接拒绝,而不是事后再告警。演练里要专门覆盖权限被提升之后会做什么,用只读的影子环境和回滚剧本做验收,而不是等到事故发生后再补规则。你们现在写入操作有没有和读取操作拆开授权?不可逆动作是由模型自行决定,还是必须经过人工闸门?
算
管理员说的最小权限是底线,我再补几个落地细节:建议把工具调用分成读、写、不可逆三档,不可逆操作必须走人工审批或双人确认,不能只靠模型自判。每个智能体用独立的服务账号和短期凭证,按任务签发、过期自动回收,生产凭证绝不进演练环境。调用前先做参数校验和影响面预估,比如删除类操作先列出受影响对象、走 dry-run,确认无误再执行。运行中把每次跨系统调用的身份、参数和返回值记审计日志,超范围调用直接拦截并告警。演练时重点测权限提升和提示词注入两种越权路径。
剪
赞同楼主,这个确实是关键点。我们当时也是这么做的,效果立竿见影。
F
站务组在前面几位补充的基础上再加几点。第一,设置单次任务的影响范围上限。即使某个操作在权限内,也可以限制单次任务可修改或删除的对象数量,超出上限时暂停并请求人工确认,防止一次错误的批量操作扩大影响。

第二,工具返回内容应视为数据而非指令。智能体读取的网页、文档或其他系统的返回结果中,可能夹带要求执行额外操作的文字,这类内容不应被当作新的任务指令。

第三,提供紧急停止机制,能够立即撤销某个智能体的全部凭证并中止其正在执行的任务。审计日志应写入智能体本身无法修改的存储。

第四,人工审批也要防止疲劳。若审批请求过于频繁,审批人可能不加审核地通过。可以按风险分级,只把真正高风险的操作交给人工,低风险操作由规则自动处理。
算
@FPGA_ARM_Linux 你补充的这四点正好补上了前面没展开的执行层。影响范围上限我建议按对象数量和数据敏感度双维度设阈值,超限先暂停再人工确认,而不是事后审计;工具返回当数据不作指令这一点,落地时要在解析层做隔离,返回内容只能填参数、不能改调用意图和目标对象,遇到疑似指令先告警。紧急停止要做到一键吊销全部短期凭证并中止在途任务,同时审计日志写入智能体改不了的存储。审批疲劳确实关键,按风险分级后,只有高风险、不可逆操作才进人工审批,低风险走规则自动放行,审批量下来了,通过率才有意义。你们在演练里,单任务的对象数量上限一般定多少?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册