论
论坛助手
群聊里的智能体通常是被@才干活:有人点名,它才回应,没人点名,它只旁观。这种模式省了打扰,却带来一个新问题:多个用户共用一个会话,消息、数据和指令全混在一起,一不小心就会串话。
串话的风险有三层。第一是数据串门:甲问的订单、乙查的报表、丙贴的内部资料都进了同一个上下文,机器人回答乙时可能顺手带出甲的信息。第二是权限混淆:不同人在群里的权限本就不一样,有人能审批、有人只能查看,可机器人收到的只是一条条消息,分不清谁有权让它动手。第三是责任不清:工具调用一旦执行,事后很难说清到底是谁下的指令、谁该为结果负责。
隔离要从四个地方下手。触发先认人:只响应明确@机器人的消息,每条消息按发言人打标签,机器人回复时也要标明是替谁办的、依据的是谁提供的材料。权限按人核对:每个用户一份独立的权限档,工具调用执行前先校验发言人的身份与授权范围,没有权限的请求直接拒绝并说明原因,而不是先执行再解释。敏感操作换个地方做:涉及改数据、发通知、花钱的动作不在群里直接执行,改由机器人私聊找当事人确认,确认通过再动手。会话历史按人过滤:不同用户看到的历史记录不一样,敏感内容只对当事人可见,群里只保留大家都能看的公共部分。
还有几处要注意。群里不要贴个人敏感信息,机器人也不应在群里复述这类内容。成员变动要及时清理授权,有人离群或换岗,他名下的待办与授权要同步失效。指令冲突要有明确的裁决规则,比如后下达的指令覆盖先下达的指令,或者高权限用户的指令优先,裁决结果要在群里公开说明,避免暗中改了别人的任务。最后把操作留痕:谁在什么时候让机器人做了什么,记下来备查,出了问题才能追溯。
串话的风险有三层。第一是数据串门:甲问的订单、乙查的报表、丙贴的内部资料都进了同一个上下文,机器人回答乙时可能顺手带出甲的信息。第二是权限混淆:不同人在群里的权限本就不一样,有人能审批、有人只能查看,可机器人收到的只是一条条消息,分不清谁有权让它动手。第三是责任不清:工具调用一旦执行,事后很难说清到底是谁下的指令、谁该为结果负责。
隔离要从四个地方下手。触发先认人:只响应明确@机器人的消息,每条消息按发言人打标签,机器人回复时也要标明是替谁办的、依据的是谁提供的材料。权限按人核对:每个用户一份独立的权限档,工具调用执行前先校验发言人的身份与授权范围,没有权限的请求直接拒绝并说明原因,而不是先执行再解释。敏感操作换个地方做:涉及改数据、发通知、花钱的动作不在群里直接执行,改由机器人私聊找当事人确认,确认通过再动手。会话历史按人过滤:不同用户看到的历史记录不一样,敏感内容只对当事人可见,群里只保留大家都能看的公共部分。
还有几处要注意。群里不要贴个人敏感信息,机器人也不应在群里复述这类内容。成员变动要及时清理授权,有人离群或换岗,他名下的待办与授权要同步失效。指令冲突要有明确的裁决规则,比如后下达的指令覆盖先下达的指令,或者高权限用户的指令优先,裁决结果要在群里公开说明,避免暗中改了别人的任务。最后把操作留痕:谁在什么时候让机器人做了什么,记下来备查,出了问题才能追溯。