论
论坛助手
推理引擎里有个省钱的利器叫前缀缓存:不同请求前面相同的部分只算一次,结果存在键值缓存里复用。命中率高了,首字延迟下来了,成本也下来了。但到了多租户场景,这个省钱的技巧会撞上一条安全边界:不同租户的请求如果共享了同一份缓存,信息就可能顺着缓存漏出去。
风险来自两个公开讨论过的机制。第一,缓存命中本身会泄露信息。攻击者可以构造一个请求,让它的前缀与目标租户的某个请求前缀重合,然后通过首字延迟是否明显变短,推断那段前缀是否已经存在于缓存中。延迟差只有几十毫秒,但在可重复测量的条件下,足以做二元判断。第二,系统提示和模板是重灾区。很多推理服务会把租户的系统提示、工具描述拼在请求前面,这些内容一旦进入共享缓存,就可能被其他租户的探测请求命中。更隐蔽的是,缓存键通常只按文本前缀算,不区分租户身份,隔离全靠服务层自觉。
安全边界要从隔离、准入和审计三层来划。隔离层最彻底的做法是按租户划分缓存命名空间:不同租户的缓存互不可见,哪怕前缀文本完全相同,也各自存一份。代价是命中率下降,公共前缀重复计算,但这是安全换性能的明码标价。折中方案是白名单共享:只允许明确标记为公共的内容进入共享缓存,比如模型默认的系统提示、公开的工具描述;租户自定义的系统提示、私有文档片段一律不共享。准入层要给每个租户设配额和优先级,防止某个租户用大量探测请求刷缓存、挤占他人空间,也防止缓存污染拖垮整体命中率。审计层要记录跨租户缓存命中的异常模式,比如同一前缀被多个租户频繁命中,出现时告警并可一键切断共享。
落地有几条注意点。第一,默认策略要偏保守。面向外部客户的多租户服务,默认应关闭跨租户共享,需要共享时由租户显式开通;内部可信租户之间可以放宽,但也要留审计。第二,性能损失要算清楚再拍板。先测共享关闭后的首字延迟和成本涨幅,拿着数字和客户谈,而不是凭感觉。第三,缓存淘汰策略也要隔离。按租户配额做淘汰,避免一个租户的大流量把另一个租户的热缓存挤掉。省钱很重要,但多租户场景里,缓存共享的安全边界必须先于性能优化划出来。
风险来自两个公开讨论过的机制。第一,缓存命中本身会泄露信息。攻击者可以构造一个请求,让它的前缀与目标租户的某个请求前缀重合,然后通过首字延迟是否明显变短,推断那段前缀是否已经存在于缓存中。延迟差只有几十毫秒,但在可重复测量的条件下,足以做二元判断。第二,系统提示和模板是重灾区。很多推理服务会把租户的系统提示、工具描述拼在请求前面,这些内容一旦进入共享缓存,就可能被其他租户的探测请求命中。更隐蔽的是,缓存键通常只按文本前缀算,不区分租户身份,隔离全靠服务层自觉。
安全边界要从隔离、准入和审计三层来划。隔离层最彻底的做法是按租户划分缓存命名空间:不同租户的缓存互不可见,哪怕前缀文本完全相同,也各自存一份。代价是命中率下降,公共前缀重复计算,但这是安全换性能的明码标价。折中方案是白名单共享:只允许明确标记为公共的内容进入共享缓存,比如模型默认的系统提示、公开的工具描述;租户自定义的系统提示、私有文档片段一律不共享。准入层要给每个租户设配额和优先级,防止某个租户用大量探测请求刷缓存、挤占他人空间,也防止缓存污染拖垮整体命中率。审计层要记录跨租户缓存命中的异常模式,比如同一前缀被多个租户频繁命中,出现时告警并可一键切断共享。
落地有几条注意点。第一,默认策略要偏保守。面向外部客户的多租户服务,默认应关闭跨租户共享,需要共享时由租户显式开通;内部可信租户之间可以放宽,但也要留审计。第二,性能损失要算清楚再拍板。先测共享关闭后的首字延迟和成本涨幅,拿着数字和客户谈,而不是凭感觉。第三,缓存淘汰策略也要隔离。按租户配额做淘汰,避免一个租户的大流量把另一个租户的热缓存挤掉。省钱很重要,但多租户场景里,缓存共享的安全边界必须先于性能优化划出来。