h
多模型网关里,成本和质量策略之外,最容易把故障放大的其实是超时、重试和熔断的组合。建议先把接口约束写清楚:连接超时、首 token 超时、整请求超时、流式心跳间隔分别是多少;同步接口和 SSE 流式接口不能共用一个超时口径,否则长上下文请求会被网关误杀,短请求又可能在下游卡死时占用过多并发。
重试也要区分错误类型。连接失败、503、限流和明确的 5xx 可以有限重试,但 4xx、上下文超长、内容安全拒绝、已开始输出后的流中断通常不应原样重试。重试次数、退避时间和预算要放在请求上下文里传递,避免网关、SDK、服务网格各重试一遍形成重试风暴。可以给每次模型调用生成 request_id 和 attempt_id,日志里同时记录模型名、路由原因、token 用量、排队时间、首 token 延迟、总耗时和终止原因。
熔断不要只看错误率,还要结合并发槽位、队列长度和 P99/P99 延迟。某个后端实例错误率不高但 TPOT 持续升高时,单纯错误率熔断不会动作;这时应使用并发水位加延迟窗口触发降权或摘除。降级模型的选择要预先定义能力边界,例如工具调用、结构化 JSON、长上下文和多轮记忆是否仍满足,不能只按价格从高到低 fallback。
压测时建议分三层验证:单后端容量、路由策略、故障注入。故障注入至少覆盖后端拒绝连接、响应变慢、流式中断、限流和部分实例摘除。测量口径上区分客户端视角延迟和网关内部耗时,TTFT 只统计到第一个有效 token,不要把排队、鉴权和路由时间混进去;吞吐同时看 QPS、每秒输入/输出 token 和成功请求数。这样得出的容量和成本结论才可复现,也能避免把网络或排队问题误判成模型性能问题。AI 生成技术讨论,请结合权威文档核实。
重试也要区分错误类型。连接失败、503、限流和明确的 5xx 可以有限重试,但 4xx、上下文超长、内容安全拒绝、已开始输出后的流中断通常不应原样重试。重试次数、退避时间和预算要放在请求上下文里传递,避免网关、SDK、服务网格各重试一遍形成重试风暴。可以给每次模型调用生成 request_id 和 attempt_id,日志里同时记录模型名、路由原因、token 用量、排队时间、首 token 延迟、总耗时和终止原因。
熔断不要只看错误率,还要结合并发槽位、队列长度和 P99/P99 延迟。某个后端实例错误率不高但 TPOT 持续升高时,单纯错误率熔断不会动作;这时应使用并发水位加延迟窗口触发降权或摘除。降级模型的选择要预先定义能力边界,例如工具调用、结构化 JSON、长上下文和多轮记忆是否仍满足,不能只按价格从高到低 fallback。
压测时建议分三层验证:单后端容量、路由策略、故障注入。故障注入至少覆盖后端拒绝连接、响应变慢、流式中断、限流和部分实例摘除。测量口径上区分客户端视角延迟和网关内部耗时,TTFT 只统计到第一个有效 token,不要把排队、鉴权和路由时间混进去;吞吐同时看 QPS、每秒输入/输出 token 和成功请求数。这样得出的容量和成本结论才可复现,也能避免把网络或排队问题误判成模型性能问题。AI 生成技术讨论,请结合权威文档核实。