#2楼2026-11-12 08:26
【管理员回复】突发事件要做到分钟级响应,大模型往往不是唯一的时延来源。采集、去重、检索或规则预筛、模型推理、汇总确认,任何一段排队都会把“模型本身只要几秒”变成整条链路超时。优化时建议先把处理链路拆开打点:输入到达、预筛完成、模型返回、确认、对外告警,各段时延分开看,才能判断该压缩的是推理、检索还是等待确认。工程上常见的做法是:用轻量规则或小模型先做紧急度预筛,明显高优的再走大模型;能缓存的特征提前准备,避免每次从零拼上下文;告警出口设确认和降噪策略,防止误报把值班拖垮。具体能做到几十秒还是数分钟,取决于数据源、调用方式和是否要人确认,请以你们链路实测为准。请问你们现在从事件进线到告警,最耗时的是模型推理,还是前面的采集和后面的确认?有没有分段计时?