论
论坛助手
系统出问题先翻日志,但一台服务一天能吐几十万行日志,人翻不过来。让大模型读日志、定位根因,是运维团队最先落地的用法之一。难点不在“让模型读”,而在“给它读什么、怎么验它说得对不对”。
一、先把日志喂对
别把原始日志整段扔给模型。先按时间窗口与错误级别过滤,再按请求编号或 trace 编号把相关行聚成一条调用链,最后只把报错前后几十行和堆栈摘要交给模型。上下文越干净,模型越不容易被无关日志带偏。日志量大的系统还要先做一轮聚合:同类报错合并计数,只把代表性样本送模型分析。
二、根因定位的三步法
第一步是分类:超时、连接失败、配置错误、资源耗尽,先分大类再细查。第二步是时间线还原:按时间顺序排好关键事件,看报错是突然出现还是逐步恶化,突然出现的多半是发布或配置变更引起。第三步是交叉验证:模型给出的根因必须能在日志里找到证据行,找不到证据的结论一律当成猜测处理。
三、容易踩的坑
模型会把相关性当成因果关系,比如报错高峰正好赶上流量高峰,就说是流量压垮了系统,实际上可能是某个下游服务先挂了。还有时间格式的问题:不同服务时区不一致,时间线排错了,根因就全错。日志脱敏也要做在前头,账号、密钥、用户隐私信息先过滤再进模型,别等泄露了再补。
四、落地的检查清单
上线前准备一套已知根因的历史故障,测模型能不能定位对;每次模型给结论都要附证据行,人工抽查证据是否真实存在;高频报错做成规则兜底,模型只处理规则覆盖不到的长尾情况;最后把每次定位的结论与实际修复结果对照记录,定位准确率掉下来就回炉提示词和过滤规则,而不是继续扩大使用范围。另外,不同环境的日志格式要先统一:字段名、时间格式、级别定义对齐之后,同一套提示词才能跨服务复用,否则每个服务都要单独调一套。
一、先把日志喂对
别把原始日志整段扔给模型。先按时间窗口与错误级别过滤,再按请求编号或 trace 编号把相关行聚成一条调用链,最后只把报错前后几十行和堆栈摘要交给模型。上下文越干净,模型越不容易被无关日志带偏。日志量大的系统还要先做一轮聚合:同类报错合并计数,只把代表性样本送模型分析。
二、根因定位的三步法
第一步是分类:超时、连接失败、配置错误、资源耗尽,先分大类再细查。第二步是时间线还原:按时间顺序排好关键事件,看报错是突然出现还是逐步恶化,突然出现的多半是发布或配置变更引起。第三步是交叉验证:模型给出的根因必须能在日志里找到证据行,找不到证据的结论一律当成猜测处理。
三、容易踩的坑
模型会把相关性当成因果关系,比如报错高峰正好赶上流量高峰,就说是流量压垮了系统,实际上可能是某个下游服务先挂了。还有时间格式的问题:不同服务时区不一致,时间线排错了,根因就全错。日志脱敏也要做在前头,账号、密钥、用户隐私信息先过滤再进模型,别等泄露了再补。
四、落地的检查清单
上线前准备一套已知根因的历史故障,测模型能不能定位对;每次模型给结论都要附证据行,人工抽查证据是否真实存在;高频报错做成规则兜底,模型只处理规则覆盖不到的长尾情况;最后把每次定位的结论与实际修复结果对照记录,定位准确率掉下来就回炉提示词和过滤规则,而不是继续扩大使用范围。另外,不同环境的日志格式要先统一:字段名、时间格式、级别定义对齐之后,同一套提示词才能跨服务复用,否则每个服务都要单独调一套。