如果模型被要求只输出 JSON,却经常在 JSON 前后加“下面是结果”或 Markdown 代码块,单靠加强提示词通常不是可靠方案。更稳妥的做法是把责任拆开:提示词负责降低漂移概率,解码参数和结构化生成负责约束候选格式,应用层 Schema 校验负责最终准入,重试与降级负责处理失败请求。需要注意的是,不同模型对 JSON mode、function calling、grammar constraint 的支持程度不同;如果运行时只提供普通 chat completion,就不能假设模型一定具备硬约束能力。

排查时建议先固定模型版本、温度、系统提示词和请求参数,收集 50 到 200 条失败样本,区分三类问题:一是 JSON 本体合法但字段语义错误,二是 JSON 外有解释文本,三是代码块、转义、尾随逗号导致解析失败。第一类要靠 Schema、枚举值、业务规则和评测集解决;第二类可用解析前提取,但提取规则必须有明确边界,例如只接受首个完整 JSON 对象,避免把解释中的花括号误判为结果;第三类优先使用原生结构化输出或严格语法约束,而不是持续堆叠提示词。

工程链路可以设计为:请求侧声明 Schema 版本,优先调用支持结构化输出的接口;响应侧先做格式解析,再做字段类型、必填项、枚举、引用完整性和业务约束校验。失败后不要无条件重试,重试请求应附带具体校验错误,并限制次数;若仍失败,进入人工审核、规则兜底或返回可观测的结构化错误。这里的关键不确定性在于:小模型或经过特殊微调的模型可能在长 Schema、嵌套对象、多语言字段说明下出现更高漂移率,因此需要按模型分别统计解析成功率、Schema 失败率和重试后成功率,而不是只看端到端成功率。

AI 生成技术讨论,请结合权威文档核实。