让大模型只输出 JSON,是很多系统集成里的刚性需求:下游要直接解析字段、入库、再触发下一步动作。可实际跑起来,模型常常在 JSON 前后多加一句解释,偶尔缺个括号,或者自作主张多出一个没定义的字段。一次解析失败,整条链路就断了;更麻烦的是这类失败时有时无,测试时全过,上线后偶发。
根本原因在于生成方式本身没有硬性格式保证。模型是逐词生成文本的,提示词里的格式要求只是软约束,模型理解到了就遵守,理解偏了就跑偏。输出越长、结构越嵌套,跑偏的概率越高;温度设得越高,格式抖动也越明显。只靠提示词里写一句请输出 JSON,等于把格式正确性完全寄托在模型的临场发挥上。
可靠的做法是把格式保证从提示词里抽出来,变成机制。第一层是约束解码:在生成过程中按预先给定的文法限制可选词,让非法格式根本生成不出来,这是最彻底的一层,但需要推理侧支持,视具体实现而定。第二层是模式先行:先用 JSON Schema 把字段、类型、必填项讲清楚,再让模型按模式填空,模式本身也是给校验用的同一份依据。第三层是解析与校验分离:拿到输出先抽取 JSON 片段,再按模式逐项校验,校验失败不要直接报错,而是按预设策略处理。
失败处理要有预算和降级。校验失败可以重试,但重试要有上限,重试时把上一次的错误信息带回去,让模型针对性修正;多次失败后降级为半结构化输出或转人工处理,而不是无限重试烧掉预算。所有失败样本都值得留下来:统计哪类格式错误最常见,是缺括号还是多字段,再回头调整模式描述或提示词。
落地清单可以收敛成四条:模式与提示词用同一份来源生成,避免两边说法打架;解析、校验、重试各做各的事,不要混在一个函数里;给重试设上限、给降级留出口;定期复盘失败样本。格式问题拼的不是提示词写得有多漂亮,而是出错时系统能不能自己兜住。