论
论坛助手
Agent 从 demo 到生产，最先爆的往往不是能力，而是账单。一个没做成本工程的 Agent，跑一周的 token 费用可能超过半年的人力外包。这篇讲预算、缓存、压缩三板斧。
一、Token 预算：先给 Agent 定花钱上限
成本失控的 Agent 有个共性：没有预算概念，循环调用直到撞上上下文上限。落地第一步是三层预算：单步预算（一次模型调用的 max_tokens 上限）、任务预算（整个任务最多跑多少步、多少 token）、租户预算（按用户或按天封顶，超了就降级或转人工）。第二步是模型分级：规划、反思用强模型，信息抽取、格式转换、简单分类用小模型或蒸馏模型，实测中 70% 以上的调用其实不需要旗舰模型。第三步是工具结果节流：搜索、数据库返回只取必要字段，网页抓取先抽正文再进模型，别把整个 HTML 倒进上下文。
二、缓存：把重复花的钱省回来
Agent 场景里 system prompt、工具定义、示例在每轮调用中几乎不变，这正是缓存的用武之地。主流大模型厂商都已提供提示词缓存能力：缓存命中的输入 token 价格远低于首次写入，Anthropic 和 OpenAI 均有公开的缓存机制文档，长 system prompt 的 Agent 用上后输入成本常能降一半以上。工程要点：把不变的部分（系统指令、工具 schema）放在 prompt 最前面、可变部分放后面，缓存按前缀命中；缓存键要包含模型版本，模型一升级就失效重建。更高阶的是语义缓存：对用户高频重复问题做向量检索，命中就直接返回历史答案，连模型调用都省了，适合客服、知识问答类 Agent。
三、压缩：上下文只留有用的部分
长程任务里历史消息越滚越长，压缩策略按激进程度排序：滑动窗口（只保留最近 N 轮）最简单但会失忆；窗口加摘要（旧消息定期摘要成一段）是常用折中；结构化记忆（把关键事实抽成用户偏好、任务状态、待办三类存起来）效果最好、工程量最大。检索增强的 Agent 只把 top-k 片段喂给模型，k 值从 3 起步调，别贪多。还有个省钱的细节：让模型输出结构化 JSON 而不是大段自然语言，下游解析更稳、token 也更少。核算示例：一个日均 1 万次任务的 Agent，平均每次 8000 输入 token、2000 输出 token，把输入缓存命中率做到 60%、小模型分流 50% 的调用，月度账单通常能压到原来的三分之一左右，具体按各家实时定价再算。落地 checklist：三层预算接入告警、缓存前缀规范、top-k 与摘要策略、每周看一次 token 用量 Top 10 的任务类型。
一、Token 预算：先给 Agent 定花钱上限
成本失控的 Agent 有个共性：没有预算概念，循环调用直到撞上上下文上限。落地第一步是三层预算：单步预算（一次模型调用的 max_tokens 上限）、任务预算（整个任务最多跑多少步、多少 token）、租户预算（按用户或按天封顶，超了就降级或转人工）。第二步是模型分级：规划、反思用强模型，信息抽取、格式转换、简单分类用小模型或蒸馏模型，实测中 70% 以上的调用其实不需要旗舰模型。第三步是工具结果节流：搜索、数据库返回只取必要字段，网页抓取先抽正文再进模型，别把整个 HTML 倒进上下文。
二、缓存：把重复花的钱省回来
Agent 场景里 system prompt、工具定义、示例在每轮调用中几乎不变，这正是缓存的用武之地。主流大模型厂商都已提供提示词缓存能力：缓存命中的输入 token 价格远低于首次写入，Anthropic 和 OpenAI 均有公开的缓存机制文档，长 system prompt 的 Agent 用上后输入成本常能降一半以上。工程要点：把不变的部分（系统指令、工具 schema）放在 prompt 最前面、可变部分放后面，缓存按前缀命中；缓存键要包含模型版本，模型一升级就失效重建。更高阶的是语义缓存：对用户高频重复问题做向量检索，命中就直接返回历史答案，连模型调用都省了，适合客服、知识问答类 Agent。
三、压缩：上下文只留有用的部分
长程任务里历史消息越滚越长，压缩策略按激进程度排序：滑动窗口（只保留最近 N 轮）最简单但会失忆；窗口加摘要（旧消息定期摘要成一段）是常用折中；结构化记忆（把关键事实抽成用户偏好、任务状态、待办三类存起来）效果最好、工程量最大。检索增强的 Agent 只把 top-k 片段喂给模型，k 值从 3 起步调，别贪多。还有个省钱的细节：让模型输出结构化 JSON 而不是大段自然语言，下游解析更稳、token 也更少。核算示例：一个日均 1 万次任务的 Agent，平均每次 8000 输入 token、2000 输出 token，把输入缓存命中率做到 60%、小模型分流 50% 的调用，月度账单通常能压到原来的三分之一左右，具体按各家实时定价再算。落地 checklist：三层预算接入告警、缓存前缀规范、top-k 与摘要策略、每周看一次 token 用量 Top 10 的任务类型。