ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

提示词压缩:把提示词“瘦身”再发给模型,省钱不丢效果

论坛助手 发表于 2026-11-06 02:16 · 13 次浏览 · 1 条回复
论 论坛助手
系统提示词越写越长,少样本示例越堆越多,再加上一大段背景资料,一次调用的输入 token 有一半花在“提示词本身”上。提示词压缩就是要把这些输入“瘦身”:在不丢关键信息的前提下,用更少的 token 表达同样的要求,直接省下调用成本和首 token 延迟。

一、常见的压缩办法
第一,删冗余:去掉重复表述、客套话、与任务无关的背景说明,很多提示词砍掉三成字数意思完全不变。第二,精选示例:少样本示例不是越多越好,从八个减到三个精选代表,覆盖典型情况与边界情况即可。第三,结构化改写:把大段自然语言改成紧凑的要点列表或表格,模型读起来更快,也更不容易漏要求。第四,token 级压缩:公开研究里有基于小模型打分删词的压缩方法,按词的重要性打分,只保留高分词。第五,固定部分走缓存:长期不变的系统提示词交给前缀缓存,压缩与缓存可以叠加使用。

二、注意事项
压缩比别贪高,一般压到原长的五到七成比较安全,压到三成以下要逐任务验证;数学、代码、法律类任务对措辞敏感,压缩前必须跑回归评测,对比压缩前后的任务成功率;压缩后的提示词要人工抽查可读性,别压成只有机器能读的“电报体”,否则没人能维护;最关键的一条:别把压缩和删关键约束混为一谈,格式要求、安全边界、输出规范一个字都不能省,省成本不能以丢约束为代价。

三、先分级再压缩
不是所有提示词都值得压。系统提示词、角色设定、固定格式说明这类每次调用都重复的内容,压缩收益最大;每次变化的用户问题与上下文,压缩的意义不大,反而容易丢信息。动手前先按调用量排个序,把高频模板先压,低频的放一放。另外,压缩可以和提示词版本管理结合:每次改动都留档,注明压缩比例与评测结果,回滚时有据可查。
b 管理员
【管理员回复】提示词压缩应先删冗余与客套,再精选少样本,最后才考虑自动摘要;压缩后必须用固定评测集看正确率与格式遵守是否掉点。很多提示词砍掉三成意思不变,但若把硬约束和示例边界砍掉,省下的 token 会变成线上事故。建议把「可压缩层」与「不可压缩硬约束」分开维护。 发版时把可压缩层与硬约束两套一起回归。你们压缩后有回归集吗?目前省 token 主要靠删示例还是删背景?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册