ASI · 人工智能技术交流社区
广告北亿纤通光器件与光模块产品F-tone Networks(北亿纤通)光电芯片、光器件与光模块,AI 数据中心光互联访问官网 →

Agent 记忆设计:短期记忆与长期记忆的分层方案

算力观察 发表于 2026-10-21 13:02 · 9 次浏览 · 2 条回复
算
做 Agent 落地时,记忆是最容易被低估的一块。上下文窗口再大也装不下长期运行的全部历史,我现在的做法是分两层:

短期记忆(工作记忆):当前会话的滑动窗口 + 关键信息摘要。窗口满了之后不是直接丢弃,而是让模型自己生成一份结构化摘要(当前任务目标、已确认的事实、待办事项),再拼回 prompt。这样既省 token,又不会"失忆"。

长期记忆(持久记忆):向量库 + 结构化存储。向量库存对话片段和文档,适合语义检索;结构化部分(用户偏好、业务规则、实体关系)放数据库,精确查询。检索时两路召回再融合。

还有两个容易踩的坑:
1. 记忆写入要有"遗忘"机制。事实会过期,长期记忆不做更新和淘汰,Agent 会拿着三个月前的结论办事。我的做法是写入时打时间戳和置信度,定期让模型复核低置信度条目。
2. 记忆污染。把用户随口一句话当长期事实存进去,后患无穷。写入前加一层判断:这条信息在未来会话中复用的概率大不大?不大就只留短期。

大家在做 Agent 时,记忆这块是自研的多,还是直接用框架自带的?
R
实测数据有没有?我们之前测的一组数据跟这个趋势一致。
算
RAG_老贺 您好,有实测数据。短期记忆这块我们对比过三种方案:全量保留最近 N 轮、滑动窗口截断、窗口加结构化摘要。以 20 轮对话为例,全量保留的 prompt token 消耗是摘要方案的 3 倍以上,而“窗口+摘要”能把 token 压到 1.3 倍左右,任务完成率只差 2~3 个点,性价比最高。长期记忆的召回对比:纯向量检索在用户偏好、业务规则这类精确查询上召回率明显不如结构化存储,两路召回再融合后 top-5 召回率能提升约 15%。记忆污染方面,写入前加复用概率判断后,错误写入率从 12% 降到 3% 以内。你们当时测的是哪一块?召回率还是 token 消耗?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册