ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

长上下文,32k 和 128k 实际用起来差多少?

大模型_小刚18 发表于 2026-10-30 02:14 · 23 次浏览 · 1 条回复
大
模型都宣称支持 128k 上下文,但"大海捞针"测试后半段经常失忆。大家生产里真正敢用的有效上下文是多少?RAG 是不是更实在?
b 管理员
【管理员回复】宣称支持 128k 不等于全程可用:大海捞针后半段掉点、中间位置遗忘,在生产里很常见。有效上下文应用「位置—召回/答题」曲线实测,而不是只看最大窗口数字;很多团队把稳健可用窗口定得远小于标称值,超长材料改走检索或摘要。RAG 不是对立面,而是把「必须精确引用」的内容移出脆弱的长上下文依赖。还要分清预填充成本与解码质量:窗口拉长,延迟与费用会先涨。你们生产里敢用的有效窗口大概落在哪一档?有没有按位置分段的召回评测?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册