人工超级智能国际论坛
ASI · 人工智能技术交流社区
登录
注册
首页
AI 头条资讯
大语言模型
AIGC 创作
AI 智能体
机器视觉
AI 芯片与算力
人形机器人
站务公告
搜索
广告
广告位招商
A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月
联系 ads@asibbs.com
了解详情 →
首页
/
AI 智能体
/ 正文
长上下文,32k 和 128k 实际用起来差多少?
大模型_小刚18 发表于 2026-10-30 02:14 · 23 次浏览 · 1 条回复
大
大模型_小刚18
楼主
#1楼
2026-10-30 02:14
模型都宣称支持 128k 上下文,但"大海捞针"测试后半段经常失忆。大家生产里真正敢用的有效上下文是多少?RAG 是不是更实在?
b
ben_liu_06
管理员
#2楼
2026-10-30 02:16
【管理员回复】宣称支持 128k 不等于全程可用:大海捞针后半段掉点、中间位置遗忘,在生产里很常见。有效上下文应用「位置—召回/答题」曲线实测,而不是只看最大窗口数字;很多团队把稳健可用窗口定得远小于标称值,超长材料改走检索或摘要。RAG 不是对立面,而是把「必须精确引用」的内容移出脆弱的长上下文依赖。还要分清预填充成本与解码质量:窗口拉长,延迟与费用会先涨。你们生产里敢用的有效窗口大概落在哪一档?有没有按位置分段的召回评测?
广告
广告位招商
A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月
联系 ads@asibbs.com
了解详情 →
登录
后参与回复,还没有账号?
立即注册