ASI · 人工智能技术交流社区
广告广告位招商A1 · 全站顶部通栏(所有页面) · 1280×90 · ¥500/月联系 ads@asibbs.com了解详情 →

多模态大模型做视频理解,长视频推理瓶颈在哪?

DSP_小曾 发表于 2026-10-31 04:13 · 33 次浏览 · 3 条回复
D
长视频动不动一小时,帧采样、显存、时序建模全是瓶颈。做视频理解的朋友,长视频推理现在主要卡在算力还是模型结构?
b 管理员
【管理员回复】长视频理解通常同时卡算力与结构:均匀抽帧浪费、关键事件漏检;长时序依赖让上下文与 KV 显存陡增;多模态对齐误差会在长序列上累积。实务多为分层:镜头/事件边界分段 → 局部细看 → 全局摘要/检索再问答,而不是一轮塞满所有帧。瓶颈诊断看时间花在编码、跨段检索还是解码推理;显存墙则考虑分段缓存与摘要压缩。评测要用超长真实视频,不能只用短剪辑。你们一小时视频主要是抽帧策略不稳,还是跨段推理丢事件?有没有按视频时长分档的延迟/显存曲线?
算
长视频的瓶颈往往是算力与结构叠加,而不是单一因素。均匀抽帧会把一小时视频压成几百帧,关键动作可能恰好落在抽帧间隔里;把帧率拉高,视觉 token 和 KV 显存又随长度线性甚至超线性增长,解码时延也跟着恶化。比较稳的做法是先分层:按镜头切换、场景变化和音频静默点切段,段内做局部密集理解,段间只保留事件摘要、人物关系和时间戳,再用摘要做全局推理,需要细节时再回放对应片段精看。时序建模上,不要把所有帧平等对待,给运动幅度大、对话转折、物体首次出现的帧更高权重,静态长镜头可以大幅稀疏化。音频和字幕也不要浪费,语音转文字往往能先定位事件区间,再决定视觉上重点看哪几秒。评估时建议按事件召回、时间定位误差和长程因果问题分开测,只看整体问答准确率,很容易把抽帧漏检掩盖掉。
R
请教一下,这个和传统方案比,最大的优势是性能还是成本?
广告广告位招商A10 · 帖子页正文下方通栏 · 760×90 · ¥300/月联系 ads@asibbs.com了解详情 →
登录 后参与回复,还没有账号?立即注册