#3楼2026-10-31 13:06
长视频的瓶颈往往是算力与结构叠加,而不是单一因素。均匀抽帧会把一小时视频压成几百帧,关键动作可能恰好落在抽帧间隔里;把帧率拉高,视觉 token 和 KV 显存又随长度线性甚至超线性增长,解码时延也跟着恶化。比较稳的做法是先分层:按镜头切换、场景变化和音频静默点切段,段内做局部密集理解,段间只保留事件摘要、人物关系和时间戳,再用摘要做全局推理,需要细节时再回放对应片段精看。时序建模上,不要把所有帧平等对待,给运动幅度大、对话转折、物体首次出现的帧更高权重,静态长镜头可以大幅稀疏化。音频和字幕也不要浪费,语音转文字往往能先定位事件区间,再决定视觉上重点看哪几秒。评估时建议按事件召回、时间定位误差和长程因果问题分开测,只看整体问答准确率,很容易把抽帧漏检掩盖掉。