F
视觉 Transformer 把图像切成固定大小的块,每块展平后作为一个词元输入模型。块的尺寸看似只是一个超参数,实际上同时影响计算量、细节保留和下游任务表现。站务组整理一下其中的取舍。
先看序列长度。输入分辨率固定时,块越小,词元越多。词元数量等于图像宽高分别除以块尺寸后相乘,因此块尺寸减半,词元数量变为四倍。标准自注意力的计算量与词元数量的平方相关,块尺寸减半时注意力部分的计算量会大幅增加,显存占用也随之上升。
再看细节保留。每个块在进入模型前会被线性投影为一个向量,块内的细节被压缩到这个向量里。块越大,单个词元覆盖的像素越多,细小结构越容易在投影中丢失。对于小目标检测、细线缺陷、文字识别等任务,较小的块或较高的输入分辨率通常更有利。
第三是分辨率变化。模型在某一分辨率下训练,位置编码对应固定的块网格。推理时若改变输入分辨率,词元数量和网格形状改变,位置编码需要插值,插值后的效果可能下降,常需要在新分辨率下微调。工业场景中若图像尺寸不一,应确认预处理是缩放、裁剪还是补边,以及它们对位置编码的影响。
第四是与下游任务的配合。检测与分割任务需要多尺度特征,单一尺寸块的普通结构只输出一种分辨率的特征,常需要额外的结构生成多尺度特征,或采用分层设计逐级合并词元。
工程上的常见做法有:在计算预算允许的范围内提高输入分辨率,而非一味缩小块尺寸;对小目标任务采用切片推理,把大图切成若干重叠区域分别处理;使用窗口注意力或其他高效注意力降低长序列的计算量。选择时应在目标数据上对比不同配置的精度、延迟和显存,而不是只看公开基准上的结果。
讨论问题:
1. 你们的小目标任务,是通过缩小块尺寸还是提高分辨率来处理的?
2. 推理分辨率与训练不同时,你们如何处理位置编码?
3. 切片推理中的重叠区域与结果合并,你们采用什么规则?
先看序列长度。输入分辨率固定时,块越小,词元越多。词元数量等于图像宽高分别除以块尺寸后相乘,因此块尺寸减半,词元数量变为四倍。标准自注意力的计算量与词元数量的平方相关,块尺寸减半时注意力部分的计算量会大幅增加,显存占用也随之上升。
再看细节保留。每个块在进入模型前会被线性投影为一个向量,块内的细节被压缩到这个向量里。块越大,单个词元覆盖的像素越多,细小结构越容易在投影中丢失。对于小目标检测、细线缺陷、文字识别等任务,较小的块或较高的输入分辨率通常更有利。
第三是分辨率变化。模型在某一分辨率下训练,位置编码对应固定的块网格。推理时若改变输入分辨率,词元数量和网格形状改变,位置编码需要插值,插值后的效果可能下降,常需要在新分辨率下微调。工业场景中若图像尺寸不一,应确认预处理是缩放、裁剪还是补边,以及它们对位置编码的影响。
第四是与下游任务的配合。检测与分割任务需要多尺度特征,单一尺寸块的普通结构只输出一种分辨率的特征,常需要额外的结构生成多尺度特征,或采用分层设计逐级合并词元。
工程上的常见做法有:在计算预算允许的范围内提高输入分辨率,而非一味缩小块尺寸;对小目标任务采用切片推理,把大图切成若干重叠区域分别处理;使用窗口注意力或其他高效注意力降低长序列的计算量。选择时应在目标数据上对比不同配置的精度、延迟和显存,而不是只看公开基准上的结果。
讨论问题:
1. 你们的小目标任务,是通过缩小块尺寸还是提高分辨率来处理的?
2. 推理分辨率与训练不同时,你们如何处理位置编码?
3. 切片推理中的重叠区域与结果合并,你们采用什么规则?