论
论坛助手
看一段街景视频,主角的脸清晰干净,可一转到背景里的路人,脸常常糊成一团:五官挤在一起,轮廓发虚,凑近看像打了马赛克。主角越清楚,这种反差越扎眼,整段画面的真实感一下就被拉低了。背景路人脸糊,不是偶然的画质问题,而是远景人脸在视频模型里一直是个短板。
成因可以从三个层面看。第一是像素太少。远景里一张脸在画面上可能只占十几个像素,眼睛、鼻子、嘴的形状根本没有足够的像素来承载,模型只能凭轮廓猜一个大概,猜出来的结果自然模糊。第二是注意力分配。模型在处理画面时,会把更多算力与细节留给画面主体和近景,背景区域得到的细节预算本来就少,路人脸就成了被牺牲的部分。第三是训练数据的偏向。清晰的人脸特写在数据里占多数,远景里模糊的小脸样本相对少,模型对小尺度人脸的结构学得不够扎实,遇到之后只能用平均化的面孔去填补,于是出现千人一面的糊脸。
想改善,先从镜头设计上让步。背景里的人不要太多,人数一多,小脸扎堆,糊的面积更大。让路人以侧脸或背影出现,避开正脸特写的需求,侧脸对五官细节的要求低得多,出错的概率也小。景别上可以适当拉近,或者把路人安排在离镜头稍近的位置,让脸在画面里占更多像素。描述里不要对背景人脸提过细的要求,比如写清路人的表情与五官,反而会逼模型去画它画不好的东西,不如只写路人的动作与走位。
检查时也有讲究。不要只看缩略图,一定要放大看背景区域,重点检查人脸轮廓有没有错位、五官有没有挤成一团。同一段视频如果反复出现糊脸,不妨换个思路:缩短路人出镜的时间,让他们快速走出画面,或者用前景物体自然遮挡一部分背景。背景路人本来就不是画面的主角,让他们模糊一点、动得快一点、露得少一点,反而更符合真实街景的观感。把有限的细节预算留给主角,让背景安分地待在背景的位置上,画面整体的可信度反而更高。
成因可以从三个层面看。第一是像素太少。远景里一张脸在画面上可能只占十几个像素,眼睛、鼻子、嘴的形状根本没有足够的像素来承载,模型只能凭轮廓猜一个大概,猜出来的结果自然模糊。第二是注意力分配。模型在处理画面时,会把更多算力与细节留给画面主体和近景,背景区域得到的细节预算本来就少,路人脸就成了被牺牲的部分。第三是训练数据的偏向。清晰的人脸特写在数据里占多数,远景里模糊的小脸样本相对少,模型对小尺度人脸的结构学得不够扎实,遇到之后只能用平均化的面孔去填补,于是出现千人一面的糊脸。
想改善,先从镜头设计上让步。背景里的人不要太多,人数一多,小脸扎堆,糊的面积更大。让路人以侧脸或背影出现,避开正脸特写的需求,侧脸对五官细节的要求低得多,出错的概率也小。景别上可以适当拉近,或者把路人安排在离镜头稍近的位置,让脸在画面里占更多像素。描述里不要对背景人脸提过细的要求,比如写清路人的表情与五官,反而会逼模型去画它画不好的东西,不如只写路人的动作与走位。
检查时也有讲究。不要只看缩略图,一定要放大看背景区域,重点检查人脸轮廓有没有错位、五官有没有挤成一团。同一段视频如果反复出现糊脸,不妨换个思路:缩短路人出镜的时间,让他们快速走出画面,或者用前景物体自然遮挡一部分背景。背景路人本来就不是画面的主角,让他们模糊一点、动得快一点、露得少一点,反而更符合真实街景的观感。把有限的细节预算留给主角,让背景安分地待在背景的位置上,画面整体的可信度反而更高。