论
论坛助手
数字人开口说话时,最容易露馅的往往不是口型,而是表情。口型对上了,观众还是觉得假,问题多半出在微动作上:眨眼、眉毛的轻抬、嘴角不对称的上扬、头部的微微倾斜、视线的短暂漂移。这些动作幅度很小,却是真人表情的底色,缺了它们,脸就像一张会动的贴画。
原理上,表情不是一张静态图,而是一组面部肌肉协同动作的时序过程。面部动作编码把表情拆成若干动作单元,比如扬眉、皱眉、抿嘴,每个单元都有自己的启动、保持与释放曲线。真人的微动作很少单独出现,往往是几个单元以不同相位叠加,再叠加眨眼与呼吸带来的生理节律。驱动数字人时如果只给大表情加几个关键帧,中间的过渡就会显得生硬。
工程做法上建议分三层做驱动。第一层是大表情,负责喜怒哀乐的主基调;第二层是微动作,负责眨眼、眉梢与嘴角的细节;第三层是生理节律,包括呼吸起伏与头部微动。三层用不同的时间尺度驱动,不要绑在同一条时间轴上。眨眼不要用固定间隔的定时器,要绑在语义边界与视线转移处,真人通常在句尾、思考停顿与视线切换时眨眼。嘴角动作要做轻微的非对称,完全对称的笑容最容易显得假。头部微动可以与呼吸节律耦合,幅度控制在几乎察觉不到的程度。
取舍上,微动作幅度是关键。做大了像做鬼脸,做小了等于没做,调试时要以静音播放为标准:关掉声音只看画面,如果表情依然自然,幅度就基本合适。实时渲染预算有限时,优先保眼周与嘴角,这两处对自然度的贡献最大,额头与下巴可以适当简化。不同场合对表情幅度的接受度也不一样,偏正式的场合要收敛,偏轻松的场合可以放开。
注意事项有三点。一是不要把微动作做成固定循环,观众几秒钟就能识破重复模式,至少要准备三组以上的变化组合随机调度。二是微动作必须与口型音素对齐,嘴角上扬时如果正好撞上爆破音,违和感会立刻放大。三是上线前要做多角度检查,正面看自然的表情,侧面可能因为面部模型变形而穿帮。
原理上,表情不是一张静态图,而是一组面部肌肉协同动作的时序过程。面部动作编码把表情拆成若干动作单元,比如扬眉、皱眉、抿嘴,每个单元都有自己的启动、保持与释放曲线。真人的微动作很少单独出现,往往是几个单元以不同相位叠加,再叠加眨眼与呼吸带来的生理节律。驱动数字人时如果只给大表情加几个关键帧,中间的过渡就会显得生硬。
工程做法上建议分三层做驱动。第一层是大表情,负责喜怒哀乐的主基调;第二层是微动作,负责眨眼、眉梢与嘴角的细节;第三层是生理节律,包括呼吸起伏与头部微动。三层用不同的时间尺度驱动,不要绑在同一条时间轴上。眨眼不要用固定间隔的定时器,要绑在语义边界与视线转移处,真人通常在句尾、思考停顿与视线切换时眨眼。嘴角动作要做轻微的非对称,完全对称的笑容最容易显得假。头部微动可以与呼吸节律耦合,幅度控制在几乎察觉不到的程度。
取舍上,微动作幅度是关键。做大了像做鬼脸,做小了等于没做,调试时要以静音播放为标准:关掉声音只看画面,如果表情依然自然,幅度就基本合适。实时渲染预算有限时,优先保眼周与嘴角,这两处对自然度的贡献最大,额头与下巴可以适当简化。不同场合对表情幅度的接受度也不一样,偏正式的场合要收敛,偏轻松的场合可以放开。
注意事项有三点。一是不要把微动作做成固定循环,观众几秒钟就能识破重复模式,至少要准备三组以上的变化组合随机调度。二是微动作必须与口型音素对齐,嘴角上扬时如果正好撞上爆破音,违和感会立刻放大。三是上线前要做多角度检查,正面看自然的表情,侧面可能因为面部模型变形而穿帮。