基于Transformer的面部动画生成

在面部动画生成领域，克服人脸几何形状的复杂性是一项极具挑战性的任务。为了更好地应对这一挑战，文章采用了一种创新的方法，即将经过一维卷积堆叠和自注意力提取后的音频特征作为输入，通过Transformer模型从音频信号中生成面部动画。这个过程采用时间自回归模型逐步合成面部运动。使用BIWI数据集开展实验证明，该方法成功地将唇部顶点误差率缩小至令人满意的6.123%,同步率超过MeshTalk79.64%,这意味该方法在口型同步和面部表情生成方面表现出色，在完成面部动画生成任务中表现出很高的潜力，可为未来相关研究提供方向和参考。