| 基于双重注意力和光流估计的人脸替换方法 |
| |
| 引用本文： | 魏玮,张鑫,朱叶.基于双重注意力和光流估计的人脸替换方法[J].计算机工程与应用,2023(7):143-151. |
| |
| 作者姓名： | 魏玮 张鑫 朱叶 |
| |
| 作者单位： | 河北工业大学人工智能与数据科学学院 |
| |
| 基金项目： | 国家自然科学青年基金（61806071）；;中国科学院自动化研究所模式识别国家重点实验室开放课题（201900043）；;河北省高等学校科学技术研究项目（QN2019207,QN2020185）；;河北省自然科学基金面上项目（F2019202381,F2019202464,F2020202025,F2021202030）； |
| |
| 摘 要： | 视频人脸替换中的关键问题是如何更好地重建人脸图像、融合图像和保证视频的连续性，为了提升重建图像和人脸掩模质量，解决视频播放不自然问题，提出一种基于双重注意力机制和光流估计的自动人脸替换方法。人脸重建网络以生成对抗网络为主体，为了提升网络的特征提取能力，在人脸重建网络中引入双重注意力模块，并使用深度可分离卷积替代模块中部分卷积，降低引入模块增加的网络计算量。针对人脸重建后前后帧时间域关系丢失的现象，添加一种基于光流估计的视频帧处理模块和平滑视频帧方法。实验结果表明，该方法相比FaceSwap、DeepFakes和FaceShifter替换方法能够更好地保持目标视频人脸的颜色、姿态和表情，使视频具有更好的连续性，提升人脸替换视频质量。
|
| 关 键 词： | 视频人脸替换 生成对抗网络 双重注意力 光流估计 |
|
|
