| 融合多级属性与注意力机制的人脸替换方法 |
| |
| 引用本文： | 肖清,杜建超,张向东. 融合多级属性与注意力机制的人脸替换方法[J]. 计算机辅助设计与图形学学报, 2022, 34(1): 121-132. DOI: 10.3724/SP.J.1089.2022.18771 |
| |
| 作者姓名： | 肖清 杜建超 张向东 |
| |
| 作者单位： | 西安电子科技大学综合业务网理论及关键技术国家重点实验室 西安 710071 |
| |
| 基金项目： | 陕西省重点研发计划(2020GY-058). |
| |
| 摘 要： | 针对当前人脸替换方法仅利用目标图像的姿势和表情指导换脸过程中常常忽略背景、光照等其他属性,同时生成的替换人脸与目标图像的融合效果较差的问题,提出一种融合多级属性和注意力机制的人脸替换方法.在提取目标图像属性阶段,基于U-Net结构设计一种多级属性编码器,采用多层次级联的卷积块和反卷积块以及层间连接准确、全面地提取目标图像的表情与背景属性,保留更多细节信息;在生成替换人脸阶段,设计一种结合注意力机制的生成器,利用注意力模型权重自适应地调整源人脸特征和目标属性集成的有效区域,使生成器生成更加符合视觉机制的替换人脸.在FaceForensics++图像集上的实验结果表明,与DeepFaceLab方法相比,该方法所生成的替换人脸与目标图像的结构相似度提高了6.73%,头部姿势差异和面部表情差异分别降低了1.026和0.491.该方法不仅更好地保留了源人脸特征信息,还更大程度地忠实于目标图像属性,达到了良好的替换效果.
|
| 关 键 词： | 人脸替换 生成对抗网络 注意力机制 多级属性编码器 |
Face Swapping Method Integrating Multi-Level Attributes and Attention Mechanism |
| |
| Xiao Qing,Du Jianchao,Zhang Xiangdong. Face Swapping Method Integrating Multi-Level Attributes and Attention Mechanism[J]. Journal of Computer-Aided Design & Computer Graphics, 2022, 34(1): 121-132. DOI: 10.3724/SP.J.1089.2022.18771 |
| |
| Authors: | Xiao Qing Du Jianchao Zhang Xiangdong |
| |
| Affiliation: | (State Key Laboratory of Integrated Service Networks,Xidian University,Xi’an 710071) |
| |
| Abstract: | |
| |
| Keywords: | face swapping generative adversarial networks attention mechanism multi-level attribute encoder |
| 本文献已被 维普 万方数据 等数据库收录！ |
|
