FP-VTON：基于注意力机制的特征保持虚拟试衣网络

随着互联网经济和人工智能技术的飞速发展,越来越多的消费者选择在网上购买衣服,虚拟试衣技术可以为消费者提供方便、快捷的试衣服务,为消费者提供更好的网上购物体验。当前,基于二维图像的虚拟试衣方法可以摒弃三维虚拟试衣所需昂贵的硬件成本和时间代价,但是仍然存在无法有效适应模特的不同体型及大姿态动作的问题,无法充分保留目标服装复杂纹理特征和局部细节特征的问题。为此,提出一种基于注意力机制的特征保持虚拟试衣网络FP-VTON,通过服装变形和服装融合两阶段网络生成虚拟试穿结果。针对传统卷积难以适应非刚性物体大尺寸变形的问题在两阶段网络中引入了捕捉全局特征的特征注意力机制,针对TPS变换翘曲严重的问题提出了服装保真损失函数对网格上点间的距离和斜率进行约束。通过与相关工作的定量和可视化定性实验对比,充分验证了FP-VTON在大姿态形变、复杂纹理服装和特殊体型的情况下可以生成更加逼真的图像,更加有效地保留服装的复杂纹理细节和用户的身份信息。     

二维图像虚拟试衣技术综述

虚拟试衣技术作为近年来深度学习研究中的热点课题,旨在使用户能直观方便查看自己试穿心仪服装的效果,为网购提供更多便利,且在服装设计、游戏、动画等领域也有着重要的应用。其中基于二维图像的虚拟试衣技术可以摒弃三维虚拟试衣所需昂贵的如三维扫描仪等设备的成本和时间代价,以其简单经济的特点受到研究者们更多关注。该文聚焦于二维虚拟试衣技术,从以下几方面进行总结：第一,阐述二维虚拟试衣技术的基本原理与流程;第二,在技术改进方面,以时间顺序和改进方向两者统一对二维虚拟试衣技术进行总结;第三,对二维虚拟试衣技术常用数据集、评价指标和损失函数进行总结,并提出二维虚拟试衣技术的不足和未来在高质量、多样化、多模态、集成化等方向的发展趋势。