两阶段可调节感知蒸馏网络的虚拟试衣方法

基于图像的虚拟试衣能将目标服装图像合成到人物图像上,此任务近年来因其在电子商务和时装图像编辑上广泛应用而备受关注.针对该任务的特点和已有方法的缺陷,提出一种两阶段可调节感知蒸馏方法(TS-APD).该方法包括3个步骤:①分别对服装图像和人物图像预训练2个语义分割网络,生成更准确的服装前景分割和上衣分割;②利用这2个语义...     

改进的PF-AFN在虚拟试衣中的应用

针对 PF-AFN 中预测外观流精度欠缺和网络泛化能力较差的问题, 提出改进的虚拟试衣网络. 首先, 增加目标人体预测模块, 通过预测目标人体解析图像解耦形状与纹理; 其次, 依据仿射变换的共线特性, 增加共线性损失项以约束形变过程, 根据外观流的特性添加距离损失, 弥补 PF-AFN 对局部区域约束不足的缺陷; 最后, 将生成的人体解析图像与原输入按通道拼接作为图像生成网络的输入, 使用基于 ResNet 的类 UNet++图像生成网络得到最终的试衣图像. 基于 VITON 数据集, 与其他 4 种最新方法进行对比实验, 实验结果表明, 该方法在图像相似度评价指标SSIM, FID 和 LPIPS 上分别比其中最优方法提升了 1.2%, 11.1%和 5.8%, 图像清晰度和多样性评价(IS)与当前最优方法相当. 从整体来看, 所提方法改善了原网络中存在的问题, 并取得了较好的视觉效果.     

改进的CAGAN在虚拟试衣中的应用

针对CAGAN（Conditional Analogy GAN）换衣后效果模糊;在目标衣服与原始衣服长短不一致时效果一般;相对目标衣服保留过少的细节等问题做了相关研究并对CAGAN进行了改进;提出了新的虚拟试衣方式。经过改进的CAGAN生成一个粗糙的结果;由该结果得到目标衣服穿在模特身上改变形状后的mask;接下来利用mask对目标衣服进行变形;综合变形的衣服和第一步的结果便得到最终的试衣图像。实验结果表明;该方法解决了前面存在的问题;而且取得了非常好的效果。     

级联跨域特征融合的虚拟试衣

基于图像合成蒙版策略的虚拟试衣技术在扭曲服装和人体融合时能较好地保留服装细节。然而由于在试衣过程中人体和服装的位置和结构难以对齐,试衣结果容易产生严重的遮挡,影响视觉效果。为解决试衣过程中的遮挡问题,提出了一种基于U-Net的生成器。该生成器在U-Net解码器上添加级联的空间和通道注意力模块,从而实现了着装人体的局部特征和扭曲服装的和全局特征的跨域融合。形式上,首先采用卷积网络预测薄板样条插值（TPS）变换的方法将服装根据目标人体姿态进行扭曲;然后,将着装人体解析信息和扭曲服装输入到提出的生成器中,并获取对应服装区域的掩码图像以渲染中间结果;最后,采用掩码合成的策略来通过掩码处理将扭曲服装与中间结果合成得到最终的试衣结果。实验结果表明,所提方法不仅可以减少遮挡,而且增强了图像细节,相较于CP-VTON方法,产生的图像的平均峰值信噪比（PSNR）提高了10.47%,平均FID减小了47.28%,平均结构相似性（SSIM）提高了4.16%。     

级联跨域特征融合的虚拟试衣

基于图像合成蒙版策略的虚拟试衣技术在扭曲服装和人体融合时能较好地保留服装细节。然而由于在试衣过程中人体和服装的位置和结构难以对齐,试衣结果容易产生严重的遮挡,影响视觉效果。为解决试衣过程中的遮挡问题,提出了一种基于U-Net的生成器。该生成器在U-Net解码器上添加级联的空间和通道注意力模块,从而实现了着装人体的局部特征和扭曲服装的和全局特征的跨域融合。形式上,首先采用卷积网络预测薄板样条插值（TPS）变换的方法将服装根据目标人体姿态进行扭曲;然后,将着装人体解析信息和扭曲服装输入到提出的生成器中,并获取对应服装区域的掩码图像以渲染中间结果;最后,采用掩码合成的策略来通过掩码处理将扭曲服装与中间结果合成得到最终的试衣结果。实验结果表明,所提方法不仅可以减少遮挡,而且增强了图像细节,相较于CP-VTON方法,产生的图像的平均峰值信噪比（PSNR）提高了10.47%,平均FID减小了47.28%,平均结构相似性（SSIM）提高了4.16%。     

引入差分约束和对抗训练策略的虚拟试衣方法

为了解决CP-VTON在试衣中存在的服装形变过度和纹理缺失的问题,使用了基于椭圆模型的肤色检测算法修正人体解析区域中的错误划分,提出根据实际网格定义的差分约束项约束回归网络学习并预测的薄板样条变换参数,以产生符合目标人物身型的形变服装;使用类U-Net的网络结构作为生成器,改进的卷积神经网络作为判别器,引入生成对抗训练策略对形变服装和目标人物进行融合。最后,重识别得到手臂公共区域的蒙版,利用泊松融合修补手部特征信息,提高手部清晰度。在VITON的数据集上进行实验,结果表明该方法解决了原来存在的问题,取得了较好的虚拟试衣效果。     

二维图像虚拟试衣技术综述

虚拟试衣技术作为近年来深度学习研究中的热点课题;旨在使用户能直观方便查看自己试穿心仪服装的效果;为网购提供更多便利;且在服装设计、游戏、动画等领域也有着重要的应用。其中基于二维图像的虚拟试衣技术可以摒弃三维虚拟试衣所需昂贵的如三维扫描仪等设备的成本和时间代价;以其简单经济的特点受到研究者们更多关注。该文聚焦于二维虚拟试衣技术;从以下几方面进行总结:第一;阐述二维虚拟试衣技术的基本原理与流程;第二;在技术改进方面;以时间顺序和改进方向两者统一对二维虚拟试衣技术进行总结;第三;对二维虚拟试衣技术常用数据集、评价指标和损失函数进行总结;并提出二维虚拟试衣技术的不足和未来在高质量、多样化、多模态、集成化等方向的发展趋势。     

基于图像处理的2D虚拟试衣技术研究

为了满足人们的消费需求,顺应互联网时代的发展趋势,本文采用Canny边缘检测算法提取2D人体图像的体型轮廓和服装图像的轮廓,运用灰度值筛选需要的数值,得到人体图像和衣服图像的轮廓,使用图像增强和像素点转换实现虚拟试衣。该方法具有较高的贴合度和较真实的视觉效果,可以作为在线上购买服装的辅助决策工具,能够使消费者在线上购物过程中获得较真实的试衣感受,而且可以节约购物时间,优化购物体验,丰富人们的日常生活,改变人们的消费心理,形成互联网时代的生活方式和生活状态。     

基于Unity3D的计算机虚拟试衣测量系统设计与实现

在Unity3D引擎环境下,针对虚拟试衣系统中由建模法生成的人体模型难以实现大量个性化定制的问题,提出了一种使用BlendShape算法调整人体各局部特征尺寸,并通过人体特征轮廓曲线约束调整过程的解决方案。该方案由一个基础人体模型向一组极限模型进行过渡变形得到大量个性化人体。为了实现动态试衣,研究了服装基于弹簧-质点模型的布料仿真与碰撞处理过程,由Verlet积分求解的特殊性,通过一组球形碰撞器实现了不同体型的人体模型试穿相同的服装,其结果相较于静态着装避免了穿透现象并提升了真实感。     

基于并行卷积核的Attention U-Net虚拟试衣方法研究

针对虚拟试衣中特征提取不足、人物肢体被衣服遮挡的问题,在基于图像特征保留的虚拟试衣方法基础上,提出基于并行卷积核的Attention U-Net虚拟试衣方法。该方法采用并行卷积核代替原有的3×3卷积核来提取特征,并在U-Net网络中融入注意力机制形成新的Attention U-Net图像合成器,通过不断调整网络学习参数,将模型放在数据集VITON Dataset上进行虚拟试衣实验。实验结果表明,与原方法相比,该方法能提取出更多的细节纹理,在结构相似性上提升了15.6%,虚拟试衣效果更好。     

VTON-FG:通过图像边缘轮廓特征引导的虚拟试衣网络

针对当前虚拟试衣方法在生成手臂和服装纹理细节方面普遍存在生成模糊和不完整的问题;基于CP-VTON+模型提出了一种名为VTON-FG的虚拟试衣网络。该网络引入了特征引导模块;在试穿模块中;通过提取服装边缘轮廓特征;并将不同尺度的特征信息融合到U-Net编码器的不同层次中;从而避免手臂信息和纹理信息丢失;引导图像生成更清晰的手臂图像和纹理特征。此外;在几何匹配模块中;为解决服装变形后可能导致的纹理畸变问题;引入了边缘轮廓图损失;从而提高了服装变形后的真实性。通过一系列消融实验;逐步验证了各模块在模型性能提升中的关键作用。实验结果表明;这些针对性的改进增强了模型的性能;从而证实了各模块在整体模型架构中的有效性和重要性。相对于CP-VTON+;该方法在结构相似度SSIM、感知相似度LPIPS和IS评价指标上分别提升了2.8%、19.4%和6.9%。     

基于增强现实和人脸姿态估计的虚拟试戴技术

得益于增强现实技术,虚拟信息能够在真实世界中予以体现和融合,使得脱离实体的虚拟信息在现实世界中的应用场景不断泛化.基于此,本文提出了一种高效实时的虚拟试戴技术,可运用于多种实际场景中.比如在电商场景下,用户购买商品前可在先线上选择相应款式的模型文件进行虚拟试戴,并根据效果辅助决策.拟议方法依据人脸姿态参数将模型文件映射...     

一种基于增强现实的虚拟眼镜试戴的方法

选用单目的 CCD(Charge-coupled device)摄像头作为输入传感器,提出了一种基于标识物特征与人脸特征共同作用的增强现实技术设计并实现了一个虚拟眼镜试戴系统。通过单目摄像头采集现实场景的信息,对采集的图像进行分析,识别,并跟踪标识物与人脸特征,使虚拟眼镜模型可以准确地叠加在人脸之上,从而实现虚拟眼镜的试戴。实验证明,该方法可以准确地识别标识物,快速完成虚拟眼镜的试戴,为眼镜试戴技术提供了新的思路。     

基于分层图像融合的虚拟视点绘制算法

针对虚拟视点绘制过程中出现的重叠和空洞问题,提出一种新的虚拟视点绘制算法.通过形态学操作对三维图像变换后出现的空洞进行膨胀来消除伪影瑕疵,根据深度信息对左、右虚拟视点图像进行前景和背景分割,利用线性加权法对分割后的前景图像和背景图像进行分层融合解决像素重叠问题,对分层融合后的背景图像进行空洞填充并与前景图像融合得到虚拟...     

基于视觉感知的融合图像质量评价

在分析传统的图像质量评价方法及其缺陷的基础上,指出将HVS特性引入图像计测方法中的必要性;同时,对融合图像质量评价现状及虚拟照相系统进行了深入的研究,鉴于虚拟照相系统研究的特殊性,建立了一套适合娱乐照相领域融合图像的质量评价方法,并给出实验分析。     

采用交互式缝合设置的三维服装模拟技术

目前, 国内外对于三维服装试衣技术的研究已逐渐深入, 但对于其中的关键步骤——服装衣片缝合信息的设置, 却少有成果. 服装的三维效果是通过缝合位于人体前后的二维衣片产生的, 精确及便捷的缝合设置是实现良好模拟效果的重要步骤之一. 在研究现有的三维虚拟试衣技术的基础上, 提出了缝合信息设定的方法流程, 并实现了交互式缝合设置过程. 在导入二维CAD衣片文件后, 经过交互式设置设定各衣片间的对应缝合边, 并以文件形式保存相关信息, 在试衣阶段通过导入该信息在对应衣片网格顶点间施加缝合力. 经实验, 通过该方法     

基于3D人脸跟踪的实时真人虚拟试发

真人虚拟试发在虚拟社交、在线商城试戴和个人发型设计等领域具有明显的应用价值.现有的基于图像的2D虚拟试发系统无法让用户从不同的角度和距离实时观看试发效果,极大地限制了这类系统的可应用范围.为此,提出一个基于3D人脸跟踪的实时真人虚拟试发系统,用户仅使用一个网络摄像头,就能如同在镜子前试戴真实假发一样进行虚拟试发.首先结合深度学习技术与传统优化算法,从2D人脸视频帧中快速鲁棒地计算出对应的3D人脸形状和姿态,实现3D人脸跟踪;然后根据事先指定的若干对对应点,自动把3D头发佩戴到视频帧所对应的3D人脸模型;最后根据3D人脸模型对3D虚拟头发进行遮挡处理与绘制,实现虚实混合的真人虚拟试发效果.此外,还提出一种简单实用的3D头发重上色算法,以进一步增强虚拟试发效果.在室内外环境下,使用网络摄像头采集用户视频进行了大量的真人虚拟试发实验的结果表明,该系统是有效的和实用的.