眼镜零售业计算机虚拟试戴方法研究

眼镜行业信息化建设主要涉及的两个方向是眼镜店销售管理系统和基于虚拟试戴技术的销售系统.计算机虚拟试戴方法研究是眼镜行业信息化研究的重点.该研究主要运用了计算机图形图像处理学的知识.实现了人脸与镜架按照真实比例的试戴,以及染色镜片效果的演示,是一种适合制作眼镜行业销售系统的方法.     

面向顾客特征的眼镜适配系统

提出了顾客特征的概念,并运用于眼镜适配系统中．该系统使用顾客头部的正侧面照片合成人脸三维模型,并选取眼镜库中的三维眼镜模型在人脸模型上进行虚拟试戴,可以帮助顾客快速、准确地完成眼镜框架款式的选型,为眼镜产品的个性化设计和销售提供了支持．     

基于3D人脸跟踪的实时真人虚拟试发

真人虚拟试发在虚拟社交、在线商城试戴和个人发型设计等领域具有明显的应用价值.现有的基于图像的2D虚拟试发系统无法让用户从不同的角度和距离实时观看试发效果,极大地限制了这类系统的可应用范围.为此,提出一个基于3D人脸跟踪的实时真人虚拟试发系统,用户仅使用一个网络摄像头,就能如同在镜子前试戴真实假发一样进行虚拟试发.首先结合深度学习技术与传统优化算法,从2D人脸视频帧中快速鲁棒地计算出对应的3D人脸形状和姿态,实现3D人脸跟踪;然后根据事先指定的若干对对应点,自动把3D头发佩戴到视频帧所对应的3D人脸模型;最后根据3D人脸模型对3D虚拟头发进行遮挡处理与绘制,实现虚实混合的真人虚拟试发效果.此外,还提出一种简单实用的3D头发重上色算法,以进一步增强虚拟试发效果.在室内外环境下,使用网络摄像头采集用户视频进行了大量的真人虚拟试发实验的结果表明,该系统是有效的和实用的.     

单幅图像真实感虚拟试戴技术

提出了一种针对眼镜、帽子等头部饰品的单幅图像真实感虚拟试戴技术,其关键在于虚拟饰品的三维注册和虚实图像的合成。首先提出了一种将人脸关键点检测与刚体姿态估计相结合,求解单幅图像中人脸三维注册信息的算法。然后阐述了借助像素颜色混合和深度缓冲检测技术解决虚实图像合成中遮挡关系和模型材质问题的方法。在AFLW(Annotated Facial Landmarks in the Wild)人脸数据库上对三维注册算法进行了量化测评,结果表明该算法的精度满足虚拟试戴技术的要求。在较大角度姿态变化以及部分遮挡条件下的实验结果表明,提出的虚拟试戴技术快速准确,试戴效果自然逼真。     

基于增强现实的人机物理交互仿真系统研究

在增强现实系统中,真实物体和虚拟物体除了要实现视觉上的融合之外,还要能够实现视觉交互和物理交互.仿真系统采用了基于单目视觉的ARToolKit增强现实开发平台,首先对CMOS摄像头采集的图像进行处理,利用模式识别的方法对标识物进行图像匹配,然后对从标识物坐标系到摄像机坐标系的变换矩阵进行计算,实现虚实注册,最后通过对标识物空间位置的改变实现了虚实物体问的单向物理交互.实验结果表明,该系统操作简单直观,具有良好的实时性,交互性及可扩展性.     

眼镜行业计算机选镜及虚拟试戴技术研究

传统的眼镜零售业问题多。眼镜行业信息化建设迫在眉睫。本文就眼镜行业信息化建设中的关键技术，眼镜行业计算机选镜及虚拟试戴技术，做实验性研究。     

基于单目视觉的虚拟鼠标方法

自然的交互方式有利于提高增强现实系统的真实感和沉浸感,是增强现实技术的重要研究内容。针对这一问题,提出一种基于单目视觉的虚拟鼠标实现方法,只需要使用单个摄像头,即可对裸手手势进行识别进而模拟真实鼠标动作,最后基于该方法开发了基于单目视觉的虚拟鼠标系统。首先,根据色度信息,分割手部肤色区域;然后,基于指尖的形态学特征识别指尖点,并过滤以排除误检点;最后根据指尖点及其坐标控制光标模拟鼠标动作。实验结果表明,该系统设备简单、精度较高,完全可以实现各种鼠标动作的模拟。     

实时面部捕捉技术在虚拟演播室中的应用研究

针对虚拟演播室应用中常见的人体和人脸捕捉与重建的特征识别数据量大、计算耗时长、识别准确率较低、易于导致跟踪失败等问题,提出了一种基于单摄像头的人脸识别和参数化的方法.方法 基于MTCNN技术获取人脸的轮廓和特征点坐标,然后基于SFM人脸标准模型进行特征拟合,实时计算并得到摄像头画面对应的人脸模型顶点和三角面信息,从而实现数据驱动的虚拟人效果.借助这一算法,开发了虚拟演播室应用中的人体和人脸捕捉与重建原型系统.实验表明,上述算法识别特征数据快、识别准确率高、运行速度快,克服了跟踪失败问题、设备成本低,运行效果平滑稳定,用户反馈良好.     

融合目标检测和空间投影的增强现实方法

实现对固定目标物的注册跟踪方法中, 目前最常使用预制标识物的方法, 或者需要使用集成深度摄像头等配件的专业AR设备, 成本较高. 针对现有方法的缺陷, 提出一种融合目标检测和空间投影算法的简单协作式混合跟踪注册技术, 先通过深度学习算法进行目标检测得到目标物类型, 再利用传感器位姿信息通过空间投影算法确定目标物ID, 从而提高了虚拟信息叠加在真实场景中的匹配度和准确性. 基于此算法实现了智慧物联基础设施维护的增强现实应用, 并对灯杆、垃圾桶等目标物进行了实验. 实验结果表明, 本方法可以在普通智能手机及AR眼镜上运行, 取得了预期效果, 也避免了预制标识物, 降低了对硬件资源的要求.     

基于Windows Mobile操作系统的虚拟摄像头设计

通过分析研究Windows Mobile手机操作系统、蓝牙技术以及WDM驱动程序,提出了一种虚拟摄像头解决方案.该方案利用基于Windows Mobile操作系统的智能手机采集摄像头视频数据并通过蓝牙将数据实时发送到电脑上,并且开发虚拟设备驱动程序,接收并使用这些实时数据,实现了网络摄像头功能.     

个性化三维虚拟试衣系统研究

为满足用户对虚拟试衣的个性化需求和提高虚拟试衣体验，提出一种包括自动化蒙皮、基于单张图片人脸三维自动重建、人体参数化变形以及服装模型穿透处理等模块的个性化虚拟试衣系统。设计了自动化蒙皮算法，解决已有虚拟试衣服装模型制作成本高的问题；通过基于单张图片的三维人脸自动重建和人体参数化变形，满足消费者个性化需求;运用基于自动透明贴图计算的服装穿透处理方法，改进系统试衣效果。实验表明，所提出的系统能够以较低的构建与运行成本实现较好的试衣效果，提供良好的个性化虚拟试衣体验。     

面向2D虚拟试穿的服装推理变形仿真方法

为了提高当前服装E-Commerce领域2D虚拟试穿展示效果,提出一种基于图像处理技术的服装推理变形仿真方法。采用边缘检测方法提取标准模特图像的特征曲线,检测个性化体型模特图像的体型参数值,获取已变形的各特征区域的外轮廓,进而确定服装试穿素材图像待变形区域外轮廓,对服装试穿素材图像待变形各区域进行插值处理,得到变形后的服装试穿素材图像,从而模拟基于个性化体型的试穿效果。仿真实验结果证明了该方法具有较高的鲁棒性与有效性。     

Human-centric design personalization of 3D glasses frame in markerless augmented reality

This paper presents a virtual try-on system based on augmented reality for design personalization of facial accessory products. The system offers several novel functions that support real-time evaluation and modification of eyeglasses frame. 3D glasses model is embedded within video stream of the person who is wearing the glasses. Machine learning algorithms are developed for instantaneous tracking of facial features without use of markers. The tracking result enables continuously positioning of the glasses model on the user’s face while it is moving during the try-on process. In addition to color and texture, the user can instantly modify the glasses shape through simple semantic parameters. These functions not only facilitate evaluating products highly interactive with human users, but also engage them in the design process. This work has thus implemented the concept of human-centric design personalization.     

基于增强现实和人脸姿态估计的虚拟试戴技术

得益于增强现实技术,虚拟信息能够在真实世界中予以体现和融合,使得脱离实体的虚拟信息在现实世界中的应用场景不断泛化.基于此,本文提出了一种高效实时的虚拟试戴技术,可运用于多种实际场景中.比如在电商场景下,用户购买商品前可在先线上选择相应款式的模型文件进行虚拟试戴,并根据效果辅助决策.拟议方法依据人脸姿态参数将模型文件映射至可与实时视频流加合的图形状态,在特定区域加合后反馈给视频帧中,最终加合的模型文件能够自适应头部的位置变化.实验结果表明,拟议方法在人脸远近位置、图形渲染以及佩戴实时性等方面具有较好的效果.     

ARCosmetics: a real-time augmented reality cosmetics try-on system

A virtual cosmetics try-on system provides a realistic try-on experience for consumers and helps them efficiently choose suitable cosmetics. In this article, we propose a real-time augmented reality virtual cosmetics try-on system for smartphones (ARCosmetics), taking speed, accuracy, and stability into consideration at each step to ensure a better user experience. A novel and very fast face tracking method utilizes the face detection box and the average position of facial landmarks to estimate the faces in continuous frames. A dynamic weight Wing loss is introduced to assign a dynamic weight to every landmark by the estimated error during training. It balances the attention between small, medium, and large range error and thus increases the accuracy and robustness. We also designed a weighted average method to utilize the information of the adjacent frame for landmark refinement, guaranteeing the stability of the generated landmarks. Extensive experiments conducted on a large 106-point facial landmark dataset and the 300-VW dataset demonstrate the superior performance of the proposed method compared to other state-of-the-art methods. We also conducted user satisfaction studies further to verify the efficiency and effectiveness of our ARCosmetics system.     

面向虚拟交互展示的人脸合成方法

人脸合成由于会受到光线、环境背景、头的姿态等的影响,在实时互动合成时常常难以得到满意的结果。针对虚拟交互展示中人脸互动合成的需求,本文基于快速样本学习的人脸检测,采用基于人脸细化参数化模板的快速特征点定位,最后实现人脸快速合成算法,实时生成用于科技馆展示的不同参观者的完美脸型效果。     

基于三维建模的眼镜遮挡下人脸识别

眼镜作为人脸特征的不稳定性是眼镜遮挡人脸识别的主要问题。为避免现有方法消除不稳定眼镜特征时带来的人脸特征丢失,将眼镜视为人脸固有部分,提出一种基于三维建模生成人脸虚拟样本补偿眼镜不稳定性的方法。三维建模方便眼镜模型参数的调节。通过调节眼镜参数,具体分析眼镜不同部分对人脸识别的影响,同时,针对影响严重的镜片模糊和反光,均做相应处理。CAL-PEAL的实验表明本文方法对识别性能的大幅度改善,并验证镜片处理的有效性。     

Least Committed Splines in 3D Modelling of Free Form Objects from Intensity Images

Generating 3D models of objects from video sequences is an important problem in many multimedia applications ranging from teleconferencing to virtual reality. In this paper, we present a method of estimating the 3D face model from a monocular image sequence, using a few standard results from the affine camera geometry literature in computer vision, and spline fitting techniques using a modified non parametric regression technique. We use the bicubic spline functions to model the depth map, given a set of observation depth maps computed from frame pairs in a video sequence. The minimal number of splines are chosen on the basis of the Schwartz's Criterion. We extend the spline fitting algorithm to hierarchical splines. Note that the camera calibration parameters and the prior knowledge of the object shape is not required by the algorithm. The system has been successfully demonstrated to extract 3D face structure of humans as well as other objects, starting from their image sequences.     

FP-VTON：基于注意力机制的特征保持虚拟试衣网络

随着互联网经济和人工智能技术的飞速发展,越来越多的消费者选择在网上购买衣服,虚拟试衣技术可以为消费者提供方便、快捷的试衣服务,为消费者提供更好的网上购物体验。当前,基于二维图像的虚拟试衣方法可以摒弃三维虚拟试衣所需昂贵的硬件成本和时间代价,但是仍然存在无法有效适应模特的不同体型及大姿态动作的问题,无法充分保留目标服装复杂纹理特征和局部细节特征的问题。为此,提出一种基于注意力机制的特征保持虚拟试衣网络FP-VTON,通过服装变形和服装融合两阶段网络生成虚拟试穿结果。针对传统卷积难以适应非刚性物体大尺寸变形的问题在两阶段网络中引入了捕捉全局特征的特征注意力机制,针对TPS变换翘曲严重的问题提出了服装保真损失函数对网格上点间的距离和斜率进行约束。通过与相关工作的定量和可视化定性实验对比,充分验证了FP-VTON在大姿态形变、复杂纹理服装和特殊体型的情况下可以生成更加逼真的图像,更加有效地保留服装的复杂纹理细节和用户的身份信息。     

两阶段可调节感知蒸馏网络的虚拟试衣方法

基于图像的虚拟试衣能将目标服装图像合成到人物图像上,此任务近年来因其在电子商务和时装图像编辑上广泛应用而备受关注.针对该任务的特点和已有方法的缺陷,提出一种两阶段可调节感知蒸馏方法(TS-APD).该方法包括3个步骤:①分别对服装图像和人物图像预训练2个语义分割网络,生成更准确的服装前景分割和上衣分割;②利用这2个语义...