基于YOLOv3与ResNet50的摄影机器人人脸识别跟踪系统

虚拟演播室下,针对需要摄影机器人来自动完成对主持人的识别并对其进行镜头跟踪的任务,提出一种在基于YOLOv3完成人脸检测的基础上,构建ResNet50网络,对主持人进行人脸识别及镜头跟踪的系统。为提高其在开放集上人脸识别的精度,基于CASIA-FaceV5与PubFig数据集构建人脸训练集,在改进的ResNet50模型上完成模型的联合监督训练。结合摄影机器人运动控制算法进行实验,实验表明该系统具有较好的识别精度与实时性,能够满足虚拟演播室下摄影机器人人脸跟踪要求。     

基于3D人脸跟踪的实时真人虚拟试发

真人虚拟试发在虚拟社交、在线商城试戴和个人发型设计等领域具有明显的应用价值.现有的基于图像的2D虚拟试发系统无法让用户从不同的角度和距离实时观看试发效果,极大地限制了这类系统的可应用范围.为此,提出一个基于3D人脸跟踪的实时真人虚拟试发系统,用户仅使用一个网络摄像头,就能如同在镜子前试戴真实假发一样进行虚拟试发.首先结合深度学习技术与传统优化算法,从2D人脸视频帧中快速鲁棒地计算出对应的3D人脸形状和姿态,实现3D人脸跟踪;然后根据事先指定的若干对对应点,自动把3D头发佩戴到视频帧所对应的3D人脸模型;最后根据3D人脸模型对3D虚拟头发进行遮挡处理与绘制,实现虚实混合的真人虚拟试发效果.此外,还提出一种简单实用的3D头发重上色算法,以进一步增强虚拟试发效果.在室内外环境下,使用网络摄像头采集用户视频进行了大量的真人虚拟试发实验的结果表明,该系统是有效的和实用的.     

面向普通用户的3D虚拟人脸动画

为合成真实感人脸动画,提出一种实时的基于单摄像头的3D虚拟人脸动画方法.首先根据用户的单张正面人脸图像重建用户的3D人脸模型,并基于该人脸模型合成姿态、光照和表情变化的人脸图像,利用这些图像训练特定用户的局部纹理模型;然后使用摄像头拍摄人脸视频,利用特定用户的局部纹理模型跟踪人脸特征点;最后由跟踪结果和3D关键形状估计Blendshape系数,通过Blendshape模型合成的人脸动画.实验结果表明,该方法能实时合成真实感3D人脸动画,且只需要一个普通的摄像头,非常适合普通用户使用.     

个性化三维虚拟试衣系统研究

为满足用户对虚拟试衣的个性化需求和提高虚拟试衣体验，提出一种包括自动化蒙皮、基于单张图片人脸三维自动重建、人体参数化变形以及服装模型穿透处理等模块的个性化虚拟试衣系统。设计了自动化蒙皮算法，解决已有虚拟试衣服装模型制作成本高的问题；通过基于单张图片的三维人脸自动重建和人体参数化变形，满足消费者个性化需求;运用基于自动透明贴图计算的服装穿透处理方法，改进系统试衣效果。实验表明，所提出的系统能够以较低的构建与运行成本实现较好的试衣效果，提供良好的个性化虚拟试衣体验。     

一种基于增强现实的虚拟眼镜试戴的方法

选用单目的 CCD(Charge-coupled device)摄像头作为输入传感器,提出了一种基于标识物特征与人脸特征共同作用的增强现实技术设计并实现了一个虚拟眼镜试戴系统。通过单目摄像头采集现实场景的信息,对采集的图像进行分析,识别,并跟踪标识物与人脸特征,使虚拟眼镜模型可以准确地叠加在人脸之上,从而实现虚拟眼镜的试戴。实验证明,该方法可以准确地识别标识物,快速完成虚拟眼镜的试戴,为眼镜试戴技术提供了新的思路。     

基于实验室安保服务型机器人的人脸识别

设计一个用于机器人的人脸识别系统。该系统先通过摄像头捕捉人脸图像，在计算机上完成人脸识别，最后对机器人发送指令。识别过程是提取摄像头捕捉的人脸特征和数据库中人脸特征的128维向量进行欧氏距离计算，通过欧氏距离的计算结果进行判定。实现该系统所用的平台和硬件标准不高，且识别效果良好、构造简单方便，因此可应用范围广。     

基于头部跟踪的虚拟画展系统

传统的计算机输入如键盘、鼠标把人束缚在机器上,使人失去了身体的自然状态.尝试在人机交互中恢复身体的自然性,设计制作一个基于头部动作识别的虚拟画展系统,使用OpenCV对摄像头拍摄的人脸图像进行光流计算,并把人的头部运动信息分离出来,用来控制虚拟场景中的摄像机,然后通过OpenGL把虚拟画馆实时渲染出来.与常用的头部跟踪算法相比,此方法易于实现,同时,实验显示该算法具有更好的计算性能和运行效率.     

基于深度学习的轻量级和多姿态人脸识别方法

目前基于深度学习的人脸识别方法存在识别模型参数量大、特征提取速度慢的问题,而且现有人脸数据集姿态单一,在实际人脸识别任务中无法取得好的识别效果。针对这一问题建立了一种多姿态人脸数据集,并提出了一种轻量级的多姿态人脸识别方法。首先,使用多任务级联卷积神经网络（MTCNN）算法进行人脸检测,并且使用MTCNN最后包含的高层特征做人脸跟踪;然后,根据检测到的人脸关键点位置来判断人脸姿态,通过损失函数为ArcFace的神经网络提取当前人脸特征,并将当前人脸特征与相应姿态的人脸数据库中的人脸特征比对得到人脸识别结果。实验结果表明,提出方法在多姿态人脸数据集上准确率为96.25%,相较于单一姿态的人脸数据集,准确率提升了2.67%,所提方法能够有效提高识别准确率。     

虚拟试穿系统的设计与实现

为了方便人们的试穿过程,本文设计并实现了一款基于GEC6818开发板的虚拟试穿系统。试穿系统由摄像头、处理器和显示屏组成,摄像头获取用户照片,处理器将用户照片进行边缘检查、轮廓跟踪、人体数据提取后生成人体三维图像,并把试穿效果发送到显示器进行显示。本文的虚拟试穿系统能快速方便地让顾客进行试穿。     

基于模板模型的实时人体姿态跟踪研究

人体姿态跟踪是分析和识别人类行为的基础,具有广阔的应用范围。针对实时人体姿态跟踪问题,提出一种基于模板模型的人体姿态实时跟踪方法,该方法采用深度摄像头Kinect捕捉测试者的3D数据信息,并使用线性公式联合估计身体的姿态和运动。实验结果表明,该算法实现了实时人体姿态的跟踪,且可根据单个深度图的数据有效地处理明显的遮挡问题。系统设备成本低、结构简单,输出的网格能够准确地适应测试者的运动和身体形态,并随着时间的推移保持相同的拓扑结构。