实时面部捕捉技术在虚拟演播室中的应用研究

针对虚拟演播室应用中常见的人体和人脸捕捉与重建的特征识别数据量大、计算耗时长、识别准确率较低、易于导致跟踪失败等问题,提出了一种基于单摄像头的人脸识别和参数化的方法.方法 基于MTCNN技术获取人脸的轮廓和特征点坐标,然后基于SFM人脸标准模型进行特征拟合,实时计算并得到摄像头画面对应的人脸模型顶点和三角面信息,从而实现数据驱动的虚拟人效果.借助这一算法,开发了虚拟演播室应用中的人体和人脸捕捉与重建原型系统.实验表明,上述算法识别特征数据快、识别准确率高、运行速度快,克服了跟踪失败问题、设备成本低,运行效果平滑稳定,用户反馈良好.     

基于深度可分离卷积的轻量化人脸识别方法设计

针对传统人脸识别方法识别精度较低的问题,提出基于深度可分离卷积的轻量化人脸识别方法。构建深度可分离卷积的轻量级卷积神经网络模型,采集人脸图像并进行预处理,从而增强数据集,采用多任务卷积神经网络提取人脸特征,完成人脸识别方法的设计。实验结果表明,该方法优于其他方法,人脸识别的准确率保持在90%以上,识别精度较高。     

基于深度学习的人脸识别

人脸识别是图像领域的经典问题。为解决目前人脸识别中普遍存在的识别精度不高、特征点估计较为粗糙等问题,提出一种基于ResNet卷积神经网络(R-CNN)的人脸识别方法。该方法利用人脸特征探测器有效地提取了人脸特征,同时将R-CNN用于二维人脸识别,建立了人脸识别模型。实验采集了400张目标脸图片,并将其与人脸库中的1 000张样本进行混合。R-CNN模型共训练了130轮,能在摄像头中识别目标脸。在训练了80轮之后,模型准确率达到了90%以上,识别效果较好。相较于传统的人脸识别方法,该方法结合了深度学习方法,具有较高的识别率。     

基于ResNet50网络的年龄估计

人脸图像年龄估计在社交媒体、零售业务和学术研究等各个领域都具有重要的研究意义。ResNet网络是解决深度网络结构退化问题的一种成熟算法,本文使用ResNet50网络对人脸图像的年龄估计模型进行训练。首先,使用ResNet50网络在大型数据集ImageNet上进行模型预训练;其次,在数据集morph2上训练模型;最后,在数据集morph1上进行模型测试。实验结果表明,ResNet50网络在数据集morph1和morph2上获得较高的估计精度。     

基于人工智能技术的高光谱人脸自动化识别系统设计

为有效识别人脸区域,提升其在多种领域应用效果,设计基于人工智能技术的高光谱人脸自动化识别系统。以模块化思想设计嵌入式系统架构,采集与预处理高光谱人脸图像,并将预处理后的图像数据放入RAM存储器;人脸检测模块调用RAM存储器存储数据,并加载Haar人脸分类器,完成人脸区域检测提取工作;之后由人脸特征提取与识别模块经人脸区域LBP特征提取、LeNet-5卷积神经网络人脸识别模型构建与训练等操作,输出人脸识别结果。实验结果表明,该系统能够在较短时间内完成LeNet-5卷积神经网络人脸识别模型训练。     

深度人脸识别的光照分析

光照是影响人脸识别效果的重要因素,针对当前人脸数据建库技术构建满足光照分析需求的数据库难度较大的问题,开展基于三维人脸模型的深度人脸识别光照分析研究.首先,借助三维人脸模型,根据人脸基图像表示理论提出一种对应任意光照的人脸图像生成方法,用于构建光照分析所需的人脸图像库;然后,利用构建的多光照人脸图像库分析不同光照采样方案对人脸识别模型性能的影响,探索建库所需的最优光照采样方案;最后,借助虚拟数据具有准确光照标注的优势,基于多任务学习框架测试不同光照标注方法对识别网络训练效果的影响,进一步提高深度人脸识别网络对光照变化的鲁棒性.通过在虚拟数据和真实数据上开展的不同光照采样方案及标注方法对人脸识别模型性能影响的实验得出,使用适量基图像光照构建数据库是一种有效的光照采样方案,而准确的光照标注可进一步提升人脸识别率,对应的识别模型在具备极端光照的测试集上的人脸识别率可达98%以上.该研究提高了深度人脸识别模型的性能,为构建人脸图像库的光照采样策略和光照标注方法提供了依据.     

基于残差网络的非限定条件人脸识别研究

针对非限制人脸识别中人脸图像的尺寸和角度影响识别精度的问题,本文根据渐进校准的思想,设计出一种以具有渐进校准功能的卷积神经网络为分析算法的人脸识别方法。首先在非限制环境下对人脸图像进行几何归一化处理,并且利用主成分分析法进行降维;然后基于仿射变换和局部人脸分割理论,提出基于细节变换与特征融合的方法对人脸进行矫正;最后利用残差卷积神经网络构建人脸识别模型,在LFW数据集上对模型参数进行训练,并对训练后的模型进行仿真和检验。实测表明,通过矫正得到的正面人脸图像虽然存在轻微的扭曲现象,但其提取的特征信息能够有效提高非限制条件下多姿态人脸的识别准确率。     

家庭服务机器人的人脸检测、跟踪与识别研究

本文介绍了一个用于家庭服务机器人完成人脸检测、跟踪、识别的双目视觉系统。该系统首先采用人脸肤色模型结合相似度来检测人脸;然后通过基于颜色信息的CAMSHIFT算法跟踪运动的人脸;最后利用嵌入式隐马尔可夫模型对人脸进行识别。实验结果表明该系统能自动地检测、跟踪、识别人脸,而且该系统具有较良好的实时性和鲁棒性。     

基于MobileNet-V2模型的性别识别

文章主要将MobileNet-V2模型应用于人脸性别识别,分别对单人脸及多人脸图像集进行性别识别.针对304950张单人脸图像集,实验结果表明,该方法性别识别精度达到98.01％.较MobileNet-V1方法识别精度高3.6个百分点,较ResNet50方法识别精度高3.2个百分点.同时,对多人脸图像进行性别识别,其识...     

基于迁移学习的人脸姿态分类方法

人脸姿态分类在智能人机交互、虚拟现实、智能控制以及人脸识别等多个领域都有广泛的应用。由于人脸姿态分类过程中存在不同角度间特征重叠率高的问题,导致其分类精度过低。为提高人脸姿态分类的准确率与鲁棒性,提出了基于迁移学习的人脸姿态分类方法。该方法利用卷积神经网络的特征提取和学习能力,对特征进行识别和分类,从而得到单方向人脸姿态的训练参数。利用迁移学习,将卷积神经网络训练好的参数应用于训练两个方向的人脸姿态模型中。使用该方法在CAS-PEAL数据集上进行了实验,最终结果的准确率达到98. 7%,并且与AlexNet、VGGNet和ResNet等网络模型做对比实验,得到了更好的人脸姿态分类效果。实验结果表明,所提出的方法显著提高了人脸姿态分类的准确率与鲁棒性。     

基于轨迹跟踪车式移动机器人编队控制

针对车式移动机器人的运动学模型特点, 提出一种基于轨迹跟踪多机器人编队控制方法. 首先利用编队结构参数确定队形, 根据编队轨迹和相关参数生成虚拟机器人, 把编队控制转化为跟随机器人对虚拟机器人的轨迹跟踪; 然后运用反步法构造车式移动机器人轨迹跟踪系统的Lyapunov 函数, 通过使该函数负定, 得到跟随机器人的轨迹跟踪控制器; 最后在Microsoft robotics developer studio 4 (MRDS4) 中搭建3D 仿真平台, 设计了3 组实验, 所得结果表明了所提出方法的有效性.     

A Sensor-based SLAM Algorithm for Camera Tracking vin Virtual Studio

This paper addresses a sensor-based simultaneous localization and mapping (SLAM) algorithm for camera tracking in a virtual studio environment. The traditional camera tracking methods in virtual studios are vision-based or sensor-based. However, the chroma keying process in virtual studios requires color cues, such as blue background, to segment foreground objects to be inserted into images and videos. Chroma keying limits the application of vision-based tracking methods in virtual studios since the background cannot provide enough feature information. Furthermore, the conventional sensor-based tracking approaches suffer from the jitter, drift or expensive computation due to the characteristics of individual sensor system. Therefore, the SLAM techniques from the mobile robot area are first investigated and adapted to the camera tracking area. Then, a sensor-based SLAM extension algorithm for two dimensional (2D) camera tracking in virtual studio is described. Also, a technique called map adjustment is proposed to increase the accuracy and efficiency of the algorithm. The feasibility and robustness of the algorithm is shown by experiments. The simulation results demonstrate that the sensor-based SLAM algorithm can satisfy the fundamental 2D camera tracking requirement in virtual studio environment.     

Real-time face tracking and recognition using the mobile robots

The terrain is complex and dynamic in a disaster. This paper aimed at constructing a multipose-specific feature model for online face recognition and tracking in a search and rescue operation. This paper proposes an integrated multipose face tracking and recognition system mounted on an unmanned aerial vehicle (UAV). The face model is constructed online by multi-scale block local binary pattern (MB-LBP) for face recognition. The generic and specific face models are further integrated for face tracking. Mechanisms for the online update of face models to retrieve loss of face tracking are also implemented. The results show that the proposed system achieves stable and robust tracking despite uncertainties (e.g. non-rigid human face, face expression changes, different face poses, complex background, varying illumination, partial visual occlusion, and pose changes). The target loss during tracking can be retrieved correctly. In face recognition, the multipose-specific face model can achieve an accuracy (above 70%). The results demonstrate the feasibility of the proof-of-concept using UAV or ground mobile robot (GMR) for real-time face recognition and tracking.     

基于改进Faster-RCNN的沥青路面裂缝检测

针对目前沥青路面裂缝检测存在的识别率低和细微裂缝在复杂背景下难以检测的问题, 提出了基于改进Faster-RCNN的裂缝检测方法. 首先, 通过多功能路面检测车采集路面图像, 将13 000张图片按8:2的比例分为训练集和测试集来建成路面裂缝检测数据集; 然后分别采用VGG16、MobileNet-V2和ResNet50网络替换Faster-RCNN模型中的特征提取网络对裂缝进行识别, 结果表明, ResNet50与Faster-RCNN结合对裂缝的检测准确率达到0.805 8, 效果最好; 裂缝都分布在同一水平面上, 不存在层次信息, 因此将ResNet系列其它网络与Faster-RCNN模型结合, 以期得到更好的检测效果, 结果表明, 相比于ResNet18和ResNet101, 还是ResNet50检测性能最好; 由于还存在细微裂缝漏检的问题, 将CBAM模块引入ResNet50, 并且比较不同插入位置对检测准确率的影响. 实验表明, 改进的Faster-RCNN模型检测精准度达到85.64%, 能有效检测出复杂背景下的细微裂缝.     

新闻视频显著人脸检索系统

该文针对新闻视频设计并实现了一个显著人脸检索系统。首先将新闻视频分割成镜头序列,利用训练好的CascadeAdaboost人脸检测器对每个镜头检测出一定数目的候选人脸,按照一些规则选取可信度高的作为样本,用于提取该镜头内的肤色模型。接着对肤色分割后的区域进行位置、大小分析和模板匹配,以淘汰非人脸区域,确定待跟踪的对象列表。为了做精确的跟踪和识别,系统对每个跟踪对象建立更细致的肤色模型。跟踪过程中每间隔一定帧数重新进行人脸检测,以减少误差积累和探测是否有新人脸出现。最后从每个人脸序列挑选最适合进行人脸识别的图像建立其特征脸空间,结合肤色信息和PCA算法判断其是否为要检索的目标人脸。     

一类非完整移动机器人编队控制方法

针对大部分两轮非完整移动机器人轮轴中心与几何中心不重合的特点, 提出一种多机器人协调编队控制算法. 构造队形参数矩阵确定编队形状, 根据领航机器人和相关队形参数生成虚拟机器人, 把编队控制分解为跟随机器人对虚拟机器人的轨迹跟踪. 建立虚拟机器人与跟随机器人之间误差系统模型, 利用Lyapunov 理论设计相应控制器, 从而实现队形保持和变换. 应用microsoft robotics developer studio 4(MRDS4) 搭建3D 仿真平台, 设计3 组实验, 结果进一步验证了所提出方法的有效性.

     

A sensor-based SLAM algorithm for camera tracking in virtual studio

This paper addresses a sensor-based simultaneous localization and mapping （SLAM） algorithm for camera tracking in a virtual studio environment. The traditional camera tracking methods in virtual studios are vision-based or sensor-based. However, the chroma keying process in virtual studios requires color cues, such as blue background, to segment foreground objects to be inserted into images and videos. Chroma keying limits the application of vision-based tracking methods in virtual studios since the background cannot provide enough feature information. Furthermore, the conventional sensor-based tracking approaches suffer from the jitter, drift or expensive computation due to the characteristics of individual sensor system. Therefore, the SLAM techniques from the mobile robot area are first investigated and adapted to the camera tracking area. Then, a sensor-based SLAM extension algorithm for two dimensional （2D） camera tracking in virtual studio is described. Also, a technique called map adjustment is proposed to increase the accuracy＇ and efficiency of the algorithm. The feasibility and robustness of the algorithm is shown by experiments. The simulation results demonstrate that the sensor-based SLAM algorithm can satisfy the fundamental 2D camera tracking requirement in virtual studio environment.     

Masked Face Recognition Using MobileNet V2 with Transfer Learning

Corona virus (COVID-19) is once in a life time calamity that has resulted in thousands of deaths and security concerns. People are using face masks on a regular basis to protect themselves and to help reduce corona virus transmission. During the on-going coronavirus outbreak, one of the major priorities for researchers is to discover effective solution. As important parts of the face are obscured, face identification and verification becomes exceedingly difficult. The suggested method is a transfer learning using MobileNet V2 based technology that uses deep feature such as feature extraction and deep learning model, to identify the problem of face masked identification. In the first stage, we are applying face mask detector to identify the face mask. Then, the proposed approach is applying to the datasets from Canadian Institute for Advanced Research10 (CIFAR10), Modified National Institute of Standards and Technology Database (MNIST), Real World Masked Face Recognition Database (RMFRD), and Stimulated Masked Face Recognition Database (SMFRD). The proposed model is achieving recognition accuracy 99.82% with proposed dataset. This article employs the four pre-programmed models VGG16, VGG19, ResNet50 and ResNet101. To extract the deep features of faces with VGG16 is achieving 99.30% accuracy, VGG19 is achieving 99.54% accuracy, ResNet50 is achieving 78.70% accuracy and ResNet101 is achieving 98.64% accuracy with own dataset. The comparative analysis shows, that our proposed model performs better result in all four previous existing models. The fundamental contribution of this study is to monitor with face mask and without face mask to decreases the pace of corona virus and to detect persons using wearing face masks.     

基于QR分解重构虚拟样本的人脸识别算法

一直以来,小样本问题是人脸识别应用面临的一大难题。针对在实际人脸识别过程中存在的样本不足的问题,首次提出基于QR分解重构虚拟训练样本的算法。该算法使用Q与R的部分信息构造出与原始人脸图像具有一定差异性的虚拟样本,增加了人脸图像更多可能性变化的有效特征,扩大了训练样本集,然后对原始样本和虚拟重构样本协同表示的结果进行加权融合,选取最优权重组合,调整原始样本与虚拟样本对结果的影响比重,得到正确识别率。以ORL、FERET和AR三大人脸数据库对算法进行实验验证。实验结果表明,此算法能够取得较高的识别准确率。