基于深度残差和特征金字塔网络的实时多人脸关键点定位算法

针对人脸关键点定位算法需要分为人脸区域检测与单人脸关键点定位两个步骤,导致处理时间成倍增加的情况,提出一步到位的实时且准确的多人脸关键点定位算法。该算法将人脸关键点坐标生成对应的热度图作为数据标签,利用深度残差网络完成前期的图像特征提取,使用特征金字塔网络融合在不同网络深度中表征不同尺度感受野的信息特征,应用中间监督思想,级联多个预测网络由粗到精地一次性回归图中所有人脸的关键点,而无需人脸检测步骤。在保持高定位精度的同时,该算法完成一次前向传播只需要约0.0075 s （约每秒133帧）,满足了实时人脸关键点定位的要求,且在WFLW测试集中取得了6.06%的平均误差与11.70%的错误率。     

融合多尺度特征的轻量级人脸检测算法

受到移动设备计算能力和存储资源受限的局限,设计高效、高精度的人脸检测器是一个开放性的挑战.因此,文中提出融合多尺度特征的轻量级人脸检测算法(Lightweight Face Detection Algorithm with Multi-scale Feature Fusion, LFDMF),摒弃被视为人脸检测核心组件的多级检测结构.首先,利用现有的轻量级主干特征提取网络编码输入图像.然后,利用提出的颈部网络扩张特征图感受野,并将含有不同感受野的多尺度信息融至单级特征图中.最后,利用提出的多任务敏感检测头对该单级特征图进行人脸分类、回归和关键点检测.相比分而治之的人脸检测器,LFDMF精度更高、计算量更少.LFDMF按模型计算量高低可构建3个不同大小的网络,大模型LFDMF-L在Wider Face数据集上性能较优,中等模型LFDMF-M和小模型LFDMF-S以极低的模型参数量和计算量实现可观性能.     

一种改进的RefineDet多尺度人脸检测方法

针对车站、商场等大型场所中客流量大、背景复杂等原因导致多尺度人脸检测精度低的问题,建立了一种基于RefineDet多层特征图融合的多尺度人脸检测方法。首先利用第一级网络进行特征提取并在不同尺度的特征图上粗略预估人脸位置;然后在第二级中通过特征金字塔网络将低层特征与高层特征融合,进一步增强小尺寸人脸的语义信息;最后,通过置信度和焦点损失函数对检测框进行二次抑制,达到边框的精确回归。实验中将人脸候选区域的宽高比只设置为1:1,以此来降低运算量并提高人脸检测精度。在Wider Face数据集上的实验结果表明,该方法能有效检测不同尺度的人脸,在Easy、Medium、Hard 3个子数据集上测试结果分别为93.4%、92%、84.4%的MAP,尤其对小尺寸人脸的检测精度有明显提高。     

CASPN：基于级联空间金字塔的人脸关键点定位网络

针对非限制环境下人脸关键点定位的诸多干扰因素,如遮挡、阴影,以及如何设计更加轻量级、快速的神经网络的问题,尝试并联不同空洞率的空洞卷积应用于人脸关键点定位,在保持特征分辨率的同时,快速增大并且获取多重感受野信息来获得更全局的语义信息,同时结合特征融合为精确定位关键点与关键点猜测提供丰富的上下文信息,以此提出一种实时、轻量级、高检测精度的人脸关键点定位网络。该网络的参数量约为2.7 million,模型只有10.6 MB,在保持高检测精度的同时,在GTX1080设备上可达约150 fps的处理速度。目前在流行的数据集中也获得了优异的评估结果,其中在WFLW测试集中取得了5.40%的mean error与7.36%的failure rate。     

基于轻量级网络的实时人体关键点检测算法

为提升人体姿态估计在移动终端设备上的运行速度与实时性,提出一种改进的人体关键点检测算法.通过将MobileNetV2轻量级主干网络与深度可分离卷积模块相结合加速特征提取过程,使用精炼网络进行多尺度人体关键点预测,并利用融合网络整合多个尺度的预测结果得到最终人体关键点检测结果.实验结果表明,与传统CPM算法相比,该算法在...     

一种自下而上的人脸检测算法

针对在非控条件下的人脸检测经常遇到的问题,比如复杂的人脸姿态表情、严重的人脸遮挡、外界环境背景复杂、光照条件差、小人脸等提出了一种自下而上的人脸检测方法。自下而上的人脸检测是基于深度学习的,先进行人脸相关关键点检测和关键点之间的位置关系检测再进行人脸检测。网络结构采用稠密网络进行图像特征提取,提取到的特征传送给6个级联网络,每个级联网络由两个分支网络构成,分支网络1用来预测人脸相关关键点位置坐标,分支网络2用来预测关键点之间的位置关系。利用得到的关键点位置和位置关系进行人脸检测。在FDDB测试集上进行了验证,取得了0.98的成绩,并可以在输入图像分辨率为1920x1080的情况下,能检测到的最小人脸分辨率为10x10,使用GPU Nvidia Gefore GTX 1070最快能达到17fps。     

级联层叠金字塔网络模型的服装关键点检测

服装关键点的检测对服饰分类、推荐和检索效果具有重要的作用,然而实际服装数据库中存在大量形变及背景复杂的服饰图片,导致现有服装分类模型的识别率和服装推荐、检索的效果较差.为此,本文提出了一种级联层叠金字塔网络模型CSPN (Cascaded Stacked Pyramid Network),将目标检测方法与回归方法相结合,首先采用Faster R-CNN结构对服装目标区域进行识别,然后基于ResNet-101结构生成的多层级特征图,构建级联金字塔网络,融合服饰图像的多尺度高低层信息,解决图片形变及复杂背景下服装关键点识别准确度不高等问题.实验结果表明, CSPN模型在DeepFashion数据集上较其他三种模型对服装关键点具有较高识别度.     

基于汇聚CNN和注意力增强网络的遮挡人脸检测方法

针对现实场景中遮挡人脸检测精度低的问题,提出了一种基于汇聚CNN和注意力增强网络的遮挡人脸检测方法.首先,在主网络的多层原始特征图上,通过有监督学习的方法增强原始特征图中人脸可见部分的响应值.然后,将多个增强特征图组合成附加增强网络与主网络汇聚设置,以加快对多尺度遮挡人脸的检测速度.最后,将有监督信息分散到各个尺寸的特...     

引入坐标注意力和自注意力的人体关键点检测研究

人体关键点检测在智能视频监控、人机交互等领域具有重要应用。多数基于深度学习的人体关键点检测算法仅聚焦于增加多尺度特征或加深网络模型深度,忽略了在获取低分辨率特征图过程中因重复下采样操作而造成的信息丢失。针对该问题,提出一种高分辨率的人体关键点检测网络CASANet,以实现二维图像人体姿态估计。使用HRNet作为骨干网络,引入坐标注意力模块在1/16分辨率特征图分支上捕获位置信息和通道信息,利用自注意力模块在1/32分辨率特征图分支上捕获位置信息和通道信息的内部相关性,通过这2个模块克服网络在获取低分辨率特征图过程中的信息丢失问题。在MS COCOVAL 2017数据集上进行实验,结果表明, CASANet网络可以在参数量和计算量有少量提升的情况下获得更高的检测准确度,有效提升通道信息和位置信息的提取效果,相较基线方法,CASANet的AP值提高2.4个百分点。     

基于人脸尺度约束的人像自动抠图方法

人像抠图算法是许多人像图像处理方法的核心,而人像三分图的准确性直接影响抠图的效果.提出一种通过关键点估计人脸尺度,根据尺度控制三分图生成网络产生标准化的人像三分图,从而提高人像抠图结果的方法.同时构建一个包含19118幅人像的数据集用于训练和测试模型,并提出一种多级微调的方式来训练模型,以降低训练难度并获得更好的效果....     

关键点深度特征驱动人脸表情识别

目的 人脸关键点检测和人脸表情识别两个任务紧密相关。已有对两者结合的工作均是两个任务的直接耦合,忽略了其内在联系。针对这一问题,提出了一个多任务的深度框架,借助关键点特征识别人脸表情。方法 参考inception结构设计了一个深度网络,同时检测关键点并且识别人脸表情,网络在两个任务的监督下,更加关注关键点附近的信息,使得五官周围的特征获得较大响应值。为进一步减小人脸其他区域的噪声对表情识别的影响,利用检测到的关键点生成一张位置注意图,进一步增加五官周围特征的权重,减小人脸边缘区域的特征响应值。复杂表情引起人脸部分区域的形变,增加了关键点检测的难度,为缓解这一问题,引入了中间监督层,在第1级检测关键点的网络中增加较小权重的表情识别任务,一方面,提高复杂表情样本的关键点检测结果,另一方面,使得网络提取更多表情相关的特征。结果 在3个公开数据集：CK+（Cohn-Kanade dataset）,Oulu（Oulu-CASIA NIR&VIS facial expression database）和MMI（MMI facial expression database）上与经典方法进行比较,本文方法在CK+数据集上的识别准确率取得了最高值,在Oulu和MMI数据集上的识别准确率比目前识别率最高的方法分别提升了0.14%和0.54%。结论 实验结果表明了引入关键点信息的有效性：多任务的卷积神经网络表情识别准确率高于单任务的传统卷积神经网络。同时,引入注意力模型也提升了多任务网络中表情的识别率。     

基于带权重的双向跨层级金字塔特征融合的人脸关键点识别算法

高精度的人脸关键点定位的神经网络模型受到硬件运算能力与存储空间等计算资源的限制,无法应用到许多嵌入式设备以及移动终端中.为了降低网络模型的运算规模,基于深度可分离卷积结构,提出一种轻量级的人脸关键点定位算法.该算法在双向金字塔特征融合的基础上,增加了跨层级的特征融合路径,并对跨层级的特征进行带权融合,以充分利用backbone网络提取的有限特征.该网络模型只有10.1 MB,且在单个的NVIDIA RTX 2070 SUPER的GPU上运行,每个图像推断时间为0.147 s,806.61 M浮点运算次数.此外,模型的参数数量为3.84 M,在300-W的公共测试集中取得了5.08％的normal mean error与0.12％的failure rate.实验数据表明,与传统方法相比,该算法在运算规模上大幅减小,可以移植到嵌入式设备中进行人脸关键点识别.     

多信息融合的多姿态三维人脸面部五官标志点定位方法

针对三维人脸模型面部五官标志点定位对姿态变化非常敏感的问题,提出了一种基于多信息融合的多姿态三维人脸五官标志点定位方法.首先对二维人脸纹理图像采用仿射不变的Affine- SIFT方法进行特征点检测,再利用映射关系将其投影到三维空间,并采用局部邻域曲率变化最大规则和迭代约束优化相结合的方法对面部五官标志点进行精确定位.在FRGC2.0和自建NPU3D数据库的实验结果表明,文中方法无需对姿态和三维数据的格式进行预先估计和定义,算法复杂度低,同时对人脸模型的姿态有着较强的鲁棒性,与现有五官标志点定位方法相比,有着更高的定位精度.     

基于深度对齐网络的生成对抗网络伪造人脸检测

针对现有的生成对抗网络（GAN）伪造人脸图像检测方法在有角度及遮挡情况下存在的真实人脸误判问题,提出了一种基于深度对齐网络（DAN）的GAN伪造人脸图像检测方法。首先,基于DAN设计面部关键点提取网络,以提取真伪人脸关键点位置;然后,采用主成分分析（PCA）方法将每一组关键点映射到三维空间,从而减少冗余信息以及降低特征维度;最后,利用支持向量机（SVM）五折交叉验证对特征进行分类,并计算准确率。实验结果表明,该方法通过提高面部关键点定位准确度改善了由于定位误差引起的面部不协调问题,进而降低了真实人脸误判率。与VGG19、XceptionNet和Dlib-SVM方法相比,正脸情况下,该方法的ROC下面积（AUC）值提高了4.48到32.96个百分点,平均精度（AP）提高了4.26到33.12个百分点;有角度及遮挡人脸情况下,该方法的AUC值提高了10.56到30.75个百分点,AP提高了7.42到42.45个百分点。     

Context modeling for facial landmark detection based on Non-Adjacent Rectangle (NAR) Haar-like feature

Automatically locating facial landmarks in images is an important task in computer vision. This paper proposes a novel context modeling method for facial landmark detection, which integrates context constraints together with local texture model in the cascaded AdaBoost framework. The motivation of our method lies in the basic human psychology observation that not only the local texture information but also the global context information is used for human to locate facial landmarks in faces. Therefore, in our solution, a novel type of feature, called Non-Adjacent Rectangle (NAR) Haar-like feature, is proposed to characterize the co-occurrence between facial landmarks and its surroundings, i.e., the context information, in terms of low-level features. For the locating task, traditional Haar-like features (characterizing local texture information) and NAR Haar-like features (characterizing context constraints in global sense) are combined together to form more powerful representations. Through Real AdaBoost learning, the most discriminative feature set is selected automatically and used for facial landmark detection. To verify the effectiveness of the proposed method, we evaluate our facial landmark detection algorithm on BioID and Cohn-Kanade face databases. Experimental results convincingly show that the NAR Haar-like feature is effective to model the context and our proposed algorithm impressively outperforms the published state-of-the-art methods. In addition, the generalization capability of the NAR Haar-like feature is further validated by extended applications to face detection task on FDDB face database.     

基于人工路标的易部署室内机器人全局定位系统

在一些布局易变或存在较多动态障碍物的室内,移动机器人的全局定位依然面临较大的应用挑战.针对这类场景,实现了一种新的基于人工路标的易部署室内机器人全局定位系统.该系统将人工路标粘贴在不易被遮挡的天花板上来作为参照物,仅依赖一个摄像头即能实现稳定的全局定位.整个系统根据具体的功能分为地图构建和全局定位两个过程.在地图构建过程中,系统使用激光SLAM算法所输出的位姿估计结果为基准,根据相机对路标点的观测信息来自动估计人工路标点在全局坐标系中的位姿,建立人工路标地图.而在全局定位过程中,该系统则是根据相机对地图中已知位姿的人工路标点的观测信息,结合里程计与IMU融合的预积分信息来对位姿进行实时估计.充分的实验测试表明,机器人在该系统所部署范围内运行的定位误差稳定在10 cm以内,且运行过程可以保证实时位姿输出,满足典型实际室内移动机器人全局定位的应用需求.     

ARCosmetics: a real-time augmented reality cosmetics try-on system

A virtual cosmetics try-on system provides a realistic try-on experience for consumers and helps them efficiently choose suitable cosmetics. In this article, we propose a real-time augmented reality virtual cosmetics try-on system for smartphones (ARCosmetics), taking speed, accuracy, and stability into consideration at each step to ensure a better user experience. A novel and very fast face tracking method utilizes the face detection box and the average position of facial landmarks to estimate the faces in continuous frames. A dynamic weight Wing loss is introduced to assign a dynamic weight to every landmark by the estimated error during training. It balances the attention between small, medium, and large range error and thus increases the accuracy and robustness. We also designed a weighted average method to utilize the information of the adjacent frame for landmark refinement, guaranteeing the stability of the generated landmarks. Extensive experiments conducted on a large 106-point facial landmark dataset and the 300-VW dataset demonstrate the superior performance of the proposed method compared to other state-of-the-art methods. We also conducted user satisfaction studies further to verify the efficiency and effectiveness of our ARCosmetics system.     

Robust classification of face and head gestures in video

Automatic analysis of head gestures and facial expressions is a challenging research area and it has significant applications in human-computer interfaces. We develop a face and head gesture detector in video streams. The detector is based on face landmark paradigm in that appearance and configuration information of landmarks are used. First we detect and track accurately facial landmarks using adaptive templates, Kalman predictor and subspace regularization. Then the trajectories (time series) of facial landmark positions during the course of the head gesture or facial expression are converted in various discriminative features. Features can be landmark coordinate time series, facial geometric features or patches on expressive regions of the face. We use comparatively, two feature sequence classifiers, that is, Hidden Markov Models (HMM) and Hidden Conditional Random Fields (HCRF), and various feature subspace classifiers, that is, ICA (Independent Component Analysis) and NMF (Non-negative Matrix Factorization) on the spatiotemporal data. We achieve 87.3% correct gesture classification on a seven-gesture test database, and the performance reaches 98.2% correct detection under a fusion scheme. Promising and competitive results are also achieved on classification of naturally occurring gesture clips of LIlir TwoTalk Corpus.     

A coupled encoder–decoder network for joint face detection and landmark localization

Face detection and landmark localization have been extensively investigated and are the prerequisite for many face related applications, such as face recognition and 3D face reconstruction. Most existing methods address only one of the two problems. In this paper, we propose a coupled encoder–decoder network to jointly detect faces and localize facial key points. The encoder and decoder generate response maps for facial landmark localization. Moreover, we observe that the intermediate feature maps from the encoder and decoder represent facial regions, which motivates us to build a unified framework for multi-scale cascaded face detection by coupling the feature maps. Experiments on face detection using two public benchmarks show improved results compared to the existing methods. They also demonstrate that face detection as a pre-processing step leads to increased robustness in face recognition. Finally, our experiments show that the landmark localization accuracy is consistently better than the state-of-the-art on three face-in-the-wild databases.