基于迁移学习的人脸姿态分类方法

人脸姿态分类在智能人机交互、虚拟现实、智能控制以及人脸识别等多个领域都有广泛的应用。由于人脸姿态分类过程中存在不同角度间特征重叠率高的问题,导致其分类精度过低。为提高人脸姿态分类的准确率与鲁棒性,提出了基于迁移学习的人脸姿态分类方法。该方法利用卷积神经网络的特征提取和学习能力,对特征进行识别和分类,从而得到单方向人脸姿态的训练参数。利用迁移学习,将卷积神经网络训练好的参数应用于训练两个方向的人脸姿态模型中。使用该方法在CAS-PEAL数据集上进行了实验,最终结果的准确率达到98. 7%,并且与AlexNet、VGGNet和ResNet等网络模型做对比实验,得到了更好的人脸姿态分类效果。实验结果表明,所提出的方法显著提高了人脸姿态分类的准确率与鲁棒性。     

基于深度可分离卷积的轻量化人脸识别方法设计

针对传统人脸识别方法识别精度较低的问题,提出基于深度可分离卷积的轻量化人脸识别方法。构建深度可分离卷积的轻量级卷积神经网络模型,采集人脸图像并进行预处理,从而增强数据集,采用多任务卷积神经网络提取人脸特征,完成人脸识别方法的设计。实验结果表明,该方法优于其他方法,人脸识别的准确率保持在90%以上,识别精度较高。     

基于深度学习卷积神经网络的民航旅客人脸智能识别方法

在民航旅客人脸识别中,由于人脸特征提取差,导致识别准确率低,因此提出基于深度学习卷积神经网络的民航旅客人脸智能识别方法。首先,利用深度学习卷积神经网络检测人脸,获取人脸位置并标记关键特征点;其次,基于人脸姿态校正提取关键特征,利用三角对线理论融合人脸特征;最后,通过计算待检测图像与数据集中图像的余弦相似度,实现人脸智能识别。实验结果表明,该方法的识别准确率在92%以上,证明其具备可行性。     

基于学生人体检测的无感知课堂考勤方法

针对基于人脸识别的课堂考勤系统漏检和低识别率的问题,采用主、从双摄像机设备,提出一种联合学生人体检测和人脸角度筛选的方法。首先通过Mask R-CNN算法检测主摄像机拍摄图中的学生人体位置;然后控制从摄像机（PTZ相机）依次获取每位学生的高质量放大图像;再通过MTCNN算法和FSA-Net算法从中检测并识别出人脸姿态,筛选出每位学生的正脸图像;最后对筛选出的学生正脸图像使用FaceNet算法提取人脸特征,用于支持向量机（SVM）分类器的训练或识别。实验结果表明,与Tiny-face算法相比,人体检测算法在重叠比（IOU）为0.75时平均精度（AP）值提高了约36%且检测耗时减少了57%;与建立多姿态人脸数据库的方法相比,采用人脸角度筛选的方法使识别率提高了4%;多数情况下整个课堂学生识别的准确率接近100%。所提方法简化了学生注册过程,提高了人脸识别率,为解决人脸漏检问题提供了新的思路。     

基于学生人体检测的无感知课堂考勤方法

针对基于人脸识别的课堂考勤系统漏检和低识别率的问题，采用主、从双摄像机设备，提出一种联合学生人体检测和人脸角度筛选的方法。首先通过Mask R-CNN算法检测主摄像机拍摄图中的学生人体位置；然后控制从摄像机（PTZ相机）依次获取每位学生的高质量放大图像；再通过MTCNN算法和FSA-Net算法从中检测并识别出人脸姿态，筛选出每位学生的正脸图像；最后对筛选出的学生正脸图像使用FaceNet算法提取人脸特征，用于支持向量机（SVM）分类器的训练或识别。实验结果表明，与Tiny-face算法相比，人体检测算法在重叠比（IOU）为0.75时平均精度（AP）值提高了约36%且检测耗时减少了57%；与建立多姿态人脸数据库的方法相比，采用人脸角度筛选的方法使识别率提高了4%；多数情况下整个课堂学生识别的准确率接近100%。所提方法简化了学生注册过程，提高了人脸识别率，为解决人脸漏检问题提供了新的思路。     

基于分块的有遮挡人脸识别算法

随着深度学习技术的发展,人脸识别在受控环境下的准确率已经达到了非常理想的效果。然而,真实环境下获取的人脸图像往往因为遮挡而难以识别。针对遮挡条件下的人脸识别准确率不高、稳定性差的问题,结合传统的人脸分块和深度卷积神经网络,提出一种基于分块的有遮挡人脸识别算法。基于人脸特征点定位的结果进行人脸分块,使用一种改进的轻量级卷积神经网络进行各个人脸区块的特征提取;利用多分类网络结合输入区块的额外信息进行人脸区块的遮挡判别;结合人脸块特征与遮挡二分类判别结果获取表征遮挡人脸的特征。实验结果表明,经过以上步骤提取出的特征对遮挡具有较强的鲁棒性,并且在满足一定的条件下,即使人脸由大面积遮挡也能在实验数据集上保持94%的准确率。     

基于残差网络的非限定条件人脸识别研究

针对非限制人脸识别中人脸图像的尺寸和角度影响识别精度的问题,本文根据渐进校准的思想,设计出一种以具有渐进校准功能的卷积神经网络为分析算法的人脸识别方法。首先在非限制环境下对人脸图像进行几何归一化处理,并且利用主成分分析法进行降维;然后基于仿射变换和局部人脸分割理论,提出基于细节变换与特征融合的方法对人脸进行矫正;最后利用残差卷积神经网络构建人脸识别模型,在LFW数据集上对模型参数进行训练,并对训练后的模型进行仿真和检验。实测表明,通过矫正得到的正面人脸图像虽然存在轻微的扭曲现象,但其提取的特征信息能够有效提高非限制条件下多姿态人脸的识别准确率。     

基于多尺度核特征卷积神经网络的实时人脸表情识别

针对人脸表情识别的泛化能力不足、稳定性差以及速度慢难以满足实时性要求的问题,提出了一种基于多尺度核特征卷积神经网络的实时人脸表情识别方法。首先,提出改进的MobileNet结合单发多盒检测器（MSSD）轻量化人脸检测网络,并利用核相关滤波（KCF）模型对检测到的人脸坐标信息进行跟踪来提高检测速度和稳定性;然后,使用三种不同尺度卷积核的线性瓶颈层构成三条支路,用通道合并的特征融合方式形成多尺度核卷积单元,利用其多样性特征来提高表情识别的精度;最后,为了提升模型泛化能力和防止过拟合,采用不同的线性变换方式进行数据增强来扩充数据集,并将FER-2013人脸表情数据集上训练得到的模型迁移到小样本CK+数据集上进行再训练。实验结果表明,所提方法在FER-2013数据集上的识别率达到73.0%,较Kaggle表情识别挑战赛冠军提高了1.8%,在CK+数据集上的识别率高达99.5%。对于640×480的视频,人脸检测速度达到每秒158帧,是主流人脸检测网络多任务级联卷积神经网络（MTCNN）的6.3倍,同时人脸检测和表情识别整体速度达到每秒78帧。因此所提方法能够实现快速精确的人脸表情识别。     

基于VGGNet和多谱带循环网络的高光谱人脸识别系统

为了提高光谱人脸数据表征人脸特征的有效性，提出一种基于VGGNet和多谱带循环训练的高光谱人脸识别方法。首先，在光谱人脸图像的预处理阶段，采用多任务卷积神经网络（MTCNN）进行高光谱人脸图像的精确定位，并利用混合通道的方式对高光谱人脸数据进行增强；然后，基于卷积神经网络（CNN）结构建立一个面向高光谱人脸识别的VGG12深度网络；最后，基于高光谱人脸数据的特点，引入多谱带循环训练方法训练建立的VGG12网络，完成最后的训练和识别。在公开的UWA-HSFD和PolyU-HSFD高光谱人脸数据集的实验结果表明，所提方法取得了比其他深度网络（如DeepID、DeepFace、VGGNet）更好的识别性能。     

不同光照强度变化下融合深度学习的人脸识别技术研究

人脸识别是一种生物识别技术，通过人脸特征信息提取实现身份验证，是计算机视觉领域的热门问题之一。但当前的人脸图像识别受不同光照强度变化的干扰较大，识别技术亟待优化。针对不同强度变化下的人脸图像，提出了一种光照强度恢复方法进行图像预处理，并将与新的四元组中心损失函数相融合应用于人脸图像的识别中。结果表明，在Yale和ORL人脸数据库中，该方法的准确率最高分别达到了95%和96%;在LFW数据集和YTF数据集中，准确率提高的最大值为17.05%;在所选的人脸样本中，其识别准确率稳定在94%以上，具有较高的准确率和稳定性，为进一步提高人脸识别效果提供技术参考。     

基于多姿态特征融合生成对抗网络的人脸校正方法

针对人脸校正中单幅图像难以解决大姿态侧脸的问题，提出一种基于多姿态特征融合生成对抗网络（MFFGAN）的人脸校正方法，利用多幅不同姿态侧脸之间的相关信息来进行人脸校正，并采用对抗机制对网络参数进行调整。该方法设计了一种新的网络，包括由多姿态特征提取、多姿态特征融合、正脸合成三个模块组成的生成器，以及用于对抗训练的判别器。多姿态特征提取模块利用多个卷积层提取侧脸图像的多姿态特征；多姿态特征融合模块将多姿态特征融合成包含多姿态侧脸信息的融合特征；而正脸合成模块在进行姿态校正的过程中加入融合特征，通过探索多姿态侧脸图像之间的特征依赖关系来获取相关信息与全局结构，可以有效提高校正结果。实验结果表明，与现有基于深度学习的人脸校正方法相比，所提方法恢复出的正脸图像不仅轮廓清晰，而且从两幅侧脸中恢复出的正脸图像的识别率平均提高了1.9个百分点，并且输入侧脸图像越多，恢复出的正脸图像的识别率越高，表明所提方法可以有效融合多姿态特征来恢复出轮廓清晰的正脸图像。     

基于多姿态特征融合生成对抗网络的人脸校正方法

针对人脸校正中单幅图像难以解决大姿态侧脸的问题,提出一种基于多姿态特征融合生成对抗网络（MFFGAN）的人脸校正方法,利用多幅不同姿态侧脸之间的相关信息来进行人脸校正,并采用对抗机制对网络参数进行调整。该方法设计了一种新的网络,包括由多姿态特征提取、多姿态特征融合、正脸合成三个模块组成的生成器,以及用于对抗训练的判别器。多姿态特征提取模块利用多个卷积层提取侧脸图像的多姿态特征;多姿态特征融合模块将多姿态特征融合成包含多姿态侧脸信息的融合特征;而正脸合成模块在进行姿态校正的过程中加入融合特征,通过探索多姿态侧脸图像之间的特征依赖关系来获取相关信息与全局结构,可以有效提高校正结果。实验结果表明,与现有基于深度学习的人脸校正方法相比,所提方法恢复出的正脸图像不仅轮廓清晰,而且从两幅侧脸中恢复出的正脸图像的识别率平均提高了1.9个百分点,并且输入侧脸图像越多,恢复出的正脸图像的识别率越高,表明所提方法可以有效融合多姿态特征来恢复出轮廓清晰的正脸图像。     

结合形变模型与图像修复的人脸姿态矫正

目的 人脸姿态偏转是影响人脸识别准确率的一个重要因素,本文利用3维人脸重建中常用的3维形变模型以及深度卷积神经网络,提出一种用于多姿态人脸识别的人脸姿态矫正算法,在一定程度上提高了大姿态下人脸识别的准确率。方法 对传统的3维形变模型拟合方法进行改进,利用人脸形状参数和表情参数对3维形变模型进行建模,针对面部不同区域的关键点赋予不同的权值,加权拟合3维形变模型,使得具有不同姿态和面部表情的人脸图像拟合效果更好。然后,对3维人脸模型进行姿态矫正并利用深度学习对人脸图像进行修复,修复不规则的人脸空洞区域,并使用最新的局部卷积技术同时在新的数据集上重新训练卷积神经网络,使得网络参数达到最优。结果 在LFW（labeled faces in the wild）人脸数据库和StirlingESRC（Economic Social Research Council）3维人脸数据库上,将本文算法与其他方法进行比较,实验结果表明,本文算法的人脸识别精度有一定程度的提高。在LFW数据库上,通过对具有任意姿态的人脸图像进行姿态矫正和修复后,本文方法达到了96.57%的人脸识别精确度。在StirlingESRC数据库上,本文方法在人脸姿态为±22°的情况下,人脸识别准确率分别提高5.195%和2.265%;在人脸姿态为±45°情况下,人脸识别准确率分别提高5.875%和11.095%;平均人脸识别率分别提高5.53%和7.13%。对比实验结果表明,本文提出的人脸姿态矫正算法有效提高了人脸识别的准确率。结论 本文提出的人脸姿态矫正算法,综合了3维形变模型和深度学习模型的优点,在各个人脸姿态角度下,均能使人脸识别准确率在一定程度上有所提高。     

基于深度可分卷积神经网络的实时人脸表情和性别分类

针对目前普通卷积神经网络（CNN）在表情和性别识别任务中出现的训练过程复杂、耗时过长、实时性差等问题,提出一种深度可分卷积神经网络的实时人脸表情和性别识别模型。首先,利用多任务级联卷积网络（MTCNN）对不同尺度输入图像进行人脸检测,并利用核相关滤波（KCF）对检测到的人脸位置进行跟踪进而提高检测速度。然后,设置不同尺度卷积核的瓶颈层,用通道合并的特征融合方式形成核卷积单元,以具有残差块和可分卷积单元的深度可分卷积神经网络提取多样化特征,并减少参数数量,轻量化模型结构;使用实时启用的反向传播可视化来揭示权重动态的变化并评估了学习的特征。最后,将表情识别和性别识别两个网络并联融合,实现表情和性别的实时识别。实验结果表明,所提出的网络模型在FER-2013数据集上取得73.8%的识别率,在CK+数据集上的识别率达到96%,在IMDB数据集中性别分类的准确率达到96%;模型的整体处理帧率达到80 frame/s,与结合支持向量机的全连接卷积神经网络方法所得结果相比,有着1.5倍的提升。因此针对数量、分辨率、大小等差异较大的数据集,该网络模型检测快,训练时间短,特征提取简单,具有较高的识别率和实时性。     

两层级联卷积神经网络的人脸检测

目的 传统人脸检测方法因人脸多姿态变化和人脸面部特征不完整等问题,导致检测效果不佳。为解决上述问题,提出一种两层级联卷积神经网络（TC_CNN）人脸检测方法。方法 首先,构建两层卷积神经网络模型,利用前端卷积神经网络模型对人脸图像进行特征粗略提取,再利用最大值池化方法对粗提取得到的人脸特征进行降维操作,输出多个疑似人脸窗口;其次,将前端粗提取得到的人脸窗口作为后端卷积神经网络模型的输入进行特征精细提取,并通过池化操作得到新的特征图;最后,通过全连接层判别输出最佳检测窗口,完成人脸检测全过程。结果 实验选取FDDB人脸检测数据集中包含人脸多姿态变化以及人脸面部特征信息不完整等情况的图像进行测试,TC_CNN方法人脸检测率达到96.39%,误检率低至3.78%,相比当前流行方法在保证算法效率的同时检测率均有提高。结论 两层级联卷积神经网络人脸检测方法能够在人脸多姿态变化和面部特征信息不完整等情况下实现精准检测,保证较高的检测率,有效降低误检率,方法具有较好的鲁棒性和泛化能力。     

Pose-and-illumination-invariant face representation via a triplet-loss trained deep reconstruction model

Face recognition under variable pose and illumination is a challenging problem in computer vision tasks. In this paper, we solve this problem by proposing a new residual based deep face reconstruction neural network to extract discriminative pose-and-illumination-invariant (PII) features. Our deep model can change arbitrary pose and illumination face images to the frontal view with standard illumination. We propose a new triplet-loss training method instead of Euclidean loss to optimize our model, which has two advantages: a) The training triplets can be easily augmented by freely choosing combinations of labeled face images, in this way, overfitting can be avoided; b) The triplet-loss training makes the PII features more discriminative even when training samples have similar appearance. By using our PII features, we achieve 83.8% average recognition accuracy on MultiPIE face dataset which is competitive to the state-of-the-art face recognition methods.     

基于多任务学习的多姿态人脸重建与识别

针对当前人脸识别中姿态变化会影响识别性能,以及姿态恢复过程中脸部局部细节信息容易丢失的问题,提出一种基于多任务学习的多姿态人脸重建与识别方法——多任务学习堆叠自编码器（MtLSAE）。该方法通过运用多任务学习机制,联合考虑人脸姿态恢复和脸部局部细节信息保留这两个相关的任务,在步进逐层恢复正面人脸姿态的同时,引入非负约束稀疏自编码器,使得非负约束稀疏自编码器能够学习到人脸部的部分特征;其次在姿态恢复和局部信息保留两个任务之间通过共享参数的方式来学习整个网络框架;最后将重建出来的正脸图像通过Fisherface进行降维并提取具有判别信息的特征,并用最近邻分类器来识别。实验结果表明,MtLSAE方法获得了较好的姿态重建质量,保留的局部纹理信息清晰,而且与局部Gabor二值模式（LGBP）、基于视角的主动外观模型（VAAM）以及堆叠步进自编码器（SPAE）等经典方法相比,识别率性能得以提升。