结合局部二值模式和卷积神经网络的人脸美丽预测

卷积神经网络(Convolution Neural Network,CNN)用于人脸美丽预测,能学习到深层次的特征表达,但提取的是全局特征,忽略了人脸的局部信息,因此,泛化能力不强。为此,本文提出一种结合局部二值模式(Local binary pattern , LBP)和卷积神经网络的人脸美丽预测算法。首先,利用数据增强技术扩大数据库规模;其次,将LBP纹理图像和原始灰度图像进行通道融合;再采用1×1卷积操作进行通道特征图的线性组合,从而实现网络跨通道的信息整合,提升人脸美丽预测精度。基于大规模亚洲女性人脸美丽数据库(Large Scale Asian Female Beauty Database, LSAFBD)的实验结果表明,该算法在分类和回归预测中均取得了较好效果,优于其他模型的人脸美丽预测算法;表明在卷积神经网络中加入纹理图像能有效提升人脸美丽预测精度。      

基于信息熵的卷积神经网络图像特征度量

在对卷积神经网络(CNN)的可解释性研究中,针对特征信息的定量分析是研究的重点.提出一种基于信息熵的特征度量方法,用于定量分析CNN的特征提取性能.该方法首先针对不同类别的图像计算特征层的激活直方图,然后统计其归一化熵,将其定义为特征纯度.在CIFAR10和ImageNet数据集上对不同CNN模型及其内部结构的特征纯度进行量化评估;在评估特征纯度的同时,结合类激活图进行可视化解释,以验证特定CNN模型的特征提取能力和特征纯度之间的关系.实验结果表明,特征纯度与模型的特征提取能力、模型的分类性能有统计意义上的显著相关性;同时,特征纯度的计算不依赖于分类标签,也不局限于具体网络结构,具有较强的鲁棒性与实用性.所提出的量化评估方法可以有效地评估CNN的特征提取性能.     

基于信息熵的卷积神经网络图像特征度量

在对卷积神经网络(CNN)的可解释性研究中,针对特征信息的定量分析是研究的重点.提出一种基于信息熵的特征度量方法,用于定量分析CNN的特征提取性能.该方法首先针对不同类别的图像计算特征层的激活直方图,然后统计其归一化熵,将其定义为特征纯度.在CIFAR10和ImageNet数据集上对不同CNN模型及其内部结构的特征纯度进行量化评估;在评估特征纯度的同时,结合类激活图进行可视化解释,以验证特定CNN模型的特征提取能力和特征纯度之间的关系.实验结果表明,特征纯度与模型的特征提取能力、模型的分类性能有统计意义上的显著相关性;同时,特征纯度的计算不依赖于分类标签,也不局限于具体网络结构,具有较强的鲁棒性与实用性.所提出的量化评估方法可以有效地评估CNN的特征提取性能.     

深度PCANet模型的人脸美丽预测

深度卷积神经网络（Deep Convolution Neural Network, DCNN）在人脸识别、图像分类和目标检测领域已取得较好效果,并得到广泛应用;但是,在人脸美丽预测中却存在拟合效果欠佳、网络训练难度大等问题。深度PCANet模型,将深度主元分析网络（Principal Component Analysis Network,PCANet）作为特征提取器;采用无监督预训练提取网络参数,具有网络训练时间短、图像特征提取快等特点,能有效避免DCNN存在的问题。为此,本文将深度PCANet引入人脸美丽预测,对训练集图像采用多尺度预处理,训练深度PCANet。该模型可提取人脸图像的结构性全局特征,采用特征增强方法可生成更具表征能力的特征;运用线性支持向量机（Support Vector Machine, SVM）和随机森林（Random Forest, RF）回归器进行训练和预测。基于SCUT-FBP人脸美丽数据库的实验结果表明,深度PCANet模型具有结构简单、特征提取快和无需网络调参优化等特点;选择合适的图像尺度与采用特征增强方法可提高人脸美丽评价结果,证明了所提方法的有效性和可行性。      

基于VGG的人脸表情识别与分类

为了使人脸表情识别更加快速、准确,以满足复杂社会情境中的需求,本文研究了基于深度卷积神经网络的人脸表情识别方法,实现了人脸不同离散表情识别分类.针对现有数据集数据量不足、深度网络计算易出现过拟合现象等问题,本文基于人脸图片关键点进行了剪裁,获得64个子区域,将数据扩充为64倍,以达到数据增强的目的;使用基于VGG-19网络模型的卷积神经网络,对动作单元进行分类与强度计算,使用Sigmoid函数,使网络具备多标签多分类能力,并在VGG-19网络的第四组卷积层之后加入一个加权处理层,提高准确率.结果显示,增强后叠加的人脸表情识别与分类基本能够完成,而引入加权处理层后的准确率则得到了显著提高.     

结合WGAN GP与CNN SVM的滚动轴承故障红外诊断

针对实际工程应用中由于滚动轴承故障状态出现的时间很短而导致数据集不平衡难以采用深度学习算法进行故障诊断的问题,提出了一种基于Wasserstein距离的梯度惩罚生成对抗网络(WGAN GP)和基于支持向量机分类的卷积神经网络(CNN SVM)相结合的滚动轴承故障红外诊断方法。从红外热像图中构建不平衡数据集,通过采用WGAN GP对不平衡数据扩充以达到数据集均衡,之后将CNN SVM模型应用于数据集,提取样本深度特征完成故障分类。实验表明,WGAN GP与CNN SVM相结合的模型在不平衡数据集下表现良好,相较于其他模型有更好的故障诊断能力,并且在故障分类阶段的用时可减少1689以上。     

一种基于自监督学习的人脸美丽预测方法

人脸美丽预测是研究如何让计算机判断人脸美丽的前沿课题，随着深度学习的不断进展，已经取得了一定效果。然而，基于深度学习的人脸美丽预测需要大量的训练数据和昂贵的人脸美丽标注。因此，如何在少样本条件下取得较好效果，仍有待深入研究。自监督学习可在上游任务中利用无标注数据来学习较好的特征，从而能在下游任务中降低对标注数据的依赖。为此，本文将自监督学习应用于人脸美丽预测，采用批次内对象识别和多视图特征聚类。其中，批次内对象识别通过给每批次不同样本分配独立的伪标签来学习特征，使得网络有区分每个样本对象的能力。多视图特征聚类首先将人脸图像进行多次数据增强；再经过编码器，得到人脸属性特征；最后通过自监督约束使人脸属性特征聚合在一起。基于大规模亚洲人脸美丽数据库（Large Scale Asia Facial Beauty Database, LSAFBD）和SCUT-FBP5500数据库的实验结果表明，本文所提方法降低了模型对有标注数据的依赖，提高了预测准确率，在少样本条件下优于以Resnet18为基线的有监督学习方法，准确率高于常规自监督学习方法，可广泛应用于目标检测和图像分类等领域。     

基于卷积特征和贝叶斯决策的双波段场景分类

针对可见光和近红外双波段场景分类存在图像标注样本少和特征融合质量低的问题,提出了一种基于卷积神经网络(CNN)特征提取和朴素贝叶斯决策融合的双波段场景分类方法。首先,将基于预训练的CNN模型作为双波段图像的特征提取器,避免标注样本少导致的过拟合问题;然后,通过主成分分析降维和特征归一化方法,提高支持向量机的计算速度和每个波段的分类性能;最后,以双波段后验概率为朴素贝叶斯先验概率,构建了决策融合模型,实现场景融合分类。在公开数据集上的实验结果表明,相比单一波段分类和双波段特征级联融合分类方法,本方法的识别率有明显提升,可达到94.3%;比基于传统特征的最优方法高6.4个百分点,与基于CNN的方法识别率相近,且执行简单高效。     

基于Logistic回归的数据分类问题研究

数据分类是数据科学的一个重要研究方向,Logistic回归是最基本的分类算法之一.线性回归和Logistic回归都属于线性模型,本文介绍了两者的联系,详细阐述了模型的目标函数和参数训练过程.在经典的模式识别数据集Iris上,应用Logistic回归模型基于部分特征和全部特征维度进行了建模和分类预测.实验结果表明,适合比例的训练集和测试集切分,较高权重特征组合的建模可以获得较高的分类准确率.     

基于深度学习的石油污染物三维荧光光谱识别技术研究

石油油品在一定的激发光照射下可产生相当强度的三维荧光光谱，是鉴别和分析石油污染物的重要依据。由于石油油品的荧光光谱特征复杂、数据庞大，不宜直接用数学模型描述，也不宜简单依靠人工观察分析。因此，根据深度学习的卷积神经网络（CNN）理论提出了一种直接利用石油油品原始荧光数据进行CNN建模的方法，利用其强大的非线性运算能力、自适应表示学习能力，自动隐性地从训练数据中进行特征学习，实现水环境中石油污染物种类识别。通过大量的荧光实验构建了石油油品（汽油、机油、柴油）的训练和验证光谱数据集，基于Python深度学习框架Keras建立了CNN模型，并对CNN模型在光谱数据集上进行了训练、验证与测试实验，实现了被测油品的种类判别。实验结果表明：该CNN模型对3种油品的训练集与验证集三维荧光光谱的分类准确率都达到了99.76%，综合测试分类准确率达到82.65%，对单物质分类准确率为100%，验证了三维荧光技术结合深度学习算法能够实现对石油油品准确可靠的判别分类，也为进一步研究基于深度学习的水环境污染物智能识别系统提供了技术支持，为环境检测提供了一种新思路与新方法。     

一种用于细粒度人脸识别的眼镜去除方法

为解决眼镜遮挡会降低人脸识别性能的难点,借鉴深度卷积神经网络在超分辨率方面的成功应用,该文提出一种用于细粒度人脸识别的眼镜自动去除方法ERCNN.用卷积层、池化层、MFM特征选取模块和反卷积层设计ERCNN网络模型,自动学习戴眼镜和未戴眼镜人脸图像对之间的映射关系,实现端到端的眼镜去除.然后,收集大量监控场景下的人脸图像,以及互联网上公开的人脸图像作为训练集;同时构建SLLFW数据集,作为眼镜去除和人脸识别的测试集.最后,通过与传统的眼镜去除方法进行对比试验,该文算法的各项评价指标优于传统方法,能有效的去除真实人脸图像中眼镜;同时在SLLFW人脸数据集上形成的全框眼镜、半框眼镜和无框眼镜人脸数据集上对多种人脸识别算法进行对比试验.试验表明,在FAR为1%的情况下,利用该文方法对F-SLLFW, H-SLLFW和R-SLLFW数据集的人脸图像进行眼镜去除后,SphereFace算法的TAR分别达到90.05%, 91.14%和92.33%,比未去除眼镜的识别率分别提高了3.92%, 3.08%和1.26%;同样,在FAR为0.1%的情况下,比SphereFace算法的TAR分别提高了10.06%, 4.29%和2.13%,说明该文方法有助于提升细粒度人脸识别的识别精度.     

一种用于细粒度人脸识别的眼镜去除方法

为解决眼镜遮挡会降低人脸识别性能的难点,借鉴深度卷积神经网络在超分辨率方面的成功应用,该文提出一种用于细粒度人脸识别的眼镜自动去除方法ERCNN。用卷积层、池化层、MFM特征选取模块和反卷积层设计ERCNN网络模型,自动学习戴眼镜和未戴眼镜人脸图像对之间的映射关系,实现端到端的眼镜去除。然后,收集大量监控场景下的人脸图像,以及互联网上公开的人脸图像作为训练集;同时构建SLLFW数据集,作为眼镜去除和人脸识别的测试集。最后,通过与传统的眼镜去除方法进行对比试验,该文算法的各项评价指标优于传统方法,能有效的去除真实人脸图像中眼镜;同时在SLLFW人脸数据集上形成的全框眼镜、半框眼镜和无框眼镜人脸数据集上对多种人脸识别算法进行对比试验。试验表明,在FAR为1%的情况下,利用该文方法对F-SLLFW, H-SLLFW和R-SLLFW数据集的人脸图像进行眼镜去除后,SphereFace算法的TAR分别达到90.05%, 91.14%和92.33%,比未去除眼镜的识别率分别提高了3.92%, 3.08%和1.26%;同样,在FAR为0.1%的情况下,比SphereFace算法的TAR分别提高了10.06%, 4.29%和2.13%,说明该文方法有助于提升细粒度人脸识别的识别精度。     

基于面部检测和深度神经网络的面部情绪自动识别算法

面部情绪识别已成为可见光人脸识别应用的重要部 分,是光学模式识别研究中最重要的领域之一。为了进一步实现可见光条件下面部情绪的自 动识别,本文结合Viola-Jones、自适应直方图均衡(AHE)、离散小波变换(DWT)和深度卷 积神经网络(CNN),提出了一种面部情绪自动识别算法。该算法使用Viola-Jones定位脸 部和五官,使用自适应直方图均衡增强面部图像,使用DWT完成面部特征提取;最后,提取 的特征直接用于深度卷积神经网络训练,以实现面部情绪自动识别。仿真实验分别在CK+数 据库和可见光人脸图像中进行,在CK+数据集上收获了97%的平均准确 率,在可见光人脸图像测试中也获得了95%的平均准确率。实验结果 表明,针对不同的面部五官和情绪,本文算法能够对可见光面部特征进行准确定位,对可见 光图像信息进行均衡处理,对情绪类别进行自动识别,并且能够满足同框下多类面部情绪同 时识别的需求,有着较高的识别率和鲁棒性。     

基于改进AlexNet卷积神经网络的人脸表情识别

为了解决传统卷积神经网络用于人脸表情识别准确率不高的问题,提出了一种基于改进深度AlexNet卷积神经网络的表情识别方法。该方法基于AlexNet网络的基本结构,采用单图形处理单元（Graphics Processing Unit,GPU）进行训练,减少了两层卷积层和一层全连接层,在每层卷积层后加上批标准化（Batch Normalization,BN）代替原来的局部归一化,并在全连接层后加上Dropout正则化进一步防止过拟合。与AlexNet模型相比,改进的网络结构更简单、复杂度低、参数量少,可以节省大量模型训练时间进行快速预测,且更不易过拟合,同时加快了模型收敛速度,提高了网络泛化能力。在Fer2013数据集以及CK+数据集上进行实验,结果表明,所提方法分别得到了68.85%和97.46%的识别率,较其他人脸表情识别方法的识别率有一定提高。     

基于深度学习的有遮挡人脸识别方法研究

针对传统CNN在有遮挡人脸识别中计算量大的问题,文中以L1-2DPCA为基础,提出了一种用于人脸识别的新型PCANet深度学习网络.该网络以L1-2DPCA学习多个卷积层的滤波器,在卷积层之后,通过二进制散列和逐块直方图进行池化.文中以CNN、PCANet、2DPCANet和L1-PCANet作为比较,在AR和RMFD...     

基于多尺度细节增强的面部表情识别方法

人类面部表情是其心理情绪变化的最直观刻画,不同人的面部表情具有很大差异,现有表情识别方法均利用面部统计特征区分不同表情,其缺乏对于人脸细节信息的深度挖掘。根据心理学家对面部行为编码的定义可以看出,人脸的局部细节信息决定了其表情意义。因此该文提出一种基于多尺度细节增强的面部表情识别方法,针对面部表情受图像细节影响较大的特点,提出利用高斯金字塔提取图像细节信息,并对图像进行细节增强,从而强化人脸表情信息。针对面部表情的局部性特点,提出利用层次结构的局部梯度特征计算方法,描述面部特征点局部形状特征。最后,使用支持向量机(SVM)对面部表情进行分类。该文在CK+表情数据库中的实验结果表明,该方法不仅验证了图像细节对面部表情识别过程的重要作用,而且在小规模训练数据下也能够得到非常好的识别结果,表情平均识别率达到98.19%。     

基于卷积神经网络的少数民族头饰识别

传统头饰图片识别方法的特征点由研究人员手工提取,工作量大且准确率低,识别系统存在预处理步骤繁琐、样本要求高等缺点。针对上述问题,文中通过构建卷积神经网络从大量图片数据中自动学习头饰图片的深层特征。文中的CNN模型选用稀疏性较好的ReLU激活函数调整输出,利用反向传播算法(BP算法)优化网络参数,在训练得到的CNN模型后接Softmax分类器进行识别。实验结果表明,系统对头饰图片测试集的识别率达到96.25%,具有良好的识别准确率和识别效率。     

基于深度学习与特征融合的人脸识别算法

卷积神经网络在人脸识别研究上有较好的效果,但是其提取的人脸特征忽略了人脸的局部结构特征。针对此问题,文中提出一种基于深度学习与特征融合的人脸识别方法。该算法将局部二值模式信息与原图信息相结合作为SDFVGG网络的输入,使得提取的人脸特征更加丰富且更具表征能力。其中,SDFVGG网络是将VGG网络进行深浅特征相融合后的网络。在CAS-PEAL-R1人脸数据库上的实验表明,将网络深浅特征相融合与在卷积神经网络中加入LBP图像信息与原图信息相融合的特征信息对于提高人脸识别准确率非常有效,可得到优于传统算法和一般卷积神经网络的最高98.58%人脸识别率。