级联的卷积神经网络人脸检测方法

针对由于光照、分辨率、姿态和表情等因素变化引起的人脸检测准确性不高的问题和大多人脸检测算法使用单一的卷积神经网络去提取特征引起的算法的泛化能力变弱的问题,提出了三层由浅及深的级联的卷积神经网络结构。通过全卷积神经网络快速定位人脸候选区域,采用深度神经网络提取人脸鲁棒性特征,对候选区域进一步分类验证,并用联合回归的方法确定最终人脸位置,提高检测精度。同时通过加权降低得分改进常用的非极大值抑制的方法,解决了由于相邻人脸高度重叠引起的漏检问题。实验结果表明,该模型对上述引起人脸检测准确率不高的因素具有较好的鲁棒性,并且在FDDB数据集上有着较高的准确率和运行速度。改进后的非极大值抑制算法对在FDDB的测试准确率也有一定的提升。     

基于卷积神经网络的小样本图像识别方法

为提高仅包含少量训练样本的图像识别准确率,利用卷积神经网络作为图像的特征提取器,提出一种基于卷积神经网络的小样本图像识别方法。在原始小数据集中引入数据增强变换,扩充数据样本的范围;在此基础上将大规模数据集上的源预训练模型在目标小数据集上进行迁移训练,提取除最后全连接层之外的模型权重和图像特征;结合源预训练模型提取的特征,采用层冻结方法,微调目标小规模数据集上的卷积模型,得到最终分类识别结果。实验结果表明,该方法在小规模图像数据集的识别问题中具有较高的准确率和鲁棒性。     

基于深度学习的轻量级和多姿态人脸识别方法

目前基于深度学习的人脸识别方法存在识别模型参数量大、特征提取速度慢的问题,而且现有人脸数据集姿态单一,在实际人脸识别任务中无法取得好的识别效果。针对这一问题建立了一种多姿态人脸数据集,并提出了一种轻量级的多姿态人脸识别方法。首先,使用多任务级联卷积神经网络（MTCNN）算法进行人脸检测,并且使用MTCNN最后包含的高层特征做人脸跟踪;然后,根据检测到的人脸关键点位置来判断人脸姿态,通过损失函数为ArcFace的神经网络提取当前人脸特征,并将当前人脸特征与相应姿态的人脸数据库中的人脸特征比对得到人脸识别结果。实验结果表明,提出方法在多姿态人脸数据集上准确率为96.25%,相较于单一姿态的人脸数据集,准确率提升了2.67%,所提方法能够有效提高识别准确率。     

全卷积神经网络的多尺度人脸检测的研究

为实现快速而准确的人脸检测,提出了一种基于全卷积神经网络的多尺度人脸检测的方法,将卷积神经网络模型AlexNet的全连接层改为全卷积层,并将分类层改为人脸与非人脸的二分类,训练之后准确率达到99.16%。将训练好的分类模型用于人脸检测时,待检测图片通过多尺度变换后输入全卷积网络得到特征图的概率矩阵,用非极大值抑制得到最精准的人脸框。检测结果表明,该方法在人脸检测时准确率高,检测时间短,表现出较好的性能。     

基于多视角深度网络增强森林的表情识别

为了提高在自然环境中姿态变化下人脸表情识别的准确性和鲁棒性,提出一种基于多视角深度网络增强森林的表情识别方法.首先提取人脸区域的人脸子块以消除人脸遮挡等噪声影响,通过在预训练的卷积神经网络模型上迁移学习获得深度表情特征;然后,估计水平自由度下的头部姿态参数以消除头部姿态运动的影响,建立多视角条件概率模型,并将条件概率和神经联结函数引入随机树的节点分裂学习中,提高模型在有限训练集上的学习能力和区分力;最后通过多视角权重投票决策人脸表情类别.M-DNF能够获得不同视角下的表情分类结果,而不需要大量的数据集训练.在CK+、多视角BU-3DFE和自发LFW这3个具有挑战的公共人脸数据集上进行实验的结果表明,该方法平均识别准确率分别达到98.85%, 86.63%和57.20%,均高于目前已有且公认的识别率高的表情识别方法.     

基于多特征融合和卷积神经网络的植物叶片识别

植物叶片识别是植物自动分类识别研究的重要分支和热点,利用卷积神经网络进行图像分类研究已成为主流.为了提高植物叶片识别准确率,提出了基于多特征融合和卷积神经网络的植物叶片图像识别方法.首先对植物叶片图像进行预处理,提取LBP特征和Gabor特征,将多特征相加融合输入网络进行训练,使用卷积神经网络(AlexNet)构架作为分类器,利用全连接层对植物叶片进行识别.为了避免过拟合现象,使用"dropout"方法训练卷积神经网络,通过调节学习率、dropout值、迭代次数优化模型.实验结果表明,基于多特征融合的卷积神经网络植物叶片识别方法对Flavia数据库32种叶片和MEW2014数据库189种叶片识别分类效果较好,平均正确识别率分别为93.25％和96.37％,相比一般的卷积神经网络识别方法,该方法可以提高植物叶片的识别准确率,鲁棒性更强.     

结合形变模型与图像修复的人脸姿态矫正

目的 人脸姿态偏转是影响人脸识别准确率的一个重要因素,本文利用3维人脸重建中常用的3维形变模型以及深度卷积神经网络,提出一种用于多姿态人脸识别的人脸姿态矫正算法,在一定程度上提高了大姿态下人脸识别的准确率。方法 对传统的3维形变模型拟合方法进行改进,利用人脸形状参数和表情参数对3维形变模型进行建模,针对面部不同区域的关键点赋予不同的权值,加权拟合3维形变模型,使得具有不同姿态和面部表情的人脸图像拟合效果更好。然后,对3维人脸模型进行姿态矫正并利用深度学习对人脸图像进行修复,修复不规则的人脸空洞区域,并使用最新的局部卷积技术同时在新的数据集上重新训练卷积神经网络,使得网络参数达到最优。结果 在LFW（labeled faces in the wild）人脸数据库和StirlingESRC（Economic Social Research Council）3维人脸数据库上,将本文算法与其他方法进行比较,实验结果表明,本文算法的人脸识别精度有一定程度的提高。在LFW数据库上,通过对具有任意姿态的人脸图像进行姿态矫正和修复后,本文方法达到了96.57%的人脸识别精确度。在StirlingESRC数据库上,本文方法在人脸姿态为±22°的情况下,人脸识别准确率分别提高5.195%和2.265%;在人脸姿态为±45°情况下,人脸识别准确率分别提高5.875%和11.095%;平均人脸识别率分别提高5.53%和7.13%。对比实验结果表明,本文提出的人脸姿态矫正算法有效提高了人脸识别的准确率。结论 本文提出的人脸姿态矫正算法,综合了3维形变模型和深度学习模型的优点,在各个人脸姿态角度下,均能使人脸识别准确率在一定程度上有所提高。     

深度卷积特征向量用于快速人脸图像检索

针对计算机视觉领域的人脸图像检索计算复杂和检索时长问题,提出一种基于深度卷积特征的快速人脸图像检索算法.首先使用人脸图像训练集对深度卷积神经网络模型进行人脸分类训练;然后采用三元组损失方法对已训练好的人脸分类网络模型进行微调,更新网络的参数,使得网络能够更加有效地提取不同人的人脸图像特征,构建高效的卷积特征向量进行人脸检索初步过滤;为了进一步提高系统的检索性能,提出一阶段查询扩展方法对待检索人脸图像的卷积特征向量进行均值融合加强,再次执行检索任务,得到最终的检索结果.在Celebrities Face Set和Labeled Faces in the Wild dataset这2个人脸检索数据集上进行实验的结果表明,该算法不仅能够显著地提高检索结果的准确率,而且简单可靠,能够快速地实现人脸检索任务.     

基于卷积神经网络的乳腺癌良恶性诊断

为了提高乳腺癌病理图像良恶性诊断的准确率,提出了一个基于卷积神经网络(CNN)对乳腺癌病理图像的诊断方法。利用这种方法,能够快速地对乳腺癌病理图像自动进行良恶性诊断。乳腺癌病理图像具有非常复杂的结构,利用VGG16架构的卷积神经网络对病理图像进行特征提取,利用数据增强的方法扩充数据集,使用迁移学习,将在ImageNet数据集上训练得到的权重作为该网络的初始化参数,该模型在乳腺癌数据集Breakhis上得到的准确率可以达到95%,而在经过解冻部分训练层、调整学习率等优化操作之后,分类准确率最高可以达到99%。实验结果表明,优化后的方法在乳腺癌良恶性诊断准确率方面有很大的提高。     

改进轻量级卷积神经网络的复杂场景口罩佩戴检测方法

针对复杂光照和人脸倾斜条件下口罩佩戴检测准确率低的问题,提出一种利用轻量级卷积神经网络在复杂环境下的口罩佩戴检测方法.该方法利用难样本挖掘预训练学习更多的人脸特征,结合多任务级联卷积神经网络先判别是否有人脸信息,对其进行精准的人脸定位;在特征金字塔网络中添加注意力机制,增强了人脸关键点信息的权重,利用轻量级神经网络将口罩佩戴检测视为简单的二分类问题进行判断.在TensorFlow的环境下完成了数据训练、数据预处理、与AIZOO方法对比实验,收集建立了包含816张图片的数据集进行标注并训练;在对数据进行预处理操作时先将图片设定为固定大小以降低运算量,提高检测速度,再利用图像增强算法进行扭曲处理提高模型的鲁棒性.在此基础上,利用MTCNN检测图片中的人脸并对其进行修正和归一化操作,然后传入神经网络并利用已经训练好的模型进行检测.实验结果表明,在复杂光照和人脸倾斜等复杂条件下,文中方法的准确率分别达到83％和91％,可以有效地进行口罩佩戴检测.     

一种卷积神经网络和极限学习机相结合的人脸识别方法

卷积神经网络是一种很好的特征提取器,但却不是最佳的分类器,而极限学习机能够很好地进行分类,却不能学习复杂的特征,根据这两者的优点和缺点,将它们结合起来,提出一种新的人脸识别方法。卷积神经网络提取人脸特征,极限学习机根据这些特征进行识别。本文还提出固定卷积神经网络的部分卷积核以减少训练参 数,从而提高识别精度的方法。在人脸库ORL和XM2VTS上进行测试的结果表明,本文的结合方法能有效提高人脸识别的识别率,而且固定部分卷积核的方式在训练样本少时具有优势。     

基于Fg-CarNet的车辆型号精细分类研究

车辆型号识别在智能交通系统、涉车刑侦案件侦破等方面具有十分重要的应用前景.针对车辆型号种类繁多、部分型号区分度小等带来的车辆型号精细分类困难的问题,采用车辆正脸图像为数据源,提出一种多分支多维度特征融合的卷积神经网络模型Fg-CarNet（Convolutional neural networks for car fine-grained classification,Fg-CarNet）.该模型根据车正脸图像特征分布特点,将其分为上下两部分并行进行特征提取,并对网络中间层产生的特征进行两个维度的融合,以提取有区分度的特征,提高特征表达能力,通过使用小卷积核以及全局均值池化,使在网络分类准确度提高的同时降低了网络模型参数大小.在CompCars数据集上进行验证,实验结果表明,Fg-CarNet提取的车辆特征在保证网络模型参数最小的同时,车辆型号识别率达到最高,实现了最好的分类效果.     

Understanding holistic human pose using class-specific convolutional neural network

This paper presents a method to capture human pose from individual real-world RGB images using a deep learning technique. The current works on estimating human pose by deep learning are designed in a detection or a regression framework, and in a part-based manner. As a new perspective, we introduce a classification scheme for this problem, which reasons the pose holistically. To the best of our knowledge, this is the first work for holistic human pose classification task that owes its feasibility to the great power of convolutional neural networks in feature learning. After training a convolutional neural network to classify the input image to one of the KeyPoses, the final pose is computed as a linear combination of several KeyPoses. In this new holistic classification attitude, the vast and high degree of freedom human pose space is divided into a finite number of subspaces and the convolutional neural network shows promising results in learning the features of each subspace. Empirical results (PCP and PCK rates) demonstrate that the proposed scheme is successfully able to understand human pose (i.e., predict a valid, true and coarse pose) in real-world unconstrained images with challenges like severe occlusion, high articulation, low quality and cluttered background. Furthermore, using the proposed method, the need for defining a complex model (such as appearance model or joints pairwise relations) is relieved. We have also verified a potential application of our proposed method in semantic image retrieval based on human pose.     

高分辨卫星图像卷积神经网络分类模型

目的 卫星图像往往目标、背景复杂而且带有噪声,因此使用人工选取的特征进行卫星图像的分类就变得十分困难。提出一种新的使用卷积神经网络进行卫星图像分类的方案。使用卷积神经网络可以提取卫星图像的高层特征,进而提高卫星图像分类的识别率。方法 首先,提出一个包含六类图像的新的卫星图像数据集来解决卷积神经网络的有标签训练样本不足的问题。其次,使用了一种直接训练卷积神经网络模型和3种预训练卷积神经网络模型来进行卫星图像分类。直接训练模型直接在文章提出的数据集上进行训练,预训练模型先在ILSVRC（the ImageNet large scale visual recognition challenge）-2012数据集上进行预训练,然后在提出的卫星图像数据集上进行微调训练。完成微调的模型用于卫星图像分类。结果 提出的微调预训练卷积神经网络深层模型具有最高的分类正确率。在提出的数据集上,深层卷积神经网络模型达到了99.50%的识别率。在数据集UC Merced Land Use上,深层卷积神经网络模型达到了96.44%的识别率。结论 本文提出的数据集具有一般性和代表性,使用的深层卷积神经网络模型具有很强的特征提取能力和分类能力,且是一种端到端的分类模型,不需要堆叠其他模型或分类器。在高分辨卫星图像的分类上,本文模型和对比模型相比取得了更有说服力的结果。     

深度卷积神经网络在计算机视觉中的应用研究综述

随着大数据时代的到来,含更多 隐含层的深度卷积神经网络(Convolutional neural networks, CNNs)具有更复杂的网络结构,与传统机器学习方法相比具有更强大的特征学习和特征表达能力。使用深度学习算法训练的卷积神经网络模型自提出以来在计算机视觉领域的多个大规模识别任务上取得了令人瞩目的 成绩。本文首先简要介绍深度学习和卷积神经网络的兴起与展,概述卷积神经网络的基本模型结构、卷积特征提取和池化操作。然后综述了基于深度学习的卷积神经网络模型在图像分类、物体检测、姿态估计、图像分割和人脸识别等多个计算机视觉应用领域中的研究现状 和发展趋势,主要从典型的网络结构的构建、训练方法和性能表现3个方面进行介绍。最后对目前研究中存在的一些问题进行简要的总结和讨论,并展望未来发展的新方向。     

Growing random forest on deep convolutional neural networks for scene categorization

Breakthrough performances have been achieved in computer vision by utilizing deep neural networks. In this paper we propose to use random forest to classify image representations obtained by concatenating multiple layers of learned features of deep convolutional neural networks for scene classification. Specifically, we first use deep convolutional neural networks pre-trained on the large-scale image database Places to extract features from scene images. Then, we concatenate multiple layers of features of the deep neural networks as image representations. After that, we use random forest as the classifier for scene classification. Moreover, to reduce feature redundancy in image representations we derived a novel feature selection method for selecting features that are suitable for random forest classification. Extensive experiments are conducted on two benchmark datasets, i.e. MIT-Indoor and UIUC-Sports. Obtained results demonstrated the effectiveness of the proposed method. The contributions of the paper are as follows. First, by extracting multiple layers of deep neural networks, we can explore more information of image contents for determining their categories. Second, we proposed a novel feature selection method that can be used to reduce redundancy in features obtained by deep neural networks for classification based on random forest. In particular, since deep learning methods can be used to augment expert systems by having the systems essentially training themselves, and the proposed framework is general, which can be easily extended to other intelligent systems that utilize deep learning methods, the proposed method provide a potential way for improving performances of other expert and intelligent systems.     

基于双池化特征加权结构CNN的图像分类

传统的池化方式会造成特征信息丢失,导致卷积神经网络中提取的特征信息不足。为了提高卷积神经网络在图像分类过程中的准确率,优化其学习性能,本文在传统池化方式的基础上提出一种双池化特征加权结构的池化算法,利用最大池化和平均池化2种方式保留更多的有价值的特征信息,并通过遗传算法对模型进行优化。通过训练不同池化方式的卷积神经网络,研究卷积神经网络在不同数据集上的分类准确率和收敛速度。实验在遥感图像数据集NWPU-RESISC45和彩色图像数据集Cifar-10上对采用几种池化方式的卷积神经网络分类结果进行对比验证,结果分析表明：双池化特征加权结构使得卷积神经网络的分类准确率有很大程度的提高,同时模型的收敛速度得到进一步提高。     

基于非鲁棒特征的图卷积神经网络对抗训练方法

图卷积神经网络可以通过图卷积提取图数据的有效信息,但容易受到对抗攻击的影响导致模型性能下降。对抗训练能够用于提升神经网络鲁棒性,但由于图的结构及节点特征通常是离散的,无法直接基于梯度构造对抗扰动,而在模型的嵌入空间中提取图数据的特征作为对抗训练的样本,能够降低构造复杂度。借鉴集成学习思想,提出一种基于非鲁棒特征的图卷积神经网络对抗训练方法VDERG,分别针对拓扑结构和节点属性两类特征,构建两个图卷积神经网络子模型,通过嵌入空间提取非鲁棒特征,并基于非鲁棒特征完成对抗训练,最后集成两个子模型输出的嵌入向量作为模型节点表示。实验结果表明,提出的对抗训练方法在干净数据上的准确率平均提升了0.8%,在对抗攻击下最多提升了6.91%的准确率。     

深层融合对称子空间学习稀疏特征提取模型*

提出深层融合对称子空间学习稀疏特征提取模型.在深度子空间基础上,引入对称性、稀疏性约束,通过构建深层映射网络,完成深层特征提取.首先根据最小化重构误差准则构建基本子空间模型,并在构建过程中加入对称性、稀疏性约束.然后对基本子空间模型进行深度化改造,得到深层对称稀疏子空间模型.最后将各个层特征进行融合编码,得到深层特征提取结果.在人脸数据库及目标数据库上的实验表明,文中算法可以取得较高识别率及较好光照、表情、人脸朝向的鲁棒性.相比卷积神经网络等深度学习框架,文中算法具有结构简洁、收敛速度快等优点.