卷积神经网络中SPReLU激活函数的优化研究

由于激活函数本身的特性,使得卷积神经网络出现了梯度消失、神经元死亡、均值偏移、稀疏表达能力差等问题,针对这些问题,将S型激活函数和ReLU系激活函数进行了对比,分别讨论其优点和不足,并结合ReLU、PReLU和Soft-plus三种激活函数优点,提出了一种新型激活函数SPReLU.实验结果表明,SPReLU函数在性...     

基于卷积神经网络人脸识别实现策略

将卷积神经网络应用到人脸识别的领域当中,能够有效提升识别工作落实的准确程度,最终与大数据和云计算等技术相互配合,就能够构建成为一个比较完整的人脸检测和识别系统,目前我国常见的此类系统,识别工作落实的准确率已经能够达到>97%的程度。本文先分析了卷积神经网络的工作原理以及特点,又在此基础上设计和规划了实际的人脸识别实现策略,希望能够为相关工作的落实提供合理参考。     

多任务学习及卷积神经网络在人脸识别中的应用

随着深度学习的发展,近年来人脸识别借助深度学习技术取得了巨大突破。但是在已有的基于深度学习的人脸识别框架中,各个任务（人脸鉴别、认证和属性分类等）都是相互独立设计、运作的,使得整体算法低效、耗时。针对这些问题,提出一种基于多任务框架的深度卷积网络。通过将人脸鉴别、认证和属性分类同时作为网络目标函数,端到端地训练整个深度卷积网络,算法简洁高效。此网络可以同时完成上述三个任务,不需要额外的步骤。实验结果显示,即使在有限的数据支持下,该方法依然能够取得不错的性能,在人脸识别权威数据集LFW上获得了97.3%的精度。     

基于Tensorflow对卷积神经网络的优化研究

针对卷积神经网络在性耗比上的不足,提出了异构式CPU+GPU的协同计算模型,在模型计算过程中使CPU负责逻辑性强的事物处理和串行计算,使GPU执行高度线程化的并行处理任务。通过实验测试与单GPU训练、单CPU训练进行对比,结果表明异构式CPU+GPU计算模型在性耗比上更加优异。针对在卷积神经网络中Swish激活函数在反向传播求导误差梯度时涉及参数较多所导致的计算量较大,收敛速度慢,以及ReLU激活函数在[x]负区间内导数为零所导致的负梯度被置为零且神经元可能无法被激活的问题,提出了新的激活函数ReLU-Swish。通过测试训练对比并分析结果,将Swish激活函数小于零与ReLU激活函数大于零的部分组成分段函数,并且通过CIFAR-10和MNIST两个数据集进行测试对比实验。实验结果表明,ReLU-Swish激活函数在收敛速度以及模型测试训练的准确率上对比Swish激活函数及ReLU激活函数有较明显的提高。     

基于深度卷积神经网络的人脸识别

目前人脸识别技术被广泛应用于实际生活各个领域,尤其是在实时视频场景下应用越来越普及,因此对人脸识别的研究具有重大价值。通过应用Keras框架和深度学习相关知识构建深度卷积神经网络,训练出有效的人脸识别模型,并应用到实时视频场景进行人脸检测和识别,最后通过实验表明此方法能够有较高的正确率,并能准确识别视频中的人脸。     

新型LeNet-FC卷积神经网络模型算法的研究

针对已有的卷积神经网络（Convolutional Neural Network，CNN）在人脸识别训练中出现过拟合、收敛速度慢以及识别准确率不高的问题，提出了新型的LeNet-FC卷积神经网络模型。通过增加网络层、缩小卷积核等结构改进以及采用优化的对数-修正线性单元（Logarithmic Rectified Linear Unit，L_ReLU）激活函数，该模型在人脸识别训练的准确率达到了99.85%。同时基于LeNet-FC卷积神经网络模型设计了一个人脸识别系统。该系统在ORL人脸库的仿真测试实验中识别准确率达到了96%。     

一种基于卷积神经网络的人脸识别方法

近年来,随着深度学习的发展,卷积神经网络已经广泛运用到图像识别领域,它不仅提高了识别的准确率,同时自特征提取方面的效果也优于许多传统的算法。提出一种基于卷积神经网络的人脸识别算法。该方法主要涉及两方面,一是使用卷积神经网络对训练集进行特征提取;二是将提取的特征图片输入改进的神经网络进行训练及识别。通过MATLAB进行了仿真实验,对比结果表明卷积神经网络有很好的特征提取性能及良好识别效果,比现有的算法有很大的优势。     

基于Dropout的改进卷积神经网络模型平均方法

针对深度卷积神经网络（CNN）中的过拟合问题，提出一种基于Dropout改进CNN的模型预测平均方法。首先，训练阶段在池化层引入Dropout，使得池化层单元值具有稀疏性；然后，在测试阶段将训练时池化层Dropout选择单元值的概率与池化区域各单元值所占概率相乘作为双重概率；最后，将提出的双重概率加权的模型平均方法应用于测试阶段，使得训练阶段池化层Dropout的稀疏效果能够更好地反映到测试阶段池化层上，从而使测试错误率达到与训练的较低错误率相近的结果。在给定大小的网络中所提方法在MNIST和CIFAR-10数据集上的测试错误率分别为0.31%和11.23%。实验结果表明：仅考虑池化层对结果的影响，所提方法与Prob.weighted pooling和Stochastic Pooling方法相比具有更低的错误率，表明池化层Dropout使得模型更具泛化性，并且池化单元值对于模型泛化具有一定帮助，能够更有效避免过拟合。     

基于Prewitt算子的卷积神经网络人脸识别方法

为了提高人脸识别算法的识别性能,提出了基于Prewitt算子的卷积神经网络人脸识别方法。首先通过直方图均衡化和Prewitt算子对人脸图像进行预处理;然后将其输入卷积神经网络进行训练,并采用指数衰减法来设置学习率加快收敛速度,使用L2正则化和Dropout来防止过拟合。该方法在ORL人脸数据库上的识别时间为0.2 s,识别率达到了98.1%。实验结果表明,利用Prewitt算子和改进的卷积神经网络能缩短识别时间,并且能提高识别率,具有一定优越性。     

卷积网络结构优化的人脸识别算法

针对CNN网络层数较少、识别精确度不高的问题,基于CNN提出新的算法CP-CNN,CP-CNN对原有网络层结构进行改进,将Sigmoid激活改为ReLU激活,再增加一层卷积层,把单元重复四遍后再加全连接层。最终在人工数据集上实验比较得出,改进后的CP-CNN比原CNN、DNN、RNN的准确率高出约15%～30%。     

基于卷积神经网络结合SVM的人脸识别研究

提出了卷积神经网络与支持向量机结合的方法运用于遮挡人脸识别。通过卷积神经网络的卷积、下采样和Softmax的特征提取处理,由支持向量机完成后续的训练和识别。利用AR人脸库进行实验,并和传统的人脸识别方法进行比较分析,实验结果表明本文的方法有更高的识别率。     

基于改进卷积神经网络与集成学习的人脸识别算法

针对复杂卷积神经网络(CNN)在中小型人脸数据库中的识别结果容易出现过拟合现象,提出一种基于改进CNN网络与集成学习的人脸识别算法。改进CNN网络结合平面网络和残差网络的特点,采用平均池化层代替全连接层,使得网络结构简单且可移植性强。在改进CNN网络的基础上,利用基于投票法的集成学习策略将所有个体学习器结果凸组合为最终结果,实现更准确的人脸识别。实验结果表明,该算法在Color FERET、AR和ORL人脸数据库上的识别准确率分别达到98.89%、99.67%和100%,并且具有较快的收敛速度。     

残差密集块的卷积神经网络图像去噪

针对加性高斯白噪声的图像信噪比低, 图像细节丢失问题, 结合现有卷积神经网络算法, 提出了一种基于残差密集块的卷积神经网络图像去噪模型. 该模型通过引入多级残差网络和密集连接, 并对整体网络使用Leaky ReLU激活函数, 去除不同等级强度噪声的同时, 更好保留图像的有效信息, 有效避免特征丢失. 本文提出算法和深度卷积神经网络残差学习(DnCNN)模型对比, 本文提出的模型在Set12和BSD68测试集上峰值信噪比平均提升了约0.12 dB, 结构相似性平均提升了约0.008 6, 通过观察实验效果, 表明该模型能够充分提取图像特征, 保留图像细节, 同时降低网络计算的复杂度.     

基于多Inception结构的卷积神经网络人脸识别算法

人脸识别是视觉识别的一个重要领域,由于人脸识别尺度变化范围大,光照、姿态变化剧烈以及遮挡问题,导致该类非限制条件下的识别难度较大,为了解决该类问题,本文提出了一种基于Tensorflow平台的多Inception模型,通过将多个Inception结构进行串联,再通过分解卷积核的方式减少输入参数,实现了多维度同时卷积再聚合,提高了人脸识别的精度.实验结果表明,该方法在较少参数的条件下能提取出更具区分度的人脸特征,与分类损失方法及融合了其他度量学习方式的方法相比,提高了识别准确率,减少了计算时间.     

基于残差量化卷积神经网络的人脸识别方法

针对大规模人脸识别问题,基于残差学习的超深卷积神经网络模型能取得比其他方法更高的识别精度,然而模型中存在的海量浮点参数需要占用大量的计算和存储资源,无法满足资源受限的场合需求.针对这一问题,本文设计了一种基于网络参数量化的超深残差网络模型.具体在Face-ResNet模型的基础上,增加了批归一化层和dropout层,加深了网络层次,对网络模型参数进行了二值量化,在模型识别精度损失极小的情况下,大幅压缩了模型大小并提升了计算效率.通过理论分析与实验验证了本文设计方法的有效性.     

Emfacenet:一种轻量级人脸识别的卷积神经网络

随着计算机技术日益发展,计算机视觉逐渐融入人们的生活,深度卷积神经网络在计算机视觉领域得到了广泛的应用.然而计算资源和内存的限制,为卷积神经网络在嵌入式设备的部署带来了巨大的困难.本文提出了一种新的轻量级的人脸识别的卷积神经网络——Emfacenet,通过在CASIA-WebFace数据集上进行卷积神经网络的训练,并在计算机CPU平台以及嵌入式平台上利用LFW数据集对模型的预测效果分别进行测试,Emfacenet在CPU平台下识别速度分别是Resnet50、Mobilenetv3以及Mobilefacenets这3种模型的2.07倍、1.67倍、1.63倍,在嵌入式平台下识别速度分别56.65倍、2.09倍、3.41倍.而且Emfacenet卷积神经网络模型大小仅为138.1KB,保持较高精度的同时运行效率显著提高,可以适用于嵌入式等硬件资源受限领域来实现人脸识别.     

基于余弦距离损失与卷积神经网络的人脸识别

由于最近卷积神经网络在计算机视觉任务中的发展,深度人脸识别方法的性能得到了显著提高。现有的深度人脸模型将人脸识别任务视为一个分类任务或度量学习任务,旨在学习到具有区分度的人脸特征,但是很少能达到类内距离小、类间距离大的特点。损失函数作为监督信号,在卷积神经网络学习人脸特征时起到重要的作用。提出基于余弦距离的Softmax损失函数(Cosine Softmax Loss,CSL),让人脸特征区分度更高。使用相同的网络模型和训练数据集,在LFW和YTF等数据集上的实验结果验证了所提方法的优越性。