基于残差网络迁移学习的花卉识别系统

传统的花卉识别算法一般是建立在手动特征提取和分类器训练的基础上，其泛化能力有限且准确度存在瓶颈。为此提出了基于深度卷积网络的识别算法，采用152层残差网络架构，在爬虫获取的大量标定数据基础上，对神经网络进行迁移学习训练。上线发布的算法集成系统中，用户拍照获取的花卉照片可通过网络传输到云服务器，并在服务端部署的深度学习架构下实现花卉快速识别。针对ImageNet和网龙花卉数据集的实验对比结果表明，基于残差网络迁移学习的方法具有识别准确率高、实时反馈、鲁棒性好等特点。     

基于Inception深度残差网络的皮肤黑色素癌图像分类算法

由于皮肤黑色素癌图像存在类内差异大、样本数据集小等特点, 采用深度残差网络可以有效解决训练过程中过拟合问题, 提高识别准确率. 但是深度残差网络模型的训练参数多, 时间复杂度高. 为了提高训练效率, 提高识别准确率, 首先从理论上分析了深度残差网络模型的结构, 通过修改网络结构, 利用Inception结构代替残差网络中的卷积层、池化层, 减少模型的训练参数数量, 降低时间复杂度. 在此基础上, 提出了基于Inception深度残差网络皮肤黑色素癌分类识别算法(Inception Deep Residual Network, IDRN), 用Inception结构代替残差网络中的卷积池化层, 用SeLU激活函数代替传统的ReLU函数. 之后, 在公开的黑色素癌皮肤镜图像ISIC2017数据集上进行实验验证. 理论和实验表明, 与传统的卷积神经网络ResNet50相比, 本文提出的新的分类算法降低了时间复杂度, 提高了识别准确率.     

基于自发表情数据集预训练的多任务深度网络表情识别方法

为了更好地将现有深度卷积神经网络应用于表情识别,提出将构建自然表情图像集预训练和多任务深度学习相结合的方法。首先,利用社交网络图像构建一个自发面部表情数据集,对现有深度卷积神经网络进行预训练;然后,以双层树分类器替换输出层的平面softmax分类器,构建深度多任务人脸表情识别模型。实验结果表明,本文提出的方法有效提高了人脸表情识别准确率。     

基于遮挡感知卷积神经网络的面部表情识别模型

针对面部遮挡情况下表情特征难以提取的问题,提出一种双通道遮挡感知神经网络模型。设计区域遮挡判定单元并集成到VGG16网络中形成遮挡感知神经网络,提取面部图像中未遮挡区域及遮挡较少区域的表情特征。运用迁移学习算法对卷积层参数进行预训练,减轻训练数据样本不足带来的过拟合问题。通过优化残差网络提取全脸表情相关特征,在此基础上加权融合遮挡感知神经网络和残差网络的输出以识别表情。在CK+、RAF-DB、SFEW这3个公开数据库上进行对比实验,结果表明,该模型平均准确率分别达到97.33%、86%、61.06%,与OPCNN、ResNet、VGG16等传统卷积神经网络模型相比,有效提高了面部遮挡情况下的表情识别精度。     

基于残差的改进卷积神经网络图像分类算法

现有深度残差网络作为一种卷积神经网络的变种,由于其良好的表现,被应用于各个领域,深度残差网络虽然通过增加神经网络深度获得了较高的准确率,但是在相同深度情况下,仍然有其他方式提升其准确率.本文针对深度残差网络使用了三种优化方法：（1）通过卷积网络进行映射实现维度填充;（2）构建基于SELU激活函数的残差模块（3）学习率随迭代次数进行衰减.在数据集Fashion-MNIST上测试改进后的网络,实验结果表明：所提出的网络模型在准确率上优于传统的深度残差网络.     

基于深度卷积自编码神经网络的手写数字识别研究

针对提高不同笔体下的手写识别准确率进行了研究,将深度卷积神经网络与自动编码器相结合,设计卷积自编码器网络层数,形成深度卷积自编码神经网络。首先采用双线性插值方法分别对MNIST数据集与一万幅自制中国大学生手写数字图片进行图像预处理,然后先使用单一MNIST数据集对深度卷积自编码神经网络进行训练与测试;最后使用MNIST与自制数据集中5 000幅混合,再次训练该网络,对另外5 000幅进行测试。实验数据表明,所提深度卷积自编码神经网络在MNIST测试集正确率达到99.37%,有效提高了准确率;且5 000幅自制数据集模型测试正确率达99.33%,表明该算法实用性较强,在不同笔体数字上得到了较高的识别准确率,模型准确有效。     

基于改进的ResNet网络的人脸表情识别

近几年来,人工智能的热度一直居高不下,其中作为人机交互的一种重要方法-人脸表情识别已经成为计算机视觉研究的热点。从传统的机器学习算法到现在的深度学习,识别效率也在不断地提高,为了进一步提高人脸表情识别率,在传统的卷积神经网络的基础上,提出了一种基于改进的ResNet卷积神经网络的表情识别方法。该方法基于ResNet网络的基本结构,采用的中间卷积部分是前后各一个卷积核为1*1的卷积层,中间是卷积核大小为3*3的卷积层,同时将下采样移到后面的3*3卷积层里面去做,减少信息的流失,并用PReLU替代ReLU激活函数。与ResNet模型相比,改进的网络结构可以减少计算量,提高识别速度和识别率。利用Tensorflow构建经过改进的ResNet卷积神经网络框架,并在增强的Fer2013数据集上进行了训练,得到了准确且高效的人脸表情识别模型,最后再结合OpenCV中的人脸检测分类器,从视频中抓取人脸进行识别,实现了实时识别人脸表情效果的输出。实验结果表明,改进的ResNet卷积神经网络模型较其他的人脸表情识别方法在识别率上有了一定的提高。     

改进残差网络在玉米叶片病害图像的分类研究

针对传统的玉米叶片病害图像识别方法正确率不高、速度慢等问题,提出一种基于改进深度残差网络模型的玉米叶片图像识别算法。提出的改进策略有：将传统的ResNet-50模型第一层卷积层中7×7卷积核替换为3个3×3的卷积核;使用LeakyReLU激活函数替代ReLU激活函数;改变残差块中批标准化层、激活函数与卷积层的排列顺序。进行数据预处理,将训练集与测试集的比例划分为4∶1,采用数据增强的方式对训练集进行扩充,将改进的ResNet-50模型经过迁移学习得到在ImageNet上预训练好的权重参数。实验结果表明,改进的网络在玉米叶片病害图像分类中得到了98.3%的正确率,与其他网络模型相比准确率大幅提升,鲁棒性进一步增强,可为玉米叶片病害的识别提供参考。     

全卷积多并联残差神经网络

随着人工智能的火热发展,深度学习已经在很多领域占有了一席之地.作为深度学习中一个典型网络--残差神经网络模型自提出之日起就成为了众多研究者的关注点.然而,残差神经网络还有很大的改进空间.为了更好地解决反向传播中梯度减小的问题,本文提出了一种改进的残差神经网络,称为全卷积多并联残差神经网络.在该网络中,每一层的特征信息不仅传输到下一层还输出到最后的平均池化层.为了测试该网络的性能,分别在三个数据集(MNIST,CIFAR-10和CIFAR-100)上对比图像分类的结果.实验结果表明,改进后的全卷积多并联残差神经网络与残差网络相比具有更高的分类准确率和更好的泛化能力.     

面向表情识别的重影非对称残差注意力网络模型

针对ResNet50中的Bottleneck经过1×1卷积降维后主干分支丢失部分特征信息而导致在表情识别中准确率不高的问题,本文通过引入Ghost模块和深度可分离卷积分别替换Bottleneck中的1×1卷积和3×3卷积,保留更多原始特征信息,提升主干分支的特征提取能力;利用Mish激活函数替换Bottleneck中的ReLU激活函数,提高了表情识别的准确率;在此基础上,通过在改进的Bottleneck之间添加非对称残差注意力模块(asymmetric residual attention block, ARABlock)来提升模型对重要信息的表示能力,从而提出一种面向表情识别的重影非对称残差注意力网络（ghost asymmetric residual attention network, GARAN）模型。对比实验结果表明,本文方法在FER2013和CK+表情数据集上具有较高的识别准确率。     

一种改进的深度残差网络行人检测方法

为了提高行人检测方法的准确率,针对行人图像特征,提出一种基于深度残差网络和YOLO(You Only Look Once)方法的行人检测方法。以加强行人特征表达为目的,通过分析行人在图像中的表达和分布特征,提出一种不影响实时性的矩形输入深度残差网络分类模型以改进YOLO检测方法,使模型能够更好的表征行人;为了进一步提高模型的准确率和泛化能力,采用了混合行人数据集训练的方式,提取VOC数据集的行人数据与INRIA数据集组成混合数据集进行训练,明显降低了漏检率;并且利用聚类分析预测框的方法重新设计了初始预测框,提高行人定位能力并加快收敛。经公开的INRIA数据集的测试实验证明,本方法较主流的行人检测方法每张图片误检率有明显改善,降低至13.86%,有1.51%至58.62%不同程度的提升,并且本方法拥有良好的实时性和泛化能力,实用性强。     

结合GAN的轻量级模糊车牌识别算法

目的 模糊车牌识别是车牌识别领域的难题,针对模糊车牌图像收集困难、车牌识别算法模型太大、不适用于移动或嵌入式设备等不足,本文提出了一种轻量级的模糊车牌识别方法,使用深度卷积生成对抗网络生成模糊车牌图像,用于解决现实场景中模糊车牌难以收集的问题,在提升算法识别准确性的同时提升了部署泛化能力。方法 该算法主要包含两部分,即基于优化卷积生成对抗网络的模糊车牌图像生成和基于深度可分离卷积网络与双向长短时记忆（long short-term memory,LSTM）的轻量级车牌识别。首先,使用Wasserstein距离优化卷积生成对抗网络的损失函数,提高生成车牌图像的多样性和稳定性;其次,在卷积循环神经网络的基础上,结合深度可分离卷积设计了一个轻量级的车牌识别模型,深度可分离卷积网络在减少识别算法计算量的同时,能对训练样本进行有效的特征学习,将特征图转换为特征序列后输入到双向LSTM网络中,进行序列学习与标注。结果 实验表明,增加生成对抗网络生成的车牌图像,能有效提高本文算法、传统车牌识别和基于深度学习的车牌识别方法的识别率,为进一步提高各类算法的识别率提供了一种可行方案。结合深度可分离卷积的轻量级车牌识别模型,识别率与基于标准循环卷积神经网络（convolutional recurrent neural network,CRNN）的车牌识别方法经本文生成图像提高后的识别率相当,但在模型的大小和识别速度上都优于标准的CRNN模型,本文算法的模型大小为45 MB,识别速度为12.5帧/s,标准CRNN模型大小是82 MB,识别速度只有7帧/s。结论 使用生成对抗网络生成图像,可有效解决模糊车牌图像样本不足的问题;结合深度可分离卷积的轻量级车牌识别模型,具有良好的识别准确性和较好的部署泛化能力。     

深度学习在分组密码差分区分器上的研究应用

差分分析在分组密码分析领域是一种重要的研究方法,针对分组密码的差分分析的重点在于找到一个轮数或者概率更大的差分区分器.首先描述了通过深度学习技术构造差分区分器时所需要的数据集的构造方法,并且分别基于卷积神经网络(convolutional neural networks, CNN)和残差神经网络(residual neural network, ResNet)训练了两种轻量级分组密码算法SIMON32与SPECK32的差分区分器,并对两种模型得到的差分区分器进行了比较,发现综合考虑时间花销与精度的前提下,在SIMON32的差分区分器构造上, ResNet训练得到的模型表现更好,而CNN则在SPECK32的模型训练上表现的更好;其次,研究了网络模型中卷积运算个数对模型精度的影响,发现在原有模型基础上增加CNN模型的卷积层数和ResNet模型的残差块数,都会导致模型精度的下降.最后,给出在进行基于深度学习的差分区分器构造时的模型及参数选择建议,即,应该首要考虑低卷积层数的CNN模型和低残差块数的ResNet模型.     

基于轻量型卷积神经网络的交通标志识别方法

交通标志识别设备的功耗和硬件性能较低,而现有卷积神经网络模型内存占用高、训练速度慢、计算开销大,无法应用于识别设备.针对此问题,为降低模型存储,提升训练速度,引入深度可分离卷积和混洗分组卷积并与极限学习机相结合,提出两种轻量型卷积神经网络模型:DSC-ELM模型和SGC-ELM模型.模型使用轻量化卷积神经网络提取特征后,将特征送入极限学习机进行分类,解决了卷积神经网络全连接层参数训练慢的问题.新模型结合了轻量型卷积神经网络模型内存占用低、提取特征质量好以及ELM的泛化性好、训练速度快的优点.实验结果表明.与其他模型相比,该混合模型能够更加快速准确地完成交通标志识别任务.     

采用分数阶动量的卷积神经网络随机梯度下降法

针对随机梯度下降法可能会收敛到局部最优的问题,文中提出采用分数阶动量的随机梯度下降法,提高卷积神经网络的识别精度和学习收敛速度.结合基于动量的随机梯度下降法和分数阶差分运算,改进参数更新方法,讨论分数阶阶次对网络参数训练效果的影响,给出阶次调整方法.在MNIST、CIFAR-10数据集上的实验表明,文中方法可以提高卷积神经网络的识别精度和学习收敛速度.     

高光谱图像小样本分类的卷积神经网络方法

目的 与传统分类方法相比,基于深度学习的高光谱图像分类方法能够提取出高光谱图像更深层次的特征。针对现有深度学习的分类方法网络结构简单、特征提取不够充分的问题,提出一种堆叠像元空间变换信息的数据扩充方法,用于解决训练样本不足的问题,并提出一种基于不同尺度的双通道3维卷积神经网络的高光谱图像分类模型,来提取高光谱图像的本质空谱特征。方法 通过对高光谱图像的每一像元及其邻域像元进行旋转、行列变换等操作,丰富中心像元的潜在空间信息,达到数据集扩充的作用。将扩充之后的像素块输入到不同尺度的双通道3维卷积神经网络学习训练集的深层特征,实现更高精度的分类。结果 5次重复实验后取平均的结果表明,在随机选取了10%训练样本并通过8倍数据扩充的情况下,Indian Pines数据集实现了98.34%的总体分类精度,Pavia University数据集总体分类精度达到99.63%,同时对比了不同算法的运行时间,在保证分类精度的前提下,本文算法的运行时间短于对比算法,保证了分类模型的稳定性、高效性。结论 本文提出的基于双通道卷积神经网络的高光谱图像分类模型,既解决了训练样本不足的问题,又综合了高光谱图像的光谱特征和空间特征,提高了高光谱图像的分类精度。     

基于小样本学习的SAR图像识别

深度学习已成为图像识别领域的一个研究热点。与传统图像识别方法不同,深度学习从大量数据中自动学习特征,并且具有强大的自学习能力和高效的特征表达能力。但在小样本条件下,传统的深度学习方法如卷积神经网络难以学习到有效的特征,造成图像识别的准确率较低。因此,提出一种新的小样本条件下的图像识别算法用于解决SAR图像的分类识别。该算法以卷积神经网络为基础,结合自编码器,形成深度卷积自编码网络结构。首先对图像进行预处理,使用2D Gabor滤波增强图像,在此基础上对模型进行训练,最后构建图像分类模型。该算法设计的网络结构能自动学习并提取小样本图像中的有效特征,进而提高识别准确率。在MSTAR数据集的10类目标分类中,选择训练集数据中10%的样本作为新的训练数据,其余数据为验证数据,并且,测试数据在卷积神经网络中的识别准确率为76.38%,而在提出的卷积自编码结构中的识别准确率达到了88.09%。实验结果表明,提出的算法在小样本图像识别中比卷积神经网络模型更加有效。     

非受限条件下的深度人脸年龄分类

针对非受限条件下人脸图像年龄分类准确度较低的问题,提出了一种基于深度残差网络（ResNets）和大数据集微调的非受限条件下人脸年龄分类方法。首先,选用深度残差网络作为基础卷积神经网络模型处理人脸年龄分类问题;其次,在ImageNet数据集上对深度残差网络预训练,学习基本图像特征的表达;然后,对大规模人脸年龄图像数据集IMDB-WIKI清洗,并建立了IMDB-WIKI-8数据集用于微调深度残差网络,实现一般物体图像到人脸年龄图像的迁移学习,使模型适应于年龄段的分布并提高网络学习能力;最后,在非受限人脸数据集Adience上对微调后的网络模型进行训练和测试,并采用交叉验证方法获取年龄分类准确度。通过34/50/101/152层残差网络对比可知,随着网络层数越深年龄分类准确度越高,并利用152层残差网络获得了Adience数据集上人脸图像年龄分类的最高准确度65.01%。实验结果表明,结合更深层残差网络和大数据集微调,能有效提高人脸图像年龄分类准确度。     

基于深度可分卷积神经网络的实时人脸表情和性别分类

针对目前普通卷积神经网络（CNN）在表情和性别识别任务中出现的训练过程复杂、耗时过长、实时性差等问题,提出一种深度可分卷积神经网络的实时人脸表情和性别识别模型。首先,利用多任务级联卷积网络（MTCNN）对不同尺度输入图像进行人脸检测,并利用核相关滤波（KCF）对检测到的人脸位置进行跟踪进而提高检测速度。然后,设置不同尺度卷积核的瓶颈层,用通道合并的特征融合方式形成核卷积单元,以具有残差块和可分卷积单元的深度可分卷积神经网络提取多样化特征,并减少参数数量,轻量化模型结构;使用实时启用的反向传播可视化来揭示权重动态的变化并评估了学习的特征。最后,将表情识别和性别识别两个网络并联融合,实现表情和性别的实时识别。实验结果表明,所提出的网络模型在FER-2013数据集上取得73.8%的识别率,在CK+数据集上的识别率达到96%,在IMDB数据集中性别分类的准确率达到96%;模型的整体处理帧率达到80 frame/s,与结合支持向量机的全连接卷积神经网络方法所得结果相比,有着1.5倍的提升。因此针对数量、分辨率、大小等差异较大的数据集,该网络模型检测快,训练时间短,特征提取简单,具有较高的识别率和实时性。