不同池化模型的卷积神经网络学习性能研究

目的 基于卷积神经网络的深度学习算法在图像处理领域正引起广泛关注。为了进一步提高卷积神经网络特征提取的准确度,加快参数收敛速度,优化网络学习性能,通过对比不同的池化模型对学习性能的影响提出一种动态自适应的改进池化算法。方法 构建卷积神经网络模型,使用不同的池化模型对网络进行训练,并检验在不同迭代次数下的学习结果。在现有算法准确率不高和收敛速度较慢的情况下,通过使用不同的池化模型对网络进行训练,从而构建一种新的动态自适应池化模型,并研究在不同迭代次数下其对识别准确率和收敛速度的影响。结果 通过对比实验发现,使用动态自适应池化算法的卷积神经网络学习性能最优,在手写数字集上的收敛速度最高可以提升18.55%,而模型对图像的误识率最多可以降低20%。结论 动态自适应池化算法不但使卷积神经网络对特征的提取更加精确,而且很大程度地提高了收敛速度和模型准确率,从而达到优化网络学习性能的目的。这种模型可以进一步拓展到其他与卷积神经网络相关的深度学习算法。     

基于双线性CNN与DenseBlock的导光板标记线缺陷检测

导光板标记线检测是导光板制造品控中的一个重要步骤, 但在使用传统图像算法进行检测的过程中, 有大量的气泡、严重污染和无标记线的情况存在. 因有大量气泡, 严重污染和无标记线的情况造成人工特征难以设计, 因此, 使用基于卷积网络的方法来代替人工特征设计进行缺陷检测. DenseNet 卷积神经网络较其他分类神经网络具有参数较少, 梯度收敛稳定等特点. 因DenseNet 卷积神经网络中使用特征融合的思想, 保证了图片分类准确率. 通过迁移学习的方法, 将训练得到的DenseNet 网络权重迁移到Bilinear-CNN算法进行训练, 提升卷积神经网络局部注意力, 提高图像分类准确率. 通过实现结果表明, 所提方法具有可行性, 相比于V2-ResNet-101网络结构, 准确率提升至95.53%, 参数减少了97.2%, 平均单张图像检测时间减少25%.     

基于迁移学习与改进型AlexNet的蝴蝶分类算法

蝴蝶分类是保护蝴蝶物种多样性、观测大气变化的首要工作。为了提高蝴蝶种类识别的准确率，改善复杂网络算法运行时间长的缺陷，提出了一种基于迁移学习与改进型AlexNet的蝴蝶分类算法。该算法将AlexNet作为预训练模型，使其成为新模型的特征提取器，并在AlexNet算法的基础上，通过调整卷积核数量、替换归一化LRN(local response normalization)层、减少全连接层个数、增加均值下采样层等，进行改进与优化。实验结果表明，改进算法对蝴蝶种类识别的准确率高于原AlexNet算法，并具有更优的识别效率，提升了整体模型的性能。     

基于双池化特征加权结构CNN的图像分类

传统的池化方式会造成特征信息丢失,导致卷积神经网络中提取的特征信息不足。为了提高卷积神经网络在图像分类过程中的准确率,优化其学习性能,本文在传统池化方式的基础上提出一种双池化特征加权结构的池化算法,利用最大池化和平均池化2种方式保留更多的有价值的特征信息,并通过遗传算法对模型进行优化。通过训练不同池化方式的卷积神经网络,研究卷积神经网络在不同数据集上的分类准确率和收敛速度。实验在遥感图像数据集NWPU-RESISC45和彩色图像数据集Cifar-10上对采用几种池化方式的卷积神经网络分类结果进行对比验证,结果分析表明：双池化特征加权结构使得卷积神经网络的分类准确率有很大程度的提高,同时模型的收敛速度得到进一步提高。     

基于改进CNN-LSTM的网络入侵检测模型研究

针对网络入侵检测模型特征提取算法复杂、训练参数过多、检测结果不理想等问题,提出一种改进卷积神经网络与长短期记忆网络结合的网络入侵检测方法(GCNN-LSTM)。首先,使用卷积神经网络对流量数据做特征选择,并选择全局池化层代替其中的全连接层;其次,结合长短期记忆网络强大的时间序列学习能力对改进卷积神经网络选择后的特征进行学习分类,以期在网络异常数据检测方面获得更好的效率和准确率。实验结果表明,提出的模型在UNSW-NB15数据集上有着较好的检测效果。在同等条件下,使用传统卷积神经网络的模型准确率为84.97%,训练时间为76.3 s;本模型准确率达到了88.96%,训练时间为61.1 s。     

基于残差的优化卷积神经网络服装分类算法

针对目前服装分类算法在解决多类别服装分类问题时分类精度一般的问题,提出了一种基于残差的优化卷积神经网络服装分类算法,在网络中使用了如下三种优化方法:(1)调整批量归一化层、激活函数层与卷积层在网络中的排列顺序;(2)"池化层+卷积层"的并行池化结构;(3)使用全局均值池化层替换全连接层。经过由香港中文大学多媒体实验室提供的多类别大型服装数据集(DeepFashion)和标准数据集CIFAR-10上的实验表明,所提出的网络模型在处理图片的速度和分类精度方面都优于VGGNet和AlexNet,且得到了目前为止已知的在DeepFashion数据集上最好的分类准确率。该网络也可以更好地应用于目标检测和图像分割领域。     

分段卷积神经网络在文本情感分析中的应用

文本情感分析是当前网络舆情分析、产品评价、数据挖掘等领域的重要任务。由于当前网络数据的急剧增长,依靠人工设计特征或者传统的自然语言处理语法分析工具等进行分析,不但准确率不高而且费时费力。而传统的卷积神经网络模型均未考虑句子的结构信息,并且在训练时很容易发生过拟合。针对这两方面的不足,使用基于深度学习的卷积神经网络模型分析文本的情感倾向,采用分段池化的策略将句子结构考虑进来,分段提取句子不同结构的主要特征;并且引入Dropout算法以避免模型的过拟合和提升泛化能力。实验结果表明,分段池化策略和Dropout算法均有助于提升模型的性能,所提方法在中文酒店评价数据集上达到了91%的分类准确率,在斯坦福英文情感树库数据集五分类任务上达到了45.9%的准确率,较基线模型都有显著的提升。     

基于深度卷积神经网络的车型识别

传统的基于卷积神经网络的车型识别算法存在识别相似车型的准确率不高,以及在网络训练时只能使用图像的灰度图从而丢失了图像的颜色信息等缺陷。对此,提出一种基于深度卷积神经网络(Deep Convolution Neural Network,DCNN)的提取图像特征的方法,运用深度卷积神经网络对背景较复杂的车型进行网络训练,以达到识别车型的目的。文中采用先进的深度学习框架Caffe,基于AlexNet结构提出了深度卷积神经网络的模型,分别对车型的图像进行训练,并与传统CNN算法进行比较。实验结果显示,DCNN网络模型的准确率达到了96.9%,比其他算法的准确率更高。     

基于深度学习的物流货柜自动识别模型研究

为提升物流货柜自动识别的准确率和检测速率,该文提出了一种基于深度卷积神经网络的改进算法。该算法将DenseNet卷积神经网络融入SSD检测算法中,利用DenseNet的Block模块,提高梯度信息传播能力,使得检测模型具有更高的识别准确率和收敛速度。实验结果表明,该改进型算法的平均识别准确率为71.3%,检测速率为每秒42帧,相比YOLO和SSD算法,其平均检测准确率和检测速率均得到明显提升。     

基于深度学习的DDoS攻击检测模型

构建了基于粒子群优化卷积神经网络(PSO-CNN)的分布式拒绝服务攻击(DDoS)攻击检测模型.利用卷积神经网络的权值共享和最大池化自动挖掘网络数据流特征,引入粒子群对卷积核进行优化,在提升模型训练效率的同时,增强了模型的全局寻优能力.实验结果表明,该模型能够有效检测DDoS攻击,具有较高的检测准确率.     

通过K-means算法实现神经网络的加速和压缩

近年来,以神经网络为代表的机器学习领域快速发展,已广泛地应用于语音识别和图像识别等各个工业领域。随着应用环境越来越复杂,精度要求越来越高,网络规模也越来越大。大规模神经网络既是计算密集型又是存储密集型结构,其中卷积层是计算密集型层次,全连接层是存储密集型层次。前者的处理速度跟不上存取速度,后者的存取速度跟不上处理速度。基于神经网络本身训练的预测准确率置信区间,提出了一种使用K-means加速和压缩神经网络的方法。通过将卷积过程中的输入特征图采用K-means压缩来减少计算量;通过将全连接层的权重压缩来减少存储量。所提方法对AlexNet网络单个卷积层的计算量最多能降低2个数量级,加入合适的K-means层,整个网络的处理时间加速比能达到2.077,对网络压缩率达到8.7%。     

边缘智能背景下的手写数字识别

随着边缘智能的快速发展,现有手写数字识别卷积网络模型的发展已越来越不适应边缘部署、算力下降的要求,且存在小样本泛化能力较差和网络训练成本较高等问题。借鉴卷积神经网络（CNN）经典结构、Leaky_ReLU算法、dropout算法和遗传算法及自适应和混合池化思想构建了基于LeNet-DL改进网络的手写数字识别模型,分别在大样本数据集MNIST和小样本真实数据集REAL上与LeNet、LeNet+sigmoid、AlexNet等算法进行对比实验。改进网络的大样本识别精度可达99.34%,性能提升约0.83%;小样本识别精度可达78.89%,性能提升约8.34%。实验结果表明,LeNet-DL网络相较于传统CNN在大样本和小样本数据集上的训练成本更低、性能更优且模型泛化能力更强。     

基于参数迁移和卷积循环神经网络的语音情感识别

在语音情感识别研究中,已有基于深度学习的方法大多没有针对语音时频两域的特征进行建模,且存在网络模型训练时间长、识别准确性不高等问题。语谱图是语音信号转换后具有时频两域的特殊图像,为了充分提取语谱图时频两域的情感特征,提出了一种基于参数迁移和卷积循环神经网络的语音情感识别模型。该模型把语谱图作为网络的输入,引入AlexNet网络模型并迁移其预训练的卷积层权重参数,将卷积神经网络输出的特征图重构后输入LSTM（Long Short-Term Memory）网络进行训练。实验结果表明,所提方法加快了网络训练的速度,并提高了情感识别的准确率。     

AlexNet改进及优化方法的研究

通过对Normalization、优化器、激活函数三方面对AlexNet卷积神经网络进行了改进及优化。针对LRN（Local Response Normalization）不存在可学习参数,提出了用WN（Weight Normalization）来代替LRN,同时将WN置于所有池化层（Pooling layer）之后,提高了AlexNet模型训练的准确率;通过对比分析Adam、RMSProp、Momentum三种优化器在不同学习率（Learning rate）下对AlexNet模型训练的影响,并得出了相应的学习率的优化区间,提高了AlexNet在Optimizer的学习率区间选择上的准确性;针对AlexNet中ReLU激活函数存在的部分权重无法更新以及梯度爆炸问题,提出了ReLU6与Swish的融合分段函数算法,提升了AlexNet模型训练收敛速度以及准确率的同时也缓解了过拟合现象的发生。     

基于双重优化的卷积神经网络图像识别算法*

为了进一步提高卷积神经网络算法的收敛速度和识别精度,提出基于双重优化的卷积神经网络图像识别算法。在构建卷积神经网络的过程中,针对特征提取和回归分类建立双重优化模型,实现对卷积与全连接过程的集成优化,并与局部优化算法对比,分析各算法的识别率和收敛速度的差异。在手写数字集和人脸数据集上的实验表明,双重优化模型可以在较大程度上提高卷积神经网络的收敛速度和识别精度,并且这种优化策略可以进一步拓展到其它与卷积神经网络相关的深度学习算法中。     

降低参数规模的卷积神经网络模型压缩方法

针对卷积神经网络模型参数规模越来越大导致难以在计算与存储资源有限的嵌入式设备上大规模部署的问题,提出一种降低参数规模的卷积神经网络模型压缩方法。通过分析发现,卷积层参数量与输入输出特征图数量以及卷积核大小有关,而全连接层参数数量众多且难以大幅减少。通过分组卷积减少输入输出特征图数量,通过卷积拆分减小卷积核大小,同时采用全局平均池化层代替全连接层的方法来解决全连接层参数数量众多的问题。将上述方法应用于LeNet5和AlexNet进行实验,实验结果表明通过使用组合压缩方法对LeNet5模型进行最大压缩后,参数规模可减少97%,识别准确率降低了不到2个百分点,而压缩后的AlexNet模型参数规模可减少95%,识别准确率提高了6.72个百分点,在保证卷积神经网络精度的前提下,可大幅减少模型的参数量。     

基于DenseNet的无人机光学图像树种分类研究

利用无人机航拍获得光学影像数据,结合深度学习理论,建立树种识别模型,以期为大规模树种识别提供一种新的方式。首先以福建安溪县为例,采用无人机获取20 m及40 m高度的航拍影像。其次,以树种为对象,对航拍影像进行分割,获得12种树种影像。最后,结合深度学习理论,采用DenseNet卷积神经网络建立树种识别模型,探讨不同航拍高度以及不同网络深度对树种识别的影响。结果表明:不同航拍高度的树种识别模型,其分类精度均达80%以上,最高精度为87.54%。从航拍影像解析度分析,随着航拍影像解析度的下降,模型识别精度呈现下降趋势,以20 m航拍影像数据建构的树种识别模型,其分类精度高于40 m模型;从模型网络深度分析,随着模型网络层数的增加,模型分类精度出现下降现象,DenseNet121模型分类精度高于DenseNet169模型分类精度。综上所述,基于无人机航拍影像,结合深度卷积神经网络,提出了新的树种识别方式,并以安溪县森林树种识别为例证明了该分类框架的有效性。     

基于DenseNet的无人机光学图像树种分类研究

利用无人机航拍获得光学影像数据，结合深度学习理论，建立树种识别模型，以期为大规模树种识别提供一种新的方式。首先以福建安溪县为例，采用无人机获取20 m及40 m高度的航拍影像。其次，以树种为对象，对航拍影像进行分割，获得12种树种影像。最后，结合深度学习理论，采用DenseNet卷积神经网络建立树种识别模型，探讨不同航拍高度以及不同网络深度对树种识别的影响。结果表明:不同航拍高度的树种识别模型，其分类精度均达80%以上，最高精度为87.54%。从航拍影像解析度分析，随着航拍影像解析度的下降，模型识别精度呈现下降趋势，以20 m航拍影像数据建构的树种识别模型，其分类精度高于40 m模型；从模型网络深度分析，随着模型网络层数的增加，模型分类精度出现下降现象，DenseNet121模型分类精度高于DenseNet169模型分类精度。综上所述，基于无人机航拍影像，结合深度卷积神经网络，提出了新的树种识别方式，并以安溪县森林树种识别为例证明了该分类框架的有效性。     

改进的卷积神经网络行人检测方法

提出基于YOLOV3和DenseNet相结合的轻量化行人检测算法。加入HSV图像处理模块强化行人特征,利用卷积神经网络提取行人特征,通过k均值聚类算法筛选预测框,借鉴特征金字塔的思想做高低层特征融合和预测,利用Dense Block结构对网络轻量化进行完善,在国际广泛使用的行人数据集上进行一系列实验。实验结果表明,检测速度比现有的优秀目标检测模型YOLOV3提升了8倍,模型大小为YOLOV3的1/107,所提方法在测试集上的实时性和准确率都有所提高。     

快速多域卷积神经网络和光流法融合的目标跟踪

Aiming at the problem of slow speed of the convolutional neural network target tracking algorithm, a target tracking algorithm combining fast multi-domain convolutional neural network (Faster MDNet) and optical flow method is proposed. The optical flow method is used to obtain the moving state of the target, and the preliminary selection box is used as the tracking target position. Then, the preliminary selection box is used as the input of Faster MDNet, and Faster MDNet is used as the detector to obtain the exact position and bounding box of the tracking target. Experiments on the target tracking benchmark data set VOT2014 prove that the algorithm’s online tracking speed is increased by 8 times and the accuracy is improved by 10%.