PyTorch下基于CNN的手写数字识别及应用研究

文章对卷积神经网络模型LeNet-5中的激活函数、下采样方式等进行改进,对训练参数进行调整,使改进后的模型手写数字识别准确率达到99.2％.使用PyTorch搭建模型,用MNIST数据集对模型进行训练,其后在自制数据集上进行测试,从识别准确率和训练速度等方面验证了模型的可靠性.借助TensorBoard监督整个网络模型的训练过程,指导对模型参数的优化调整.最后,将改进的网络模型服务于该校人工智能课程答卷分数的识别中,使手写分数得到准确识别.     

基于卷积神经网络模型的手写数字辨识算法研究

针对目前基于卷积神经网络模型(CNN)手写数字辨识算法收敛速度慢、识别率低的问题,设计一种CNN网络模型。在模型训练时,改进模型学习率,使学习率指数可以动态衰减;使用Dropout正则化方法,提高模型的泛化能力;与批量随机梯度下降法、Momentum算法、Adagrad算法、RMSprop算法、Adam算法等参数优化方法作比较。实验结果表明:基于RMSprop或Adam的优化算法CNN模型在对MNIST数据集进行训练时,算法收敛速度快、测试集识别准确率为99.40%或99.70%。     

基于深度卷积自编码神经网络的手写数字识别研究

针对提高不同笔体下的手写识别准确率进行了研究,将深度卷积神经网络与自动编码器相结合,设计卷积自编码器网络层数,形成深度卷积自编码神经网络。首先采用双线性插值方法分别对MNIST数据集与一万幅自制中国大学生手写数字图片进行图像预处理,然后先使用单一MNIST数据集对深度卷积自编码神经网络进行训练与测试;最后使用MNIST与自制数据集中5 000幅混合,再次训练该网络,对另外5 000幅进行测试。实验数据表明,所提深度卷积自编码神经网络在MNIST测试集正确率达到99.37%,有效提高了准确率;且5 000幅自制数据集模型测试正确率达99.33%,表明该算法实用性较强,在不同笔体数字上得到了较高的识别准确率,模型准确有效。     

基于改进的卷积神经网络的道路井盖缺陷检测研究

道路井盖缺陷检测对于道路维护与安全至关重要,论文提出了一种改进的卷积神经网络算法,可实现井盖缺陷的快速、准确检测。算法对卷积神经网络的激活函数模型进行了改进,针对Relu激活函数在输入小于零时输出设为零,导致部分缺陷信息丢失问题,设计了MReLu和BReLu两种改进激活函数。在此基础上,为了增强神经网络模型的特征表达能力,提出了双层激活函数模型。最后,在公共数据集MNIST,CIFAR-10上进行了比较实验,网络主要参数有批处理大小(batch size)为32,最大迭代次数为1000次,学习率为0.0001,每经过5000次迭代衰减50%。实验结果表明,基于改进后的激活函数和应用双层激活函数所构造的卷积神经网络,大大减少了训练参数,不仅收敛速度更快,而且可以更加有效地提高分类的准确率。     

SqueezeNet和动态网络手术的脱机手写汉字识别

传统和基于CNN的脱机手写汉字识别模型多数是为了追求更高准确率,未重视模型体积大小,模型中存在大量冗余参数,模型训练周期长并且很难在资源有限的平台上运行.针对这些问题,本文提出改进的SqueezeNet模型,保留了用小卷积核替代大卷积核的策略,采用层间的特征融合算法和L2范数约束的Softmax分类函数;然后再对参数裁剪进一步压缩,避免裁剪掉重要参数而损失过多准确率,采用动态网络手术算法来保证将误删重要参数重新拼接.并将改进后的模型与其它模型在测试集ICDAR-2013下进行对比,本文模型参数变少、训练速度快并且可移植性强,模型大小为3.2MB,在测试集ICDAR-2013中其准确率达到96.03%,对输入图预处理后再训练所得模型准确率达到96.32%.     

结合余弦相关性的卷积网络识别汉字的方法

为了提高卷积神经网络（Convolution Neural Network,CNN）的识别率,增强卷积网络的特征提取能力,使其在模糊、光照不均等恶劣条件下能够有更好的识别效果,因此提出将余弦相关性加入神经卷积网络作为相似度度量的方法。较传统神经卷积网络相比较,有着更强的模式检测能力、更快的收敛速度以及更高的准确率的优点。在卷积神经网络的卷积层加入余弦相似性度量,最后通过对比传统神经卷积网络方法和余弦相关性神经卷积网络在脱机手写汉字的识别实验,在进行20次实验后,得出了在相同训练参数以及相同层数的卷积神经网络上,基于余弦相关性的神经卷积网络在手写汉字数据集上的准确率比传统的神经卷积网络的识别率平均提高了2.01%,并且有着更快的收敛速度。最后通过与现今流行的算法在MNIST数据集上的实验进行准确度、损失函数、时间复杂度的比较,得出结合余弦的卷积神经网络在准确度和损失函数上有一定的优势性,在时间复杂度上还需进一步提高。     

采用分数阶动量的卷积神经网络随机梯度下降法

针对随机梯度下降法可能会收敛到局部最优的问题,文中提出采用分数阶动量的随机梯度下降法,提高卷积神经网络的识别精度和学习收敛速度.结合基于动量的随机梯度下降法和分数阶差分运算,改进参数更新方法,讨论分数阶阶次对网络参数训练效果的影响,给出阶次调整方法.在MNIST、CIFAR-10数据集上的实验表明,文中方法可以提高卷积神经网络的识别精度和学习收敛速度.     

改进的VGG网络的二极管玻壳图像缺陷检测

针对于目前二极管玻壳缺陷检测中大多采用人工特征提取,识别准确率不高的问 题,提出一种改进的 VGG 网络的二极管玻壳图像缺陷检测方法。首先对玻壳图像进行预处理, 同时利用原始大样本数据集对卷积神经网络结构 VGG-19 模型进行预训练得到预训练模型,然 后通过迁移学习的方法将预训练模型中的部分卷积、池化等层权重参数迁移到改进网络模型的 固定层中,非固定层用于模型改进,并将网络的全连接层结构重新进行超参数设置和优化,最 后使用预处理后的玻壳图像数据集对改进模型进行训练,得到非固定卷积层和新的全连接层的 参数和权重。在二极管玻壳数据集进行测试,实验结果表明,该方法能有效提高二极管玻壳图 像分类识别准确率,达到了 98.3%。     

改进残差网络在玉米叶片病害图像的分类研究

针对传统的玉米叶片病害图像识别方法正确率不高、速度慢等问题,提出一种基于改进深度残差网络模型的玉米叶片图像识别算法。提出的改进策略有：将传统的ResNet-50模型第一层卷积层中7×7卷积核替换为3个3×3的卷积核;使用LeakyReLU激活函数替代ReLU激活函数;改变残差块中批标准化层、激活函数与卷积层的排列顺序。进行数据预处理,将训练集与测试集的比例划分为4∶1,采用数据增强的方式对训练集进行扩充,将改进的ResNet-50模型经过迁移学习得到在ImageNet上预训练好的权重参数。实验结果表明,改进的网络在玉米叶片病害图像分类中得到了98.3%的正确率,与其他网络模型相比准确率大幅提升,鲁棒性进一步增强,可为玉米叶片病害的识别提供参考。     

基于Tensorflow对卷积神经网络的优化研究

针对卷积神经网络在性耗比上的不足,提出了异构式CPU+GPU的协同计算模型,在模型计算过程中使CPU负责逻辑性强的事物处理和串行计算,使GPU执行高度线程化的并行处理任务。通过实验测试与单GPU训练、单CPU训练进行对比,结果表明异构式CPU+GPU计算模型在性耗比上更加优异。针对在卷积神经网络中Swish激活函数在反向传播求导误差梯度时涉及参数较多所导致的计算量较大,收敛速度慢,以及ReLU激活函数在[x]负区间内导数为零所导致的负梯度被置为零且神经元可能无法被激活的问题,提出了新的激活函数ReLU-Swish。通过测试训练对比并分析结果,将Swish激活函数小于零与ReLU激活函数大于零的部分组成分段函数,并且通过CIFAR-10和MNIST两个数据集进行测试对比实验。实验结果表明,ReLU-Swish激活函数在收敛速度以及模型测试训练的准确率上对比Swish激活函数及ReLU激活函数有较明显的提高。     

新型LeNet-FC卷积神经网络模型算法的研究

针对已有的卷积神经网络（Convolutional Neural Network，CNN）在人脸识别训练中出现过拟合、收敛速度慢以及识别准确率不高的问题，提出了新型的LeNet-FC卷积神经网络模型。通过增加网络层、缩小卷积核等结构改进以及采用优化的对数-修正线性单元（Logarithmic Rectified Linear Unit，L_ReLU）激活函数，该模型在人脸识别训练的准确率达到了99.85%。同时基于LeNet-FC卷积神经网络模型设计了一个人脸识别系统。该系统在ORL人脸库的仿真测试实验中识别准确率达到了96%。     

不同池化模型的卷积神经网络学习性能研究

目的 基于卷积神经网络的深度学习算法在图像处理领域正引起广泛关注。为了进一步提高卷积神经网络特征提取的准确度,加快参数收敛速度,优化网络学习性能,通过对比不同的池化模型对学习性能的影响提出一种动态自适应的改进池化算法。方法 构建卷积神经网络模型,使用不同的池化模型对网络进行训练,并检验在不同迭代次数下的学习结果。在现有算法准确率不高和收敛速度较慢的情况下,通过使用不同的池化模型对网络进行训练,从而构建一种新的动态自适应池化模型,并研究在不同迭代次数下其对识别准确率和收敛速度的影响。结果 通过对比实验发现,使用动态自适应池化算法的卷积神经网络学习性能最优,在手写数字集上的收敛速度最高可以提升18.55%,而模型对图像的误识率最多可以降低20%。结论 动态自适应池化算法不但使卷积神经网络对特征的提取更加精确,而且很大程度地提高了收敛速度和模型准确率,从而达到优化网络学习性能的目的。这种模型可以进一步拓展到其他与卷积神经网络相关的深度学习算法。     

结合卷积神经网络与OpenCV的人脸表情识别

针对实时人脸表情识别模型训练慢、识别速度慢的问题,提出一种OpenCV和卷积神经网络结合进行实时表情识别的方法。人脸表情是多个局部区域特征的集合,而卷积神经网络提取出的特征能更多地关注局部,因此采取卷积神经网络的方式进行模型的训练。所提网络在全连接层中加入了Dropout,能有效预防过拟合现象的发生,并且提升模型泛化能力。实验结果表明此模型的可行性,在fer2013数据集上的准确率达到71.6%。基于以上方法再结合OpenCV构建一个实时表情识别系统,系统实时识别表情的速度为0.4s。所构建的系统相比于现有的其他系统,具有训练速度较快、准确率较高、识别速度较快等优点。     

SAR图像目标识别的卷积神经网模型

目的 合成孔径雷达图像目标识别可以有效提高合成孔径雷达数据的利用效率。针对合成孔径雷达图像目标识别滤波处理耗时长、识别精度不高的问题,本文提出一种卷积神经网络模型应用于合成孔径雷达图像目标识别。方法 首先,针对合成孔径雷达图像特点设计特征提取部分的网络结构;其次,代价函数中引入L2范数提高模型的抗噪性能和泛化性;再次,全连接层使用Dropout减小网络的运算量并提高泛化性;最后研究了滤波对于网络模型的收敛速度和准确率的影响。结果 实验使用美国运动和静止目标获取与识别数据库,10类目标识别的实验结果表明改进后的卷积神经网络整体识别率（包含变体）由93.76%提升至98.10%。通过设置4组对比实验说明网络结构的改进和优化的有效性。卷积神经网络噪声抑制实验验证了卷积神经网络的特征提取过程对于SAR图像相干斑噪声有抑制作用,可以省去耗时的滤波处理。结论 本文提出的卷积神经网络模型提高了网络的准确率、泛化性,无需耗时的滤波处理,是一种合成孔径雷达图像目标识别的有效方法。     

改进Stacking集成学习的指纹识别算法

针对传统卷积神经网络对多传感器指纹识别泛化能力降低、准确率不高的问题,提出改进的Stacking集成学习算法。首先将AlexNet进行改进,在AlexNet中引入深度可分离卷积减少参数量,加快训练速度;引入空间金字塔池化,提升网络获取全局信息的能力;引入批归一化,加快网络收敛速度,同时提升网络在测试集上的准确率;使用全局平均池化替代全连接层,防止过拟合。然后将DenseNet和改进的AlexNet 2种卷积神经网络作为Stacking的基学习器对指纹进行分类,获得预测结果。最后对相同基学习器训练得到的各个模型,根据预测精度对各预测结果赋权,得到的预测结果再由元分类器分类。改进的Stacking算法在多传感器指纹数据库上进行实验,最终识别准确率达98.43%,相对AlexNet提升了20.05%,相对DenseNet提升了4.25%。     

基于双池化特征加权结构CNN的图像分类

传统的池化方式会造成特征信息丢失,导致卷积神经网络中提取的特征信息不足。为了提高卷积神经网络在图像分类过程中的准确率,优化其学习性能,本文在传统池化方式的基础上提出一种双池化特征加权结构的池化算法,利用最大池化和平均池化2种方式保留更多的有价值的特征信息,并通过遗传算法对模型进行优化。通过训练不同池化方式的卷积神经网络,研究卷积神经网络在不同数据集上的分类准确率和收敛速度。实验在遥感图像数据集NWPU-RESISC45和彩色图像数据集Cifar-10上对采用几种池化方式的卷积神经网络分类结果进行对比验证,结果分析表明：双池化特征加权结构使得卷积神经网络的分类准确率有很大程度的提高,同时模型的收敛速度得到进一步提高。     

基于改进eRCNN的局部路网交通流预测

针对误差反馈循环卷积神经网络在运用到短时交通流预测时存在仅仅能接收时序误差序列,忽略交通流误差数据中隐含的空间拓扑特征,且在模型初始化时其采用的通用卷积神经网络初始化方法降低了模型训练效率的问题,本文提出一种优化的误差反馈循环卷积神经网络模型,在误差反馈循环卷积神经网络模型基础上根据预测误差数据的时空特性对误差反馈层进行结构强化,能够处理包含简单空间关系的误差序列。同时通过在模型训练的过程中分离模型产生的历史预测误差和训练误差,使得模型构建过程更加高效,加速了模型收敛速度。通过北京市四环道路交通数据的实验表明,优化的误差反馈循环卷积神经网络预测模型在预测精度、构建效率及鲁棒性上均得到有效提高。     

AlexNet改进及优化方法的研究

通过对Normalization、优化器、激活函数三方面对AlexNet卷积神经网络进行了改进及优化。针对LRN（Local Response Normalization）不存在可学习参数,提出了用WN（Weight Normalization）来代替LRN,同时将WN置于所有池化层（Pooling layer）之后,提高了AlexNet模型训练的准确率;通过对比分析Adam、RMSProp、Momentum三种优化器在不同学习率（Learning rate）下对AlexNet模型训练的影响,并得出了相应的学习率的优化区间,提高了AlexNet在Optimizer的学习率区间选择上的准确性;针对AlexNet中ReLU激活函数存在的部分权重无法更新以及梯度爆炸问题,提出了ReLU6与Swish的融合分段函数算法,提升了AlexNet模型训练收敛速度以及准确率的同时也缓解了过拟合现象的发生。