基于动量分数阶梯度的卷积神经网络优化方法

针对采用传统梯度下降算法训练卷积神经网络收敛速度慢的问题,提出了动量分数阶梯度下降算法.介绍了分数阶微积分的定义,并依据问题描述,通过算法推导,将整数阶梯度下降算法中的动量思想应用到分数阶梯度下降算法中,设计出动量分数阶梯度下降算法.使用测试函数验证算法的收敛性,并分析不同分数阶阶次和动量项系数对算法收敛性的影响.在三...     

基于反卷积特征提取的深度卷积神经网络学习

在深度卷积神经网络的学习过程中,卷积核的初始值通常是随机赋值的.另外,基于梯度下降法的网络参数学习法通常会导致梯度弥散现象.鉴于此,提出一种基于反卷积特征提取的深度卷积神经网络学习方法.首先,采用无监督两层堆叠反卷积神经网络从原始图像中学习得到特征映射矩阵;然后,将该特征映射矩阵作为深度卷积神经网络的卷积核,对原始图像进行逐层卷积和池化操作;最后,采用附加动量系数的小批次随机梯度下降法对深度卷积网络微调以避免梯度弥散问题.在MNIST、CIFAR-10和CIFAR-100数据集上的实验结果表明,所提出方法可有效提高图像分类精度.     

基于双重优化的卷积神经网络图像识别算法*

为了进一步提高卷积神经网络算法的收敛速度和识别精度,提出基于双重优化的卷积神经网络图像识别算法。在构建卷积神经网络的过程中,针对特征提取和回归分类建立双重优化模型,实现对卷积与全连接过程的集成优化,并与局部优化算法对比,分析各算法的识别率和收敛速度的差异。在手写数字集和人脸数据集上的实验表明,双重优化模型可以在较大程度上提高卷积神经网络的收敛速度和识别精度,并且这种优化策略可以进一步拓展到其它与卷积神经网络相关的深度学习算法中。     

自适应增强卷积神经网络图像识别

目的 为了进一步提高卷积神经网络的收敛性能和识别精度,增强泛化能力,提出一种自适应增强卷积神经网络图像识别算法。方法 构建自适应增强模型,分析卷积神经网络分类识别过程中误差产生的原因和误差反馈模式,针对分类误差进行有目的地训练,实现分类特征基于迭代次数和识别结果的自适应增强以及卷积神经网络权值的优化调整。自适应增强卷积神经网络与多种算法在收敛速度和识别精度等性能上进行对比,并在多种数据集上检测自适应卷积神经网络的泛化能力。结果 通过对比实验可知,自适应增强卷积神经网络算法可以在很大程度上优化收敛效果,提高收敛速度和识别精度,收敛时在手写数字数据集上的误识率可降低20.93%,在手写字母和高光谱图像数据集上的误识率可降低11.82%和15.12%;与不同卷积神经网络优化算法对比,误识率比动态自适应池化算法和双重优化算法最多可降低58.29%和43.50%;基于不同梯度算法的优化,误识率最多可降低33.11%;与不同的图像识别算法对比,识别率也有较大程度提高。结论 实验结果表明,自适应增强卷积神经网络算法可以实现分类特征的自适应增强,对收敛性能和识别精度有较大的提高,对多种数据集有较强的泛化能力。这种自适应增强模型可以进一步推广到其他与卷积神经网络相关的深度学习算法中。     

基于强化学习的倒立摆分数阶梯度下降RBF控制

为了提高强化学习的控制性能,提出一种基于分数梯度下降RBF神经网络的强化学习算法.通过评价神经网络和执行神经网络组成强化学习系统,利用神经网络记忆和联想,学会控制倒立摆,提高控制精度,使误差趋于零,直至学习成功,并证明闭环系统的稳定性.通过倒立摆的物理实验发现,当分数阶阶数较大,微分的作用更显著,对角速度和速度的控制效果更好,角速度和速度的均方误差和平均绝对误差较小;当分数阶阶数较小,积分的作用更显著,对倾斜角和位移的控制效果更好,因此倾斜角和位移的均方误差和平均绝对误差较小.仿真实验的结果表明,所提算法动态响应好,超调量小,调整时间短,精度高,泛化性能好.它优于基于RBF神经网络的强化学习算法和传统强化学习算法,能有效地加快梯度下降法的收敛速度,提高其控制性能.在引入适当的干扰后,所提算法能够快速地自我调节并恢复稳定状态,控制器的鲁棒性和动态性能满足实际要求.     

基于深度学习的健美操力量训练器故障监测方法

针对传统故障监测方法对精密的健美操力量训练器故障监测精度低的问题,通过优化卷积神经网络随机梯度下降算法中的梯度下降方式和学习率,并将提取的训练器振动信号特征作为改进卷积神经网络输入,提出一种基于深度学习的健美操力量训练器故障监测方法。仿真结果表明,所提方法对卷积神经网络改进有效,利用改进的卷积神经网络可识别监测健美操力量训练器不同类型、不同位置和不同程度的故障,平均监测准确率达到97.75%,对训练器正常状态和4根转子断裂的轴承故障监测准确率达到100%。相较于改进前卷积神经网络,所提监测方法的监测准确率提高了7.50%,相较于常用故障监测算法,所提方法的监测准确率均有不同程度的提升,具有一定的有效性和优越性,并采用改进卷积神经网络进行分类识别,可有效监测。     

基于改进BP神经网络的尿液中红白细胞识别算法

对显微图像中的尿液有形成分包括红白细胞等进行分析,可以帮助医生对有肾脏和泌尿系统疾病的患者进行评估。针对无染色、无标记的尿液图像中红白细胞存在对比度低、边缘模糊等问题,提出一种基于改进BP神经网络的识别方法。首先,将遗传算法引入BP神经网络对网络权值和阈值进行优化,解决训练过程中网络容易陷入局部极值等问题,提高BP神经网络的识别精度;其次,使用动量梯度下降法消除网络在梯度下降中产生的摆动,加快网络的收敛,提高BP神经网络的学习速度。与基础BP神经网络相比,改进方法对红白细胞的识别准确度分别提高了6.9%和9.5%,且识别时间分别缩短了19.3 s和42.1 s;与CNN识别算法相比,改进算法对白细胞的识别准确度提高了1.7%;与SVM识别算法相比,改进算法对红白细胞的识别准确度分别提高了12.9%和12.7%。验证实验和对照实验的结果表明,改进方法能以较高的准确率和较快的速度实现红白细胞的识别。     

一种改善BP神经网络性能的方法研究

BP神经网络目前被广泛应用,但是其收敛速度慢、预测精度不高的缺点却一直被人所诟病,因此,在传统BP神经网络中使用附加动量项法以及动态学习速率法,并以两者的融合为基础提出了陡峭因子可调激活函数法来改进BP神经网络。以非线性函数拟合为实例,从收敛速度和预测精度两方面对比分析两种方法,实验证明所提出的改进方法明显提高BP神经网络的收敛速度以及精度。     

基于卷积神经网络模型的手写数字辨识算法研究

针对目前基于卷积神经网络模型(CNN)手写数字辨识算法收敛速度慢、识别率低的问题,设计一种CNN网络模型。在模型训练时,改进模型学习率,使学习率指数可以动态衰减;使用Dropout正则化方法,提高模型的泛化能力;与批量随机梯度下降法、Momentum算法、Adagrad算法、RMSprop算法、Adam算法等参数优化方法作比较。实验结果表明:基于RMSprop或Adam的优化算法CNN模型在对MNIST数据集进行训练时,算法收敛速度快、测试集识别准确率为99.40%或99.70%。     

基于权值变化的BP神经网络自适应学习率改进研究

针对传统神经网络的学习率由人为经验性设定,存在学习率设置过大或过小,容易导致无法收敛或收敛速度慢的问题,本文提出基于权值变化的自适应学习率改进方法,改善传统神经网络学习率受人为经验因素影响的弊端,提高误差精度,并结合正态分布模型与梯度上升法,提高收敛速度.本文以BP神经网络为例,对比固定学习率的神经网络,应用经典XOR问题仿真验证,结果表明本文的改进神经网络具有更快的收敛速度和更小的误差.     

基于改进inception的脱机手写汉字识别

由于字形的复杂多变,脱机手写汉字的识别一直是模式识别的难题,深度卷积神经网络的发展为其提供了一种直接有效的解决方案。研究基于inceptions 结构神经网络的脱机手写汉字识别,提出了一种inception结构的改进方法,它具有结构更加简单、网络深度扩展更加容易、需要的训练参数量更少的优点。该方法在数据集CISIA-HWDB1.1 上进行了实验验证,采用随机梯度下降优化算法,模型达到了96.95%的平均准确率。实验结果表明,使用改进的inception结构在图像分类上具有更好的鲁棒性,更容易扩展到其他应用领域。     

基于深度残差网络的人脸表情识别

针对深度卷积神经网络随着卷积层数增加而导致网络模型难以训练和性能退化等问题,提出了一种基于深度残差网络的人脸表情识别方法。该方法利用残差学习单元来改善深度卷积神经网络模型训练寻优的过程,减少模型收敛的时间开销。此外,为了提高网络模型的泛化能力,从KDEF和CK+两种表情数据集上选取表情图像样本组成混合数据集用以训练网络。在混合数据集上采用十折（10-fold）交叉验证方法进行了实验,比较了不同深度的带有残差学习单元的残差网络与不带残差学习单元的常规卷积神经网络的表情识别准确率。当采用74层的深度残差网络时,可以获得90.79%的平均识别准确率。实验结果表明采用残差学习单元构建的深度残差网络可以解决网络深度和模型收敛性之间的矛盾,并能提升表情识别的准确率。     

一种卷积神经网络和极限学习机相结合的人脸识别方法

卷积神经网络是一种很好的特征提取器,但却不是最佳的分类器,而极限学习机能够很好地进行分类,却不能学习复杂的特征,根据这两者的优点和缺点,将它们结合起来,提出一种新的人脸识别方法。卷积神经网络提取人脸特征,极限学习机根据这些特征进行识别。本文还提出固定卷积神经网络的部分卷积核以减少训练参 数,从而提高识别精度的方法。在人脸库ORL和XM2VTS上进行测试的结果表明,本文的结合方法能有效提高人脸识别的识别率,而且固定部分卷积核的方式在训练样本少时具有优势。     

基于迁移学习的人脸姿态分类方法

人脸姿态分类在智能人机交互、虚拟现实、智能控制以及人脸识别等多个领域都有广泛的应用。由于人脸姿态分类过程中存在不同角度间特征重叠率高的问题,导致其分类精度过低。为提高人脸姿态分类的准确率与鲁棒性,提出了基于迁移学习的人脸姿态分类方法。该方法利用卷积神经网络的特征提取和学习能力,对特征进行识别和分类,从而得到单方向人脸姿态的训练参数。利用迁移学习,将卷积神经网络训练好的参数应用于训练两个方向的人脸姿态模型中。使用该方法在CAS-PEAL数据集上进行了实验,最终结果的准确率达到98.7%,并且与AlexNet、VGGNet和ResNet等网络模型做对比实验,得到了更好的人脸姿态分类效果。实验结果表明,所提出的方法显著提高了人脸姿态分类的准确率与鲁棒性。     

卷积神经网络在验证码识别上的应用与研究

针对日前在互联网中被广泛使用的验证码,提出将卷积神经网络引入到验证码识别之中。通过设计新的卷积网络拓扑结构,针对可分割成语验证码提出基于k-means聚类的字符分割方法,以及仿真验证码图片自生成训练集,通过预训练过程使得卷积训练网络具有良好初值,加速收敛并提高模型泛化能力;针对不可分割验证码,省去字符分割操作直接将验证码整体作为卷积模型输入,引入仿射变换、水漫填充等预处理和SVM算法二分类,或者结合多标记学习方法设计卷积拓扑等。最终实验研究证实卷积神经网络对于可分割及不可分割验证码的平均识别准确率均收敛于99%左右。     

不同池化模型的卷积神经网络学习性能研究

目的 基于卷积神经网络的深度学习算法在图像处理领域正引起广泛关注。为了进一步提高卷积神经网络特征提取的准确度,加快参数收敛速度,优化网络学习性能,通过对比不同的池化模型对学习性能的影响提出一种动态自适应的改进池化算法。方法 构建卷积神经网络模型,使用不同的池化模型对网络进行训练,并检验在不同迭代次数下的学习结果。在现有算法准确率不高和收敛速度较慢的情况下,通过使用不同的池化模型对网络进行训练,从而构建一种新的动态自适应池化模型,并研究在不同迭代次数下其对识别准确率和收敛速度的影响。结果 通过对比实验发现,使用动态自适应池化算法的卷积神经网络学习性能最优,在手写数字集上的收敛速度最高可以提升18.55%,而模型对图像的误识率最多可以降低20%。结论 动态自适应池化算法不但使卷积神经网络对特征的提取更加精确,而且很大程度地提高了收敛速度和模型准确率,从而达到优化网络学习性能的目的。这种模型可以进一步拓展到其他与卷积神经网络相关的深度学习算法。     

卷积神经网络的多字体汉字识别

目的 多字体的汉字识别在中文自动处理及智能输入等方面具有广阔的应用前景,是模式识别领域的一个重要课题。近年来,随着深度学习新技术的出现,基于深度卷积神经网络的汉字识别在方法和性能上得到了突破性的进展。然而现有方法存在样本需求量大、训练时间长、调参难度大等问题,针对大类别的汉字识别很难达到最佳效果。方法 针对无遮挡的印刷及手写体汉字图像,提出了一种端对端的深度卷积神经网络模型。不考虑附加层,该网络主要由3个卷积层、2个池化层、1个全连接层和一个Softmax回归层组成。为解决样本量不足的问题,提出了综合运用波纹扭曲、平移、旋转、缩放的数据扩增方法。为了解决深度神经网络参数调整难度大、训练时间长的问题,提出了对样本进行批标准化以及采用多种优化方法相结合精调网络等策略。结果 实验采用该深度模型对国标一级3 755类汉字进行识别,最终识别准确率达到98.336%。同时通过多组对比实验,验证了所提出的各种方法对改善模型最终效果的贡献。其中使用数据扩增、使用混合优化方法和使用批标准化后模型对测试样本的识别率分别提高了8.0%、0.3%和1.4%。结论 与其他文献中利用手工提取特征结合卷积神经网络的方法相比,减少了人工提取特征的工作量;与经典卷积神经网络相比,该网络特征提取能力更强,识别率更高,训练时间更短。     

基于深度可分卷积神经网络的实时人脸表情和性别分类

针对目前普通卷积神经网络（CNN）在表情和性别识别任务中出现的训练过程复杂、耗时过长、实时性差等问题,提出一种深度可分卷积神经网络的实时人脸表情和性别识别模型。首先,利用多任务级联卷积网络（MTCNN）对不同尺度输入图像进行人脸检测,并利用核相关滤波（KCF）对检测到的人脸位置进行跟踪进而提高检测速度。然后,设置不同尺度卷积核的瓶颈层,用通道合并的特征融合方式形成核卷积单元,以具有残差块和可分卷积单元的深度可分卷积神经网络提取多样化特征,并减少参数数量,轻量化模型结构;使用实时启用的反向传播可视化来揭示权重动态的变化并评估了学习的特征。最后,将表情识别和性别识别两个网络并联融合,实现表情和性别的实时识别。实验结果表明,所提出的网络模型在FER-2013数据集上取得73.8%的识别率,在CK+数据集上的识别率达到96%,在IMDB数据集中性别分类的准确率达到96%;模型的整体处理帧率达到80 frame/s,与结合支持向量机的全连接卷积神经网络方法所得结果相比,有着1.5倍的提升。因此针对数量、分辨率、大小等差异较大的数据集,该网络模型检测快,训练时间短,特征提取简单,具有较高的识别率和实时性。     

基于有效神经元的自组织模糊神经网络算法

针对传统神经网络识别率低和泛化能力差的问题,提出了一种改进的自组织模糊神经网络（SOFNN）学习算法。以保存椭球基函数（EBF）层各个神经元的输出及输出之和为依据进行神经元的修改,删除和增加,进而得到网络的有效神经元,并减少样本训练的时间。用最小二乘法（RLSE）估计参数,用梯度下降法修改参数,保证网络收敛。与其他的模糊神经网络相比,在精确度、结构复杂性和抗干扰性方面的优越性,在真实数据集上得到了有效的验证。