深度学习模型训练的优化器实验设计

针对目前国内对深度学习的卷积神经网络（Convolutional Neural Network,CNN）模型教学过程中,对优化器理论学习过程中存在实践不足问题,首先利用kaggle平台上的猫狗数据库,然后通过迁移学习方法设计猫狗识别的深度学习神经网络模型,最后分别选择AdaGrad、RMSProp和Adam三种不同的梯度下降优化算法,对同一网络模型结构进行训练。观察到使用AdaGrad算法对模型训练准确率可达84.1%,RMSProp优化算法对模型训练准确率可达85.6%,Adam算法对模型训练准确率可达86.3%。实验结果表明,在模型优化中,适合的优化算法不但会使模型收敛更快。也会影响模型的性能。同时加深学生理解不同优化器对模型的优化能力。     

细菌觅食算法优化卷积神经网络的滚动轴承故障诊断

针对传统深度学习故障诊断方法在滚动轴承中诊断效果不理想的问题，提出一种细菌觅食优化算法(BFO)优化卷积神经网络(CNN)学习率使诊断效果提升的模型。在模型逐次迭代过程中，将CNN中的学习率参数带入BFO中，生成一个自适应的学习率，用于更新CNN的权重和偏置，使模型故障诊断效果达到最佳。通过实验证明基于细菌觅食算法优化的卷积神经网络训练的模型在分类精度上优于CNN训练的模型，并与CNN多种学习率对比，可将故障诊断准确率提升至97.25%,并提高了全局的收敛能力。     

一种新的优化机制:Rain

在机器学习领域,传统模型的损失函数为凸函数,故具有全局最优解,通过传统的梯度下降算法可以求得最优解.但在深度学习领域,由于模型函数的隐式表达及同层神经元的可交换性,其损失函数为非凸函数,传统的梯度下降算法无法求得最优解,即使是较为先进的SGDM,Adam,Adagrad,RMSprop等优化算法也无法逃脱局部最优解的局限性,在收敛速度上虽然已经有很大的提升,但仍不能满足现实需求.现有的一系列优化算法都是针对已有优化算法的缺陷或局限性进行改进,优化效果有些许提升,但对于不同数据集的表现不一致.文中提出一种新的优化机制Rain,该机制结合深度神经网络中的Dropout机制,并融入到优化算法上得以实现.该机制并不是原有优化算法的改进版,而是独立于所有优化算法的第三方机制,但可以和所有优化算法搭配使用,从而提高其对于数据集的适应性.该机制旨在对模型在训练集上的表现进行优化,测试集上的泛化问题并不作为该机制的关注点.文中利用Deep Crossing和FM两个模型搭配5种优化算法,分别在Frappe和MovieLens两个数据集上进行实验,结果表明,加入Rain机制的模型在训练集上的损失函数值明显减小,且收敛速度加快,但其在测试集上的表现与原模型相差无几,即泛化性较差.     

面向异构网络的联邦优化算法

联邦学习网络中,全局模型的聚合训练常因边缘设备端的统计异构性而存在收敛问题。针对高度异构环境的适应性问题,提出一种面向异构网络的联邦优化算法q-FedDANE。首先,通过在经典联合近似牛顿型方法中引入衰减参数q,调整衰减梯度校正项和近端项的负面影响,有效提高模型对环境异构性的感知能力,并将每轮算法迭代的设备通信轮次降低至一次,显著减少通信成本和训练开销;其次,模型将随机优化器Adam引入服务器端聚合训练,通过自适应的动态学习率来利用全局信息进行目标优化,加快了模型的收敛速度。实验表明,q-FedDANE算法可以更好地适应环境异构和低设备参与的场景,在高度异构的FEMNIST数据集上,该算法最终获得的测试精度约高出FedDANE的58%。     

基于集成深度森林的入侵检测方法

基于卷积神经网络(CNN)的入侵检测方法在实际应用中模型训练时间过长、超参数较多、数据需求量大。为降低计算复杂度,提高入侵检测效率,提出一种基于集成深度森林(EDF)的检测方法。在分析CNN的隐藏层结构和集成学习的Bagging集成策略的基础上构造随机森林(RF)层,对每层中RF输入随机选择的特征进行训练,拼接输出的类向量和特征向量并向下层传递迭代,持续训练直至模型收敛。在NSL-KDD数据集上的实验结果表明,与CNN算法相比,EDF算法在保证分类准确率的同时,其收敛速度可提升50%以上,证明了EDF算法的高效性和可行性。     

基于改进卷积神经网络的电气绝缘子放电无损检测

为了提高电力设备的放电检测，该文根据绝缘子闪络试验得到放电特征数据库，设计了一种基于改进卷积神经网络（CNN）的电气绝缘子放电无损检测方法。改进CNN框架经多次非线性转换后增强卷积核提取特征的效果，降低了参数量，识别准确率获得明显提升。研究结果表明，正确率随训练次数的增加而升高，当训练率太大或太小时都会增加获得最高正确率的难度。在训练率为0.001时，可以使模型发生快速收敛，此时准确率达到98.3%。当训练率为0.001时，改进CNN比AlexNet算法达到最高准确率，获得了比BP算法更强收敛性能。该研究对准确定位电气绝缘子放电性能具有很好的实际指导意义。     

基于深度学习的自然环境下花朵识别

基于自然环境下的花朵识别已经成为了现在园艺植物以及计算机视觉方面的交叉研究热点。本文的花朵图像数据集是利用手机直接在自然场景中当场拍摄的，采集了湖南省植物园内26种观赏花朵的2600幅图像，其中还包括同一品种不同类别相似度很高的杜鹃，郁金香等花朵。设计了一种由3个残差块组成的20层深度学习模型Resnet20，模型的优化算法结合了Adam的高效初始化以及Sgd优秀的泛化能力，该优化算法主要是根据每次训练批次以及learning rate来进行转换调整，实验结果表明比单独使用Adam算法正确率高4到5个百分点，比单独使用Sgd算法收敛更快。该模型在Flower26数据集上，通过数据增强识别率可达到 96.29%，表明深度学习是一种很有前途的应用于花朵识别的智能技术。     

结合改进主动学习的SVD-CNN弹幕文本分类算法

为解决传统卷积神经网络（CNN）模型使用池化层进行文本特征降维会损失较多文本语义信息的问题,提出一种基于奇异值分解（SVD）算法的卷积神经网络模型（SVD-CNN）。首先,采用改进的基于密度中心点采样的主动学习算法（DBC-AL）选择对分类模型贡献率较高的样本进行标注,以低标注代价获得高质量模型训练集;然后,结合SVD算法建立SVD-CNN弹幕文本分类模型,使用奇异值分解的方法代替传统CNN模型池化层进行特征提取和降维,并在此基础上完成弹幕文本分类任务;最后,使用改进的梯度下降算法（PSGD）对模型参数进行优化。为了验证改进算法的有效性,使用多种弹幕数据样本集,对提出的模型与常用的文本分类模型进行对比实验。实验结果表明,改进的算法能够更好地保留文本语义特征,保证训练过程的稳定性并提高了模型的收敛速度,在不同的弹幕文本上较传统算法具有更好的分类性能。     

MLICP-CNN:基于CNN与ICP的多标记胸片置信诊断模型

针对胸片的多标记预测集缺少可校准性的缺陷,提出一种基于卷积神经网络(Convolutional Neural Networks,CNN)与归纳一致性预测器(Inductive Conformal Prediction,ICP)的多标记胸片置信诊断模型MLICP-CNN。该模型将学习数据划分为训练集和校准集,通过使用CNN从训练集中学习出规则D。基于规则D和校准集使用算法随机性对被测数据进行置信预测,即为每个被测数据提供附带置信度的多标记预测集。在对Chest X-ray14胸片数据集的实验结果表明,该模型在临床常用的95%置信度下,模型准确率为95%,体现了置信度评估的恰好可校准性。在CNN架构为Resenet50并采用LS-MLICP为奇异值映射函数下,模型性能最好,其确定预测率为96.43%,理想预测率为92.31%。另外,CNN架构对预测效率的影响程度远远小于奇异值映射函数。     

自适应增强卷积神经网络图像识别

目的 为了进一步提高卷积神经网络的收敛性能和识别精度,增强泛化能力,提出一种自适应增强卷积神经网络图像识别算法。方法 构建自适应增强模型,分析卷积神经网络分类识别过程中误差产生的原因和误差反馈模式,针对分类误差进行有目的地训练,实现分类特征基于迭代次数和识别结果的自适应增强以及卷积神经网络权值的优化调整。自适应增强卷积神经网络与多种算法在收敛速度和识别精度等性能上进行对比,并在多种数据集上检测自适应卷积神经网络的泛化能力。结果 通过对比实验可知,自适应增强卷积神经网络算法可以在很大程度上优化收敛效果,提高收敛速度和识别精度,收敛时在手写数字数据集上的误识率可降低20.93%,在手写字母和高光谱图像数据集上的误识率可降低11.82%和15.12%;与不同卷积神经网络优化算法对比,误识率比动态自适应池化算法和双重优化算法最多可降低58.29%和43.50%;基于不同梯度算法的优化,误识率最多可降低33.11%;与不同的图像识别算法对比,识别率也有较大程度提高。结论 实验结果表明,自适应增强卷积神经网络算法可以实现分类特征的自适应增强,对收敛性能和识别精度有较大的提高,对多种数据集有较强的泛化能力。这种自适应增强模型可以进一步推广到其他与卷积神经网络相关的深度学习算法中。