基于卫星云图和改进AlexNet的沙尘暴预测方法

针对沙尘暴预测多依赖于地面气象资料,且与深度学习算法结合较少的问题,提出一种基于卫星云图和改进AlexNet的沙尘暴预测算法。首先,参照国标为地面气象资料构造沙尘暴等级标签;然后,对卫星云图进行透视变换、气象站云图数量再平衡等处理,并将卫星云图与沙尘暴等级标签相互标定;其次,改变AlexNet的卷积核尺寸,去掉局部响应归一化（LRN）层,并在所有卷积层和激活层之间增加批归一化（BN）层;最后,使用改进后的AlexNet模型进行训练、测试。实验结果表明,改进后的AlexNet模型在精确率、召回率、F1值和准确率上均优于VGGNet16、VGGNet19及AlexNet。结果表明所提方法是有效的,能为地面气象资料、卫星云图与深度学习相结合来预测沙尘暴提供参考。     

基于Tensorflow对卷积神经网络的优化研究

针对卷积神经网络在性耗比上的不足,提出了异构式CPU+GPU的协同计算模型,在模型计算过程中使CPU负责逻辑性强的事物处理和串行计算,使GPU执行高度线程化的并行处理任务。通过实验测试与单GPU训练、单CPU训练进行对比,结果表明异构式CPU+GPU计算模型在性耗比上更加优异。针对在卷积神经网络中Swish激活函数在反向传播求导误差梯度时涉及参数较多所导致的计算量较大,收敛速度慢,以及ReLU激活函数在[x]负区间内导数为零所导致的负梯度被置为零且神经元可能无法被激活的问题,提出了新的激活函数ReLU-Swish。通过测试训练对比并分析结果,将Swish激活函数小于零与ReLU激活函数大于零的部分组成分段函数,并且通过CIFAR-10和MNIST两个数据集进行测试对比实验。实验结果表明,ReLU-Swish激活函数在收敛速度以及模型测试训练的准确率上对比Swish激活函数及ReLU激活函数有较明显的提高。     

基于迁移学习与改进型AlexNet的蝴蝶分类算法

蝴蝶分类是保护蝴蝶物种多样性、观测大气变化的首要工作。为了提高蝴蝶种类识别的准确率，改善复杂网络算法运行时间长的缺陷，提出了一种基于迁移学习与改进型AlexNet的蝴蝶分类算法。该算法将AlexNet作为预训练模型，使其成为新模型的特征提取器，并在AlexNet算法的基础上，通过调整卷积核数量、替换归一化LRN(local response normalization)层、减少全连接层个数、增加均值下采样层等，进行改进与优化。实验结果表明，改进算法对蝴蝶种类识别的准确率高于原AlexNet算法，并具有更优的识别效率，提升了整体模型的性能。     

基于增强AlexNet的音乐流派识别研究

针对机器学习模型对音乐流派特征识别能力较弱的问题,提出了一种基于深度卷积神经网络的音乐流派识别(DCNN-MGR)模型。该模型首先通过快速傅里叶变换提取音频信息,生成可以输入DCNN的频谱并切割生成频谱切片。然后通过融合带泄露整流(Leaky ReLU)函数、双曲正切(Tanh)函数和Softplus分类器对AlexNet进行增强。其次将生成的频谱切片输入增强的AlexNet进行多批次的训练与验证,提取并学习音乐特征,得到可以有效分辨音乐特征的网络模型。最后使用输出模型进行音乐流派识别测试。实验结果表明,增强的AlexNet在音乐特征识别准确率和网络收敛效果上明显优于AlexNet及其他常用的DCNN、DCNN-MGR模型在音乐流派识别准确率上比其他机器学习模型提升了4%~20%。     

基于改进卷积神经网络的电力通信网故障诊断研究

针对当前电力通讯网络故障诊断方法及时性差、准确率低和自我学习能力差等缺陷,提出基于改进卷积神经网络的电力通信网故障诊断方法,结合ReLU和Softplus两个激活函数的特点,对卷积神经网络原有激活函数进行改进,使其同时具备光滑性与稀疏性;采用ReLU函数作为作为卷积层与池化层的激活函数,改进激活函数作为全连接层激活函数的结构模型,基于小波神经网络模型对告警信息进行加权操作,得到不同告警类型和信息影响故障诊断和判定的权重,进一步提升故障诊断的准确率;最后通过仿真试验可以看出,改进卷积神经网络相较贝叶斯分类算法与卷积神经网络具有较高的准确率和稳定性,故障诊断准确率达到99.1%,准确率标准差0.915%,为今后电力通讯网智能化故障诊断研究提供一定的参考。     

深度学习模型训练的优化器实验设计

针对目前国内对深度学习的卷积神经网络（Convolutional Neural Network,CNN）模型教学过程中,对优化器理论学习过程中存在实践不足问题,首先利用kaggle平台上的猫狗数据库,然后通过迁移学习方法设计猫狗识别的深度学习神经网络模型,最后分别选择AdaGrad、RMSProp和Adam三种不同的梯度下降优化算法,对同一网络模型结构进行训练。观察到使用AdaGrad算法对模型训练准确率可达84.1%,RMSProp优化算法对模型训练准确率可达85.6%,Adam算法对模型训练准确率可达86.3%。实验结果表明,在模型优化中,适合的优化算法不但会使模型收敛更快。也会影响模型的性能。同时加深学生理解不同优化器对模型的优化能力。     

一种改进的基于幂线性单元的激活函数

针对修正线性单元（ReLU）完全丢弃网络中包含有用信息的负激活值问题,基于参数化修正线性单元（PReLU）和指数线性单元（ELU）的研究,提出一种新颖的参数化激活函数幂线性单元（PoLU）。PoLU对输入的负激活部分实施有符号的幂非线性变化,幂函数的参数是可以在CNNs训练过程中自适应学习的;同时像ReLU那样保持正激活部分不变。PoLU可以高效地实现并且灵活地运用到不同的卷积神经网络架构中。在广泛使用的CIFAR-10/100数据库上的实验结果表明,PoLU要优于ReLU和它相对应的激活函数。     

基于ArcReLU函数的神经网络激活函数优化研究

近年来深度学习发展迅猛。由于深度学习的概念源于神经网络,而激活函数更是神经网络模型在学习理解非线性函数时不可或缺的部分,因此本文对常用的激活函数进行了研究比较。针对常用的激活函数在反向传播神经网络中具有收敛速度较慢、存在局部极小或梯度消失的问题,将Sigmoid系和ReLU系激活函数进行了对比,分别讨论了其性能,详细分析了几类常用激活函数的优点及不足,并通过研究Arctan函数在神经网络中应用的可能性,结合ReLU函数,提出了一种新型的激活函数ArcReLU。实验证明,该函数既能显著加快反向传播神经网络的训练速度,又能有效降低训练误差并避免梯度消失的问题。     

结合Inception模型的卷积神经网络图像去噪方法

为更有效地去除图像中的噪声，提出一种结合Inception模型的深度卷积神经网络（Convolutional Neural Network，CNN）图像去噪方法，以完整图像作为输入和输出，利用Inception结构密集提取原始图像和噪声多个不同空间尺度的特征，并采用多种调优策略，增强网络的整体学习能力。为避免梯度消失，使用线性修正单元（Rectified Linear Unit，ReLU）激活函数；为加速网络的训练，增加批量规范化（Batch Normalization，BN）操作；加入跳跃结构进行残差学习（Residual Learning，RL），提升网络的去噪性能。基于公共数据集BSDS300的三种高斯噪声等级实验结果表明，与其他图像去噪方法相比，模型在降低计算复杂度、提高收敛速度的同时，视觉效果更好，平均峰值信噪比（Peak Signal to Noise Ratio，PSNR）提升了约1.28 dB。     

新型LeNet-FC卷积神经网络模型算法的研究

针对已有的卷积神经网络（Convolutional Neural Network，CNN）在人脸识别训练中出现过拟合、收敛速度慢以及识别准确率不高的问题，提出了新型的LeNet-FC卷积神经网络模型。通过增加网络层、缩小卷积核等结构改进以及采用优化的对数-修正线性单元（Logarithmic Rectified Linear Unit，L_ReLU）激活函数，该模型在人脸识别训练的准确率达到了99.85%。同时基于LeNet-FC卷积神经网络模型设计了一个人脸识别系统。该系统在ORL人脸库的仿真测试实验中识别准确率达到了96%。     

深度单峰梯形神经网络

近年来，深度学习在许多领域取得了巨大的成功，其中，激活函数是深度学习取得巨大成功的关键因素之一。根据生物神经元特性，针对ReLU右侧响应无界问题，提出了单峰梯形线性单元（Single-Peaked Trapezoid Linear Unit，SPTLU）。SPTLU更加符合生物神经元特性，且取得了等同和超越ReLU的优异性能，实验表明在不同数据集上都取得了很好的效果，例如，数据集MNIST，Fashion-MNIST，SVHN，CALTECH101和CIFAR10。     

基于改进激活函数的用于台风等级分类的深度学习模型

针对特定任务中深度学习模型的激活函数不易选取的问题,在分析传统激活函数和现阶段运用比较广泛的激活函数的优缺点的基础上,将Tanh激活函数与广泛使用的ReLU激活函数相结合,构造了一种能够弥补Tanh函数和ReLU函数缺点的激活函数T-ReLU。通过构建台风等级分类的深度学习模型Typ-CNNs,将日本气象厅发布的台风卫星云图作为自建样本数据集,采用几种不同的激活函数进行对比实验,结果显示使用T-ReLU函数得到的台风等级分类的测试精度比使用ReLU激活函数的测试精度高出1.124%,比使用Tanh函数的测试精度高出2.102%;为了进一步验证结果的可靠性,采用MNIST通用数据集进行激活函数的对比实验,最终使用T-ReLU函数得到99.855%的训练精度和98.620%的测试精度,其优于其他激活函数的效果。     

改进残差网络在玉米叶片病害图像的分类研究

针对传统的玉米叶片病害图像识别方法正确率不高、速度慢等问题,提出一种基于改进深度残差网络模型的玉米叶片图像识别算法。提出的改进策略有：将传统的ResNet-50模型第一层卷积层中7×7卷积核替换为3个3×3的卷积核;使用LeakyReLU激活函数替代ReLU激活函数;改变残差块中批标准化层、激活函数与卷积层的排列顺序。进行数据预处理,将训练集与测试集的比例划分为4∶1,采用数据增强的方式对训练集进行扩充,将改进的ResNet-50模型经过迁移学习得到在ImageNet上预训练好的权重参数。实验结果表明,改进的网络在玉米叶片病害图像分类中得到了98.3%的正确率,与其他网络模型相比准确率大幅提升,鲁棒性进一步增强,可为玉米叶片病害的识别提供参考。     

YOLOv4口罩检测算法的轻量化改进

针对当前YOLOv4目标检测算法网络模型庞大、特征提取不充分且易受光线环境影响的缺点,提出了一种优化了特征提取网络和一般卷积块的轻量化YOLOv4-Lite网络模型。使用改进的MobileNetv3替换原有的主干特征提取网络,减小了网络模型的参数量,提高了检测精度。提出了使用深度可分离卷积块代替原网络中的普通卷积块,使得模型的参数量进一步降低。结合了标签平滑、学习率余弦退火衰减算法,新增了SiLU激活函数代替MobileNetv3浅层网络的ReLU激活函数,优化了模型的收敛效果。优化了Mosaic数据增强方法,提升了模型的鲁棒性。在人脸口罩佩戴任务中与原算法相比,牺牲了1.68%的mAP,但在检测效率（FPS）上提升约180%。     

基于深度全连接神经网络的离港航班延误预测模型

针对提升离港航班延误预测精确度困难的问题,提出一种基于深度全连接神经网络（DFCNN）的离港航班延误预测模型。首先,在考虑航班信息、机场气象与航班延误历史的基础上,考虑航班网络结构对预测模型的影响;然后,从激活函数、输入数据项及延误时间阈值三个维度进行实验,以对模型抑制梯度弥散与提升学习表现能力的能力进行了优化与验证;最后,通过调控神经网络层数的纵向拓展方式与随机丢失层的Dropout参数,提升模型的泛化能力。实验结果表明：所提模型使用tanh、指数线性函数（ELU）,预测精确度比使用线性整流函数（ReLU）分别提升了1.26、1.28个百分点;考虑航班网络结构后,所提模型采用ELU函数计算时,预测精确度比未考虑航班网络结构时提升了3.12个百分点;在时间阈值为60 min时,通过调控Dropout参数,模型的损失值不断降低;在5层隐含层网络和Dropout参数为0.3时,所提模型可以取得92.39%的预测精确度。因此,所提模型能够对国内航班延误做出较为准确的判断。     

基于多通道图像深度学习的恶意代码检测

现有基于深度学习的恶意代码检测方法存在深层次特征提取能力偏弱、模型相对复杂、模型泛化能力不足等问题。同时,代码复用现象在同一类恶意样本中大量存在,而代码复用会导致代码的视觉特征相似,这种相似性可以被用来进行恶意代码检测。因此,提出一种基于多通道图像视觉特征和AlexNet神经网络的恶意代码检测方法。该方法首先将待检测的代码转化为多通道图像,然后利用AlexNet神经网络提取其彩色纹理特征并对这些特征进行分类从而检测出可能的恶意代码;同时通过综合运用多通道图像特征提取、局部响应归一化（LRN）等技术,在有效降低模型复杂度的基础上提升了模型的泛化能力。利用均衡处理后的Malimg数据集进行测试,结果显示该方法的平均分类准确率达到97.8%;相较于VGGNet方法在准确率上提升了1.8%,在检测效率上提升了60.2%。实验结果表明,多通道图像彩色纹理特征能较好地反映恶意代码的类别信息,AlexNet神经网络相对简单的结构能有效地提升检测效率,而局部响应归一化能提升模型的泛化能力与检测效果。     

基于改进Faster-RCNN的绝缘子检测算法

为了提高高压输电线路巡检效率,提出改进Faster-RCNN的绝缘子检测算法.首先,在特征提取网络中添加具有注意力机制动态选择机制网络(SKNet),从而使网络着重学习与绝缘子特征相关通道;其次,借助滤波器响应归一化(FRN)层替代原批归一化(BN)层,以避免模型陷入梯度饱和区域;最后,使用距离交并比(DIoU)代替原...