卷积神经网络中SPReLU激活函数的优化研究

由于激活函数本身的特性,使得卷积神经网络出现了梯度消失、神经元死亡、均值偏移、稀疏表达能力差等问题,针对这些问题,将"S"型激活函数和ReLU系激活函数进行了对比,分别讨论其优点和不足,并结合ReLU、PReLU和Soft-plus三种激活函数优点,提出了一种新型激活函数SPReLU.实验结果表明,SPReLU函数在性能上优于其他激活函数,收敛速度快,能有效降低训练误差,缓解梯度消失和神经元死亡等问题,能够有效地提高文本分类模型的准确性.     

基于ArcReLU函数的神经网络激活函数优化研究

近年来深度学习发展迅猛。由于深度学习的概念源于神经网络,而激活函数更是神经网络模型在学习理解非线性函数时不可或缺的部分,因此本文对常用的激活函数进行了研究比较。针对常用的激活函数在反向传播神经网络中具有收敛速度较慢、存在局部极小或梯度消失的问题,将Sigmoid系和ReLU系激活函数进行了对比,分别讨论了其性能,详细分析了几类常用激活函数的优点及不足,并通过研究Arctan函数在神经网络中应用的可能性,结合ReLU函数,提出了一种新型的激活函数ArcReLU。实验证明,该函数既能显著加快反向传播神经网络的训练速度,又能有效降低训练误差并避免梯度消失的问题。     

AlexNet改进及优化方法的研究

通过对Normalization、优化器、激活函数三方面对AlexNet卷积神经网络进行了改进及优化。针对LRN（Local Response Normalization）不存在可学习参数,提出了用WN（Weight Normalization）来代替LRN,同时将WN置于所有池化层（Pooling layer）之后,提高了AlexNet模型训练的准确率;通过对比分析Adam、RMSProp、Momentum三种优化器在不同学习率（Learning rate）下对AlexNet模型训练的影响,并得出了相应的学习率的优化区间,提高了AlexNet在Optimizer的学习率区间选择上的准确性;针对AlexNet中ReLU激活函数存在的部分权重无法更新以及梯度爆炸问题,提出了ReLU6与Swish的融合分段函数算法,提升了AlexNet模型训练收敛速度以及准确率的同时也缓解了过拟合现象的发生。     

深度学习模型中不同激活函数的性能分析

近年来,人们为处理众多问题引入了各种类型的神经网络,神经网络取得了巨大的发展。任何神经网络使用的层次结构是线性和非线性函数的组合,其中最常见的非线性层是激活函数,如Logistic Sigmoid、Tanh、ReLU、ELU、Swish和Mish。对深度学习神经网络中的激活函数进行了介绍,并对不同激活函数的输出范围、单调性、平滑性等特点进行了分析。通过在数据集上测试,对现在使用频率较高的激活函数进行了性能测试。对激活函数的分析将有助于进一步地在模型设计中进行选择。     

基于改进的卷积神经网络的道路井盖缺陷检测研究

道路井盖缺陷检测对于道路维护与安全至关重要,论文提出了一种改进的卷积神经网络算法,可实现井盖缺陷的快速、准确检测。算法对卷积神经网络的激活函数模型进行了改进,针对Relu激活函数在输入小于零时输出设为零,导致部分缺陷信息丢失问题,设计了MReLu和BReLu两种改进激活函数。在此基础上,为了增强神经网络模型的特征表达能力,提出了双层激活函数模型。最后,在公共数据集MNIST,CIFAR-10上进行了比较实验,网络主要参数有批处理大小(batch size)为32,最大迭代次数为1000次,学习率为0.0001,每经过5000次迭代衰减50%。实验结果表明,基于改进后的激活函数和应用双层激活函数所构造的卷积神经网络,大大减少了训练参数,不仅收敛速度更快,而且可以更加有效地提高分类的准确率。     

基于改进激活函数的用于台风等级分类的深度学习模型

针对特定任务中深度学习模型的激活函数不易选取的问题,在分析传统激活函数和现阶段运用比较广泛的激活函数的优缺点的基础上,将Tanh激活函数与广泛使用的ReLU激活函数相结合,构造了一种能够弥补Tanh函数和ReLU函数缺点的激活函数T-ReLU。通过构建台风等级分类的深度学习模型Typ-CNNs,将日本气象厅发布的台风卫星云图作为自建样本数据集,采用几种不同的激活函数进行对比实验,结果显示使用T-ReLU函数得到的台风等级分类的测试精度比使用ReLU激活函数的测试精度高出1.124%,比使用Tanh函数的测试精度高出2.102%;为了进一步验证结果的可靠性,采用MNIST通用数据集进行激活函数的对比实验,最终使用T-ReLU函数得到99.855%的训练精度和98.620%的测试精度,其优于其他激活函数的效果。     

一种改进的基于幂线性单元的激活函数

针对修正线性单元（ReLU）完全丢弃网络中包含有用信息的负激活值问题,基于参数化修正线性单元（PReLU）和指数线性单元（ELU）的研究,提出一种新颖的参数化激活函数幂线性单元（PoLU）。PoLU对输入的负激活部分实施有符号的幂非线性变化,幂函数的参数是可以在CNNs训练过程中自适应学习的;同时像ReLU那样保持正激活部分不变。PoLU可以高效地实现并且灵活地运用到不同的卷积神经网络架构中。在广泛使用的CIFAR-10/100数据库上的实验结果表明,PoLU要优于ReLU和它相对应的激活函数。     

基于改进卷积神经网络的电力通信网故障诊断研究

针对当前电力通讯网络故障诊断方法及时性差、准确率低和自我学习能力差等缺陷,提出基于改进卷积神经网络的电力通信网故障诊断方法,结合ReLU和Softplus两个激活函数的特点,对卷积神经网络原有激活函数进行改进,使其同时具备光滑性与稀疏性;采用ReLU函数作为作为卷积层与池化层的激活函数,改进激活函数作为全连接层激活函数的结构模型,基于小波神经网络模型对告警信息进行加权操作,得到不同告警类型和信息影响故障诊断和判定的权重,进一步提升故障诊断的准确率;最后通过仿真试验可以看出,改进卷积神经网络相较贝叶斯分类算法与卷积神经网络具有较高的准确率和稳定性,故障诊断准确率达到99.1%,准确率标准差0.915%,为今后电力通讯网智能化故障诊断研究提供一定的参考。     

超深卷积神经网络的图像超分辨率重建研究

针对VDCN网络结构在大尺度因子上超分辨率效果较差的缺点,提出一种高精度单图像超分辨率重建方法。将ReLU激活函数更换为PReLU激活函数,增加网络层数,使用25个带PReLU激活函数的卷积层进行训练和测试。实验结果表明,与VDCN方法相比,该方法耗费时间较少,且性能更稳定。     

新型LeNet-FC卷积神经网络模型算法的研究

针对已有的卷积神经网络（Convolutional Neural Network，CNN）在人脸识别训练中出现过拟合、收敛速度慢以及识别准确率不高的问题，提出了新型的LeNet-FC卷积神经网络模型。通过增加网络层、缩小卷积核等结构改进以及采用优化的对数-修正线性单元（Logarithmic Rectified Linear Unit，L_ReLU）激活函数，该模型在人脸识别训练的准确率达到了99.85%。同时基于LeNet-FC卷积神经网络模型设计了一个人脸识别系统。该系统在ORL人脸库的仿真测试实验中识别准确率达到了96%。     

基于Inception深度残差网络的皮肤黑色素癌图像分类算法

由于皮肤黑色素癌图像存在类内差异大、样本数据集小等特点, 采用深度残差网络可以有效解决训练过程中过拟合问题, 提高识别准确率. 但是深度残差网络模型的训练参数多, 时间复杂度高. 为了提高训练效率, 提高识别准确率, 首先从理论上分析了深度残差网络模型的结构, 通过修改网络结构, 利用Inception结构代替残差网络中的卷积层、池化层, 减少模型的训练参数数量, 降低时间复杂度. 在此基础上, 提出了基于Inception深度残差网络皮肤黑色素癌分类识别算法(Inception Deep Residual Network, IDRN), 用Inception结构代替残差网络中的卷积池化层, 用SeLU激活函数代替传统的ReLU函数. 之后, 在公开的黑色素癌皮肤镜图像ISIC2017数据集上进行实验验证. 理论和实验表明, 与传统的卷积神经网络ResNet50相比, 本文提出的新的分类算法降低了时间复杂度, 提高了识别准确率.     

面向卷积神经网络的FPGA加速器架构设计

随着人工智能的快速发展,卷积神经网络(CNN)在很多领域发挥着越来越重要的作用。分析研究了现有卷积神经网络模型,设计了一种基于现场可编程门阵列(FPGA)的卷积神经网络加速器。在卷积运算中四个维度方向实现了并行化计算;提出了参数化架构设计,在三种参数条件下,单个时钟周期分别能够完成512、1024、2048次乘累加;设计了片内双缓存结构,减少片外存储访问的同时实现了有效的数据复用;使用流水线实现了完整的神经网络单层运算过程,提升了运算效率。与CPU、GPU以及相关FPGA加速方案进行了对比实验,实验结果表明,所提出的设计的计算速度达到了560.2 GOP/s,为i7-6850K CPU的8.9倍。同时,其计算的性能功耗比达到了NVDIA GTX 1080Ti GPU的3.0倍,与相关研究相比,所设计的加速器在主流CNN网络的计算上实现了较高的性能功耗比,同时不乏通用性。     

基于残差梯度法的神经网络Q学习算法

针对连续状态空间的非线性系统控制问题,提出一种基于残差梯度法的神经网络Q学习算法。该算法采用多层前馈神经网络逼近Q值函数,同时利用残差梯度法更新神经网络参数以保证收敛性。引入经验回放机制实现神经网络参数的小批量梯度更新,有效减少迭代次数,加快学习速度。为了进一步提高训练过程的稳定性,引入动量优化。此外,采用Softplus函数代替一般的ReLU激活函数,避免了ReLU函数在负数区域值恒为零所导致的某些神经元可能永远无法被激活,相应的权重参数可能永远无法被更新的问题。通过CartPole控制任务的仿真实验,验证了所提算法的正确性和有效性。     

CPU/GPU 异构环境下图像协同并行处理模型

随着GPU通用计算能力的不断发展,一些新的更高效的处理技术应用到图像处理领域.目前已有一些图像处理算法移植到GPU中且取得了不错的加速效果,但这些算法没有充分利用CPU/GPU组成的异构系统中各处理单元的计算能力.文章在研究GPU编程模型和并行算法设计的基础上,提出了CPU/GPU异构环境下图像协同并行处理模型.该模型充分考虑异构系统中各处理单元的计算能力,通过图像中值滤波算法,验证了CPU/GPU环境下协同并行处理模型在高分辨率灰度图像处理中的有效性.实验结果表明,该模型在CPU/GPU异构环境下通用性较好,容易扩展到其他图像处理算法.     

基于CUDA的BP算法并行化与实例验证

CUDA是应用较广的GPU通用计算模型,BP算法是目前应用最广泛的神经网络模型之一。提出了用CUDA模型并行化BP算法的方法。用该方法训练BP神经网络,训练开始前将数据传到GPU,训练开始后计算隐含层和输出层的输入输出和误差,更新权重和偏倚的过程都在GPU上实现。将该方法用于手写数字图片训练练实验,与在四核CPU上的训练相比,加速比为6．12～8．17。分别用在CPU和GPU上训练得到的结果识别相同的测试集图片,GPU上的训练结果对图片的识别率比CPU上的高0．05％～0．22％。