激活函数的发展综述及其性质分析

为深入研究激活函数的作用机制,探讨优良激活函数应具备的性质,以提高卷积神经网络模型的泛化能力,文章综述了激活函数的发展,分析得到优良激活函数应具备的性质.激活函数大体可分为"S型"激活函数、"ReLU型"激活函数、组合型激活函数、其他类型激活函数.在深度学习发展初期,"S型"激活函数得到了广泛应用.随着网络模型的加深,...     

一种新的深度卷积神经网络的SLU函数

修正线性单元(rectified linear unit,ReLU)是深度卷积神经网络常用的激活函数,但当输入为负数时,ReLU的输出为零,造成了零梯度问题;且当输入为正数时,ReLU的输出保持输入不变,使得ReLU函数的平均值恒大于零,引起了偏移现象,从而限制了深度卷积神经网络的学习速率和学习效果.针对ReLU函数的零梯度问题和偏移现象,根据"输出均值接近零的激活函数能够提升神经网络学习性能"原理对其进行改进,提出SLU(softplus linear unit)函数.首先,对负数输入部分进行softplus处理,使得负数输入时SLU函数的输出为负,从而输出平均值更接近于零,减缓了偏移现象;其次,为保证梯度平稳,对SLU的参数进行约束,并固定正数部分的参数;最后,根据SLU对正数部分的处理调整负数部分的参数,确保激活函数在零点处连续可导,信息得以双向传播.设计深度自编码模型在数据集MINST上进行无监督学习,设计网中网卷积神经网络模型在数据集CIFAR-10上进行监督学习.实验结果表明,与ReLU及其相关改进单元相比,基于SLU函数的神经网络模型具有更好的特征学习能力和更高的学习精度.     

激活函数的对比测试与分析

随着人工智能的发展、含有激活函数库开源框架的增加,针对激活函数库的对比与分析越来越重要。在Intel x86架构上进行实验,从函数性能、稳定性、精度3个方面测试并分析了PyTorch和TensorFlow两种主流人工智能框架中的常用激活函数。实验结果表明,PyTorch的整体稳定性要高于TensorFlow,且Sigmoid、Hardsigmoid、SeLU、ReLU、ReLU6、Tanh函数的性能皆优于TensorFlow;在精度方面,TensorFlow中除SeLU函数与LeakyReLU函数稍差些,其余函数与PyTorch表现相当。     

基于ArcReLU激活函数的优化研究

对常用的激活函数进行了研究比较。对曾经提出的一种新型激活函数ArcReLU进行了改进,使其具有更快的收敛速度和更低的计算消耗。实验证明,改进的ArcReLU函数既能显著加快反向传播神经网络的训练速度,又能有效降低训练误差,甚至能避免梯度消失的问题。     

具有非可微激活函数的神经网络性能分析

神经网络已广泛应用于各类问题，然而ＢＰ算法要求有连续且可微的激活函数，文中提出一种用于训练非可微激活函数的神经网络学习算法，同时，利用相对熵误差测度，算法被完整地导出，实验结果表明，在解决异或问题、编码／解码问题又其补问题时，算法收敛速度非常快，收敛结果也令人满意。     

深度学习研究综述

鉴于深度学习在学术界和工业界的重要性,依据数据流向对目前有代表性的深度学习算法进行归纳和总结,综述了不同类型深度网络的结构及特点.首先介绍了深度学习的概念;然后根据深度学习算法的结构特征,概述了前馈深度网络、反馈深度网络和双向深度网络3类主流深度学习算法的网络结构和训练方法;最后介绍了深度学习算法在不同数据处理中的最新应用现状及其发展趋势.可以看到:深度学习在不同应用领域都取得了明显的优势,但仍存在需要进一步探索的问题,如无标记数据的特征学习、网络模型规模与训练速度精度之间的权衡、与其他方法的融合等.     

基于深度学习的粉煤灰混凝土氯离子浓度预测

为研究深度学习方法在氯离子浓度预测中的应用,通过自然潮差环境下粉煤灰混凝土的长期暴露试验获取3 150组自由氯离子浓度数据,建立不同激活函数、不同隐藏层层数的多层感知器(multi-layer perceptron, MLP)模型,开展考虑水灰比、暴露时间、粉煤灰掺量、渗透深度4个输入参数影响的粉煤灰混凝土中的自由氯离子浓度预测研究.结果表明,采用ReLu函数及4层隐藏层构建MLP模型时,自由氯离子浓度的预测结果最优.同时,将构建的最优MLP模型开展基于未测参数的自由氯离子浓度预测,比基于菲克第二定律的预测结果更准确.因此,MLP模型具有精度高和适用范围广泛的特点,可作为氯盐环境下混凝土中自由氯离子浓度预测的新方法.     

用于图像分类的卷积神经网络中激活函数的设计

为了提高图像分类效果,针对卷积神经网络中常用激活函数relu在x负半轴的导数恒为零,导致训练过程中容易造成神经元“坏死”以及现有组合激活函数relu-softplus在模型收敛情况下学习率过小导致收敛速度慢的问题,提出新的组合激活函数relu-softsign. 分析激活函数在训练过程中的作用,给出激活函数在设计时需要考虑的要点;根据这些要点,将relu和softsign函数于x轴正、负半轴进行分段组合,使其x负半轴导数不再恒为零;分别在MNIST、PI100、CIFAR-100和Caltech256数据集上,与单一的激活函数和relu-softplus组合激活函数进行对比实验. 实验结果表明,使用relu-softsign组合激活函数提高了模型分类准确率,简单有效地缓解了神经元不可逆“坏死”现象;加快了模型的收敛速度,在复杂数据集上该组合函数的收敛性能更好.     

基于sigmoid函数的评分特征规整在计算机辅助学习中的应用

计算机辅助语言学习是近十年来日益热门的研究课题,语音评分是其重要的组成部分。目前,国内大部分评分系统在运用机器评分特征预测人工分时,都是采用简单的线性回归模型。虽然该模型具有很好的集外推广性,但要求机器的评分特征与人的主观评分呈近似的线性关系,这一点在实际情况中往往难以满足。对此,本文引入sigmoid函数对评分特征进行规整,并采用数据驱动的方式得到其参数,使得提取的评分特征更符合评分员的主观评分准则。同时,在算法优化的问题上,本文将该方法完全地嵌入经典的线性回归模型中求解,大大提高了其收敛速度。实验表明。在普通话水平考试的单字、词语朗读及中学生考试翻译题自动评分方面,该算法使得评分的系统性能得到明显的优化。     

基于混合激活函数的改进卷积神经网络算法

激活函数是人工神经网络的重要组成部分,对提高人工神经网络的准确性具有重要影响.为了研究使用混合激活函数的卷积神经网络在图像分类任务中的识别精度和收敛速度表现,本工作以LeNet-5卷积神经网络为基本结构,构造了一个使用Sinusoid-Sinusoid-Ramp(S-S-R)混合激活函数的卷积神经网络,以及4个使用单一...     

基于Softplus激活函数和改进Fisher判别的ELM算法

在极限学习机(extreme learning machine,ELM)网络中,对可加型隐单元的激活函数通常选择的是Sigmoid函数.因此,首先提出一种新型修正线性函数的近似平滑函数Softplus来替代它.Softplus激活函数因为更接近生物学的激活模型且具有一定的稀疏能力,可进一步优化网络性能.其次,为了使ELM算法训练的网络具有更好的分类性能,考虑了类内距和类间距的约束,提出了基于改进Fisher判别约束的ELM算法,从而使解析求得的输出权值更加利于分类,进一步改进了识别性能.最后,在手写数字库和人脸库上的实验证明了改进ELM算法的可行性和优越性.     

基于深度强化学习的交通信号控制方法

针对基于深度强化学习的交通信号控制方法存在难以及时更新交叉口信号控制策略的问题,提出基于改进深度强化学习的单交叉口交通信号控制方法. 构建新的基于相邻采样时间步实时车辆数变化量的奖励函数,以及时跟踪并利用交叉口交通状态动态的变化过程. 采用双网络结构提高算法学习效率,利用经验回放改善算法收敛性. 基于SUMO的仿真测试结果表明,相比传统控制方法和深度强化学习方法,所提方法能明显缩短交叉口车辆平均等待时间和平均排队长度,提高交叉口通行效率.     

一种基于深度学习的禁飞区无人机目标识别方法

随着科学技术的迅速发展,中小型无人机逐步走向民用市场。但由于监管技术的缺失,无人机擅闯禁飞区事件屡见不鲜,严重扰乱了空域交通安全。针对传统无人机探测方法成本高、效率低和适应性差等问题,引入深度学习这一新技术,提出了一种基于深度学习的禁飞区无人机目标识别方法。通过对Le Net-5模型进行结构改进,构建一个无人机特征学习网络,经过训练后得到效果良好的模型,实现无人机目标的自主识别。其识别结果可以为禁飞区的监控预警系统提供重要信息,进一步有效保障重要空域的交通安全。实验结果表明,该方法可以有效实现禁飞区无人机目标识别,且误差率比直接应用经典Le Net-5模型减小0.36%。     

结合注意力与无监督深度学习的单目深度估计

针对当前的无监督单目深度估计方法边界模糊的问题, 提出了一种基于双重注意力模块的网络架构。这种架构能有效利用图像特征的远程上下文信息解决深度估计中的边界模糊问题。整个框架使用基于视图合成的无监督方法训练, 模型框架包括深度估计网络与位姿估计网络, 同步估计深度和相机位姿变换。双重注意力模块嵌入在深度估计网络中, 包含位置注意力模块和通道注意力模块, 能表示远程空间位置和不同特征图间的上下文信息, 从而使网络估计出细节更好的深度信息。在KITTI数据集以及Make3D数据集上的实验结果表明, 本文的方法能有效提高单目深度估计的精度和解决深度估计边界模糊问题。     

一种结合深度学习和集成学习的情感分析模型

随着社交媒体的不断发展,用户评价已成为网络决策的关键因素.为了准确分析社交媒体用户评价的情感倾向性,更好地推进舆情分析、推荐算法等工作,本文通过对Bi-LSTM模型和Bagging算法的改进,提出了一种新的情感分析模型—Bi-LSTMM-B模型.该模型的特点在于将深度学习模型可提取抽象特征的优势和集成学习多分类器共同决策的思想相结合.一方面在Bi-LSTM模型的基础上引入Maxout神经元,构建Bi-LSTMM模型,解决随机梯度下降算法中存在的梯度弥散问题,更好地优化训练过程.另一方面,模型基于Bagging算法训练多个情感分类器,根据分类器性能优劣利用袋外数据为每个分类器分配指定类别的权重,并提出相应的改进投票策略,增强了模型的泛化能力.实验结果表明:本文提出的Bi-LSTMM-B模型相比于传统的LSTM模型准确率提高12.08%,其中Maxout神经元的引入对情感分析准确率有8.28%的相对改善效果,改进后的投票策略对准确率有4.06%的相对改善效果,并在召回率和F值两项指标上均优于其他对比模型.由此证明,深度学习模型和集成学习思想相结合可提高情感分析的准确率,并具有一定的研究价值.     

深度学习在电力领域的研究现状与展望

深度学习技术,近年来已经广受学术界和工业界的关注,已在图像处理及分类,自然语言处理和生物医疗领域中取得卓越成果.对于存在大量高维度数据的电力领域,引入深度学习的理论具有一定的意义.介绍了深度学习的几个经典模型结构、工作原理,以及相关领域的部分研究成果,并围绕深度学习在电力领域中的研究现状展开了论述,指出了存在的不足和未来研究的方向.     

关于非线性激活函数的深度学习分类方法研究

提出了一种非线性指数函数来作为深度神经网络的激活层,通过调节函数的参数,能够有效提高深层神经网络在分类任务中的测试精度和其他性能.在Cifar10/100数据库中使用最先进的架构进行训练,只通过更换激活函数并调节该函数中的参数能够实现更优的结果.实验结果表明所提出的非线性函数在深度学习中能够带来更好的泛化性能.     

基于深度强化学习的滤波器剪枝方案

针对深度神经网络模型在终端设备上部署时面临计算和存储等资源不足的问题,模型剪枝是一种有效的模型压缩方案,在保证模型精度的前提下减少模型的参数量并降低计算复杂度。传统的剪枝方案对于剪枝率及剪枝标准的设置大多依据先验知识,忽略了深度模型中不同层的剪枝敏感度和参数分布差异,缺乏细粒度的优化。对此,提出了一种基于强化学习的滤波器剪枝方案,在满足目标稀疏度的基础上最小化模型剪枝后的精度损失,并采用参数化深度Q学习算法求解构建混合变量的非线性优化问题。实验结果表明,所提方案能够为深度模型每一层选择合适的剪枝标准与剪枝率,减小了模型剪枝后的精度损失。     

深度学习在推荐系统中的应用研究

互联网的普及带来了信息爆炸,推荐系统是一种有效的信息过滤工具。现有的推荐系统已经应用于各大领域,但仍然面临着准确性和冷启动等方面的挑战。深度学习作为最先进的机器学习技术,逐步应用于各种复杂的推荐中,以提高推荐系统的质量。对现有推荐系统中几种主要的深度学习模型进行了分析,并对其发展前景进行了展望。