正线性函数在深度神经网络中的研究

针对深度神经网络中常用的激活函数具有非线性和计算复杂度高的特点,提出使用正线性函数代替常用非线性函数作为深度神经网络的激活函数。基于正线性激活函数建立的深度神经网络模型计算复杂度低,能得到稀疏表示,与人类大脑信息感知具有一致性。通过图像分类任务验证了正线性激活函数在深度神经网络中应用的有效性。     

基于Tensorflow对卷积神经网络的优化研究

针对卷积神经网络在性耗比上的不足,提出了异构式CPU+GPU的协同计算模型,在模型计算过程中使CPU负责逻辑性强的事物处理和串行计算,使GPU执行高度线程化的并行处理任务。通过实验测试与单GPU训练、单CPU训练进行对比,结果表明异构式CPU+GPU计算模型在性耗比上更加优异。针对在卷积神经网络中Swish激活函数在反向传播求导误差梯度时涉及参数较多所导致的计算量较大,收敛速度慢,以及ReLU激活函数在[x]负区间内导数为零所导致的负梯度被置为零且神经元可能无法被激活的问题,提出了新的激活函数ReLU-Swish。通过测试训练对比并分析结果,将Swish激活函数小于零与ReLU激活函数大于零的部分组成分段函数,并且通过CIFAR-10和MNIST两个数据集进行测试对比实验。实验结果表明,ReLU-Swish激活函数在收敛速度以及模型测试训练的准确率上对比Swish激活函数及ReLU激活函数有较明显的提高。     

基于ArcReLU函数的神经网络激活函数优化研究

近年来深度学习发展迅猛。由于深度学习的概念源于神经网络,而激活函数更是神经网络模型在学习理解非线性函数时不可或缺的部分,因此本文对常用的激活函数进行了研究比较。针对常用的激活函数在反向传播神经网络中具有收敛速度较慢、存在局部极小或梯度消失的问题,将Sigmoid系和ReLU系激活函数进行了对比,分别讨论了其性能,详细分析了几类常用激活函数的优点及不足,并通过研究Arctan函数在神经网络中应用的可能性,结合ReLU函数,提出了一种新型的激活函数ArcReLU。实验证明,该函数既能显著加快反向传播神经网络的训练速度,又能有效降低训练误差并避免梯度消失的问题。     

隐层小波元神经网络的非线性跟踪特性

基于Hilbert 空间中Lebesgue 划分的特点,运用算子理论中变换的连续性和相对紧集的拓扑结构研究了小波神经网络的跟踪特性，利用作为隐层激励函数的小波函数的紧支撑和可积性，从代数分析的角度证明了只要隐层激活函数的小波函数满足相应的性质，那么小波神经网络就能以任意的精度跟踪紧集上的连续非线性函数．仿真实例表明了小波神经网络对非线性函数来说是一致跟踪器．     

基于递归神经网络的英译汉机器翻译模型设计与实现

在自然语言处理领域,递归神经网络在机器翻译中的应用越来越广泛;除了其他语言外,汉语中还包含大量的词汇,提高英译汉的机器翻译质量是对汉语处理的一个重要贡献;设计了一个英汉机器翻译系统的模型,该系统使用基于知识的上下文向量来映射英语和汉语单词,采用编解码递归神经网络实现;对基于激活函数模型的性能进行了测试,测试结果表明,编码器层的线性激活函数和解码器层的双曲正切激活函数性能最好;从GRU和LSTM层的执行情况来看,GRU的性能优于LSTM;注意层采用softmax和sigmoid激活函数进行设置,该模型的方法在交叉熵损失度量方面优于现有的系统.     

遗传前馈神经网络在函数逼近中的应用

人工神经网络具有高计算能力、泛化能力和非线性映射等特点,被成功应用于众多领域,但缺乏用于确定其网络拓扑结构、激活函数和训练方法的规则。该文提出利用遗传算法优化前馈神经网络的方法,将网络结构、激活函数和训练方法等编码作为个体,发现最优或次优解,针对特定问题设计较理想的前馈神经网络。介绍遗传算法的具体步骤,对非线性函数逼近进行实验,结果表明优化后前馈神经网络的性能优于由经验确定的前馈神经网络,验证了本文方法的有效性。     

小波神经网络在大豆价格预测中的应用

大豆是保障我国粮食安全战略的重要农产品,研究与预测大豆价格变化具有强烈的现实意义。本文建立了预测大豆价格的小波神经网络。该神经网络结合了小波分析的多尺度解释功能和神经网络的非线性逼近能力,设置激活函数为Morlet小波函数。实验比较结果显示,在使用相同数据集的情况下,本文的小波神经网络的运行时间仅为其他四种预测模型的8%-18%,具有较好的预测效果。     

乙基橙偶氮苯聚合物的全光开关特性曲线拟合中的应用

BP神经网络通过调节连接权重可以实现以任意精度逼近非线性函数,利用这一特点可以对非线性函数关系进行拟合。偶氮苯聚合物的全开关特性曲线是非线性,很难用数学函数表达式来描述。因而本文首先介绍神经网络的基本原理和BP算法神经网络,然后BP神经网络应用于的全光开关特性曲线拟合,在MATLAB环境下,利用实验数据进行了实验测试,结果表明该方法处理数据精度高,拟合效果好。     

基于改进激活函数的用于台风等级分类的深度学习模型

针对特定任务中深度学习模型的激活函数不易选取的问题,在分析传统激活函数和现阶段运用比较广泛的激活函数的优缺点的基础上,将Tanh激活函数与广泛使用的ReLU激活函数相结合,构造了一种能够弥补Tanh函数和ReLU函数缺点的激活函数T-ReLU。通过构建台风等级分类的深度学习模型Typ-CNNs,将日本气象厅发布的台风卫星云图作为自建样本数据集,采用几种不同的激活函数进行对比实验,结果显示使用T-ReLU函数得到的台风等级分类的测试精度比使用ReLU激活函数的测试精度高出1.124%,比使用Tanh函数的测试精度高出2.102%;为了进一步验证结果的可靠性,采用MNIST通用数据集进行激活函数的对比实验,最终使用T-ReLU函数得到99.855%的训练精度和98.620%的测试精度,其优于其他激活函数的效果。     

基于混合优化的RBF神经网络模型研究

根据我国居民消费价格指数的非线性特征及RBF神经网络参数难以确定的问题,建立基于正交最小二乘(OLS)、K-均值聚类、梯度下降法相结合,激活函数为高斯函数、反常S型函数和拟多二次函数的线性组合形式的混合优化RBF神经网络模型,同时运用所建模型对我国居民消费价格指数进行拟合和预测。实验结果表明,该模型能够很好地解决居民消费价格指数拟合和预测这一问题,预测精度比单独使用一种算法和基于高斯函数的混合算法都高,具有一定的普遍适用性。     

一种改善BP神经网络性能的方法研究

BP神经网络目前被广泛应用,但是其收敛速度慢、预测精度不高的缺点却一直被人所诟病,因此,在传统BP神经网络中使用附加动量项法以及动态学习速率法,并以两者的融合为基础提出了陡峭因子可调激活函数法来改进BP神经网络。以非线性函数拟合为实例,从收敛速度和预测精度两方面对比分析两种方法,实验证明所提出的改进方法明显提高BP神经网络的收敛速度以及精度。     

基于PSO算法的WNN大包线增益调参控制律设计

提出了一种基于粒子群优化算法的小波神经网络大包线调参控制律设计方法.该方法用小波函数代替了Sigmoid函数作为激活函数.由于结合了小波变换良好的高频域时间精度、低频域频率精度的性质和神经网络的自学习功能,因而具有较强逼近非线性函数的能力.为了克服局部极小值问题并进一步提高对非线性函数逼近能力,利用粒子群优化算法对小波神经网络进行参数训练,并利用该网络实现了大包线增益调参.飞行仿真结果表明,所设计的小波神经网络增益调参控制器具有优良的控制性能,不仅能够保证平衡状态下的控制效果,而且在未训练的平衡状态下依然具有良好的控制性能,并且在存在20%的建模误差时,最大超调量仅为6 m,仅是使用常规增益调参方法的18%.     

聚合物分子量分布的多变量动态系统模型

为了解决聚合产品分子量分布控制的难题,将神经网络引入对其进行了无需任何系统内部先验知识的黑箱建模。所使用的神经网络是由B样条神经网络和非线性递归神经网络(DRNN)组合而成,并使用误差反传算法对网络进行训练和学习,从而建立了多变量动态系统的分子量分布模型。在模型建立中将控制变量与分布参数的函数关系利用非线性递归神经网络描述,分子量分布函数使用B样条神经网络表示,仿真研究结果证明该方法取得了预期的建模效果,具有一定的推广实用价值。     

激活函数在卷积神经网络中的对比研究

近年,深度学习的快速发展致使越来越多的人从事相关的研究工作.但是,许多研究者在搭建深度神经网络模型时只是根据标准算法或改进算法直接搭建,而对算法本身及影响模型性能的因素不甚了解,致使在许多应用中或多或少存在盲目套用现象.通过研究深度神经网络,选择其中的重要影响因素激活函数进行深入研究.首先,分析了激活函数如何影响深度神经网络;接着对激活函数的发展现状及不同激活函数的原理性能进行了分析总结;最后,基于Caffe框架用CNN对Mnist数据集进行分类识别实验,对5种常用激活函数进行综合分析比较,为设计深度神经网络模型时选用激活函数提供参考.     

基于改进sigmoid激活函数的深度神经网络训练算法研究

针对深度神经网络训练过程中残差随着其传播深度越来越小而使底层网络无法得到有效训练的问题,通过分析传统sigmoid激活函数应用于深度神经网络的局限性,提出双参数sigmoid激活函数。一个参数保证激活函数的输入集中坐标原点两侧,避免了激活函数进入饱和区,一个参数抑制残差衰减的速度,双参数结合有效的增强了深度神经网络的训练。结合DBN对MNIST数据集进行数字分类实验,实验表明双参数 sigmoid激活函数能够直接应用于无预训练深度神经网络,而且提高了sigmoid激活函数在有预训练深度神经网络中的训练效果。     

隐含层组合型ELM研究及应用

大多统计模型的输出与输入都是高度非线性和线性相叠加的关系,为了更好地实现数据驱动的研究,本文提出了一种隐含层组合型的ELM(Extreme Learning Machine with Hybrid Hidden Layer,HHL-ELM)神经网络。该HHL-ELM神经网络在传统的ELM网络的隐含层中增加一个特殊的节点,该特殊节点的激活函数与隐含层其他节点激活函数不同,从而形成了一种隐含层组合的网络结构,试图增强ELM网络模型的输出。同时,本文利用UCI标准数据集中的Housing数据集进行了测试,并通过工业应用实例进行了验证。最后进行了模型对比,结果表明HHL-ELM网络在处理复杂数据时具有精度高的特点,为神经网络发展及其应用提供了新思路。     

面向陆战场目标识别的轻量级卷积神经网络

在实际陆战场环境中,作战人员无法随身携带GPU等大型计算设备,因此较难计算规模较大的神经网络参数,进而导致目标识别网络无法实时工作。现有的轻量级神经网络虽然解决了实时性的问题,但是不能满足准确率的要求。为此,文中提出了一种基于轻量级卷积神经网络的目标识别算法(E-MobilNet)。为了提升网络学习的效果,以现有深度学习的主要目标检测框架MobileNet-V2为基础,插入一种ELU函数作为激活函数。首先,使用扩张卷积来增加通道数,以获得更多的特征;接着,通过ELU函数激活输出特征,这样可以缓解线性部分的梯度消失,并且使非线性部分对输入变化的噪声更鲁棒;然后,通过残差连接的方式组合高层特征与低层特征的输出;最后,将全局池化的输出结果输入Softmax分类函数。实验数据表明,在同样的测试集和测试环境下,与现在主流的轻量级深度学习目标识别算法相比,E-MobileNet识别的准确率和每秒检测的帧率都有所提升。实验数据充分说明,使用ELU激活函数和全局池化层减少了参数的数量,增强了模型的泛化能力,提升了算法的鲁棒性,在保证神经网络模型轻量级的基础上有效地提高了目标的识别准确率。     

基于改进卷积神经网络的电力通信网故障诊断研究

针对当前电力通讯网络故障诊断方法及时性差、准确率低和自我学习能力差等缺陷,提出基于改进卷积神经网络的电力通信网故障诊断方法,结合ReLU和Softplus两个激活函数的特点,对卷积神经网络原有激活函数进行改进,使其同时具备光滑性与稀疏性;采用ReLU函数作为作为卷积层与池化层的激活函数,改进激活函数作为全连接层激活函数的结构模型,基于小波神经网络模型对告警信息进行加权操作,得到不同告警类型和信息影响故障诊断和判定的权重,进一步提升故障诊断的准确率;最后通过仿真试验可以看出,改进卷积神经网络相较贝叶斯分类算法与卷积神经网络具有较高的准确率和稳定性,故障诊断准确率达到99.1%,准确率标准差0.915%,为今后电力通讯网智能化故障诊断研究提供一定的参考。     

基于分数阶滤波器的高泛化性神经网络建模

为了显著提高神经网络建模的泛化性,提出了激活函数是分数阶滤波器的神经网络.分数阶滤波器涵盖了Butterworth和Chebyshev滤波器的性能.滤波器集对样本信号进行频率分解,既提升了信息的致密性,也保证了遍历性,更有助于提高神经网络的泛化性.各滤波器参数由盲动粒子群优化算法寻优.神经网络解算时,既采用了线性回归求解神经网络输出层权重,又在有限频段上用线性传递函数模拟替代分数阶传递函数,这两种措施缩短了解算时间.仿真结果表明,线性系统的泛化性精度可达亿分之几,非线性系统可达万分之几,可以离线应用.     

基于改进NB分类方法的网络异常检测模型

在神经网络的数字VLSI实现中,激活函数及乘累加等计算部件是设计中的难点.区别于使用乘法器及加法器的传统方法,该文提出的LMN方法基于查找表(即函数真值表),使用逻辑最小项化简提炼出函数最简逻辑表达式后,可直接生成结构规整的门级电路,除线延时外,电路只有数个门级延时.以非线性函数为例对该方法进行了介绍,结果表明当定点数位数较少时,算法在速度及误差方面具有更好的性能.