基于混合激活函数的改进卷积神经网络算法

激活函数是人工神经网络的重要组成部分,对提高人工神经网络的准确性具有重要影响.为了研究使用混合激活函数的卷积神经网络在图像分类任务中的识别精度和收敛速度表现,本工作以LeNet-5卷积神经网络为基本结构,构造了一个使用Sinusoid-Sinusoid-Ramp(S-S-R)混合激活函数的卷积神经网络,以及4个使用单一...     

用于图像分类的卷积神经网络中激活函数的设计

为了提高图像分类效果,针对卷积神经网络中常用激活函数relu在x负半轴的导数恒为零,导致训练过程中容易造成神经元“坏死”以及现有组合激活函数relu-softplus在模型收敛情况下学习率过小导致收敛速度慢的问题,提出新的组合激活函数relu-softsign. 分析激活函数在训练过程中的作用,给出激活函数在设计时需要考虑的要点;根据这些要点,将relu和softsign函数于x轴正、负半轴进行分段组合,使其x负半轴导数不再恒为零;分别在MNIST、PI100、CIFAR-100和Caltech256数据集上,与单一的激活函数和relu-softplus组合激活函数进行对比实验. 实验结果表明,使用relu-softsign组合激活函数提高了模型分类准确率,简单有效地缓解了神经元不可逆“坏死”现象;加快了模型的收敛速度,在复杂数据集上该组合函数的收敛性能更好.     

具有非可微激活函数的神经网络性能分析

神经网络已广泛应用于各类问题，然而ＢＰ算法要求有连续且可微的激活函数，文中提出一种用于训练非可微激活函数的神经网络学习算法，同时，利用相对熵误差测度，算法被完整地导出，实验结果表明，在解决异或问题、编码／解码问题又其补问题时，算法收敛速度非常快，收敛结果也令人满意。     

激活函数的发展综述及其性质分析

为深入研究激活函数的作用机制,探讨优良激活函数应具备的性质,以提高卷积神经网络模型的泛化能力,文章综述了激活函数的发展,分析得到优良激活函数应具备的性质.激活函数大体可分为"S型"激活函数、"ReLU型"激活函数、组合型激活函数、其他类型激活函数.在深度学习发展初期,"S型"激活函数得到了广泛应用.随着网络模型的加深,...     

激活函数的对比测试与分析

随着人工智能的发展、含有激活函数库开源框架的增加,针对激活函数库的对比与分析越来越重要。在Intel x86架构上进行实验,从函数性能、稳定性、精度3个方面测试并分析了PyTorch和TensorFlow两种主流人工智能框架中的常用激活函数。实验结果表明,PyTorch的整体稳定性要高于TensorFlow,且Sigmoid、Hardsigmoid、SeLU、ReLU、ReLU6、Tanh函数的性能皆优于TensorFlow;在精度方面,TensorFlow中除SeLU函数与LeakyReLU函数稍差些,其余函数与PyTorch表现相当。     

基于Softplus激活函数和改进Fisher判别的ELM算法

在极限学习机(extreme learning machine,ELM)网络中,对可加型隐单元的激活函数通常选择的是Sigmoid函数.因此,首先提出一种新型修正线性函数的近似平滑函数Softplus来替代它.Softplus激活函数因为更接近生物学的激活模型且具有一定的稀疏能力,可进一步优化网络性能.其次,为了使ELM算法训练的网络具有更好的分类性能,考虑了类内距和类间距的约束,提出了基于改进Fisher判别约束的ELM算法,从而使解析求得的输出权值更加利于分类,进一步改进了识别性能.最后,在手写数字库和人脸库上的实验证明了改进ELM算法的可行性和优越性.     

基于神经网络的工业洗衣机模糊控制器的研究

讨论了一种基于模糊控制曲面的神经网络控制器的实现．将它与原先开发的模糊控制器进行了对比研究，可以取代原来的模糊控制器．通过改变样本点可以改善原来的模糊控制控制器，为提高工业洗衣器控制器的控制性能提供了一种方法．     

基于径向基函数神经网络的精馏塔优化控制

精馏塔是化工过程中最常用的操作单元 ,其具有很强的非线性和时变性 ,很难进行机理建模分析或常规在线实时控制。针对精馏塔的非线性和时变性等特点提出了一种基于径向基函数神经网络的软测量模型的优化控制策略 ,从而解决了精馏塔建模困难的问题。由于采用了径向基函数网络 ,并利用正交化最小方差学习算法来训练径向基函数神经网络 ,使得控制算法简捷可靠 ,适用于时变对象 ,并具有很强的鲁棒性。将软测量结果与现场数据比较 ,表明本模型具有比较准确的跟踪显示效果 ,最后将软测量模型进一步应用到精馏塔的回流量和釜液排放量的优化控制中 ,并达到了满意的控制效果。     

一种新的深度卷积神经网络的SLU函数

修正线性单元(rectified linear unit,ReLU)是深度卷积神经网络常用的激活函数,但当输入为负数时,ReLU的输出为零,造成了零梯度问题;且当输入为正数时,ReLU的输出保持输入不变,使得ReLU函数的平均值恒大于零,引起了偏移现象,从而限制了深度卷积神经网络的学习速率和学习效果.针对ReLU函数的零梯度问题和偏移现象,根据"输出均值接近零的激活函数能够提升神经网络学习性能"原理对其进行改进,提出SLU(softplus linear unit)函数.首先,对负数输入部分进行softplus处理,使得负数输入时SLU函数的输出为负,从而输出平均值更接近于零,减缓了偏移现象;其次,为保证梯度平稳,对SLU的参数进行约束,并固定正数部分的参数;最后,根据SLU对正数部分的处理调整负数部分的参数,确保激活函数在零点处连续可导,信息得以双向传播.设计深度自编码模型在数据集MINST上进行无监督学习,设计网中网卷积神经网络模型在数据集CIFAR-10上进行监督学习.实验结果表明,与ReLU及其相关改进单元相比,基于SLU函数的神经网络模型具有更好的特征学习能力和更高的学习精度.     

The Neural Network Model of Sinusoid Activation Transfer Function

A new type of neural network is described, which is basing on Fourier series, and the activation transfer function in its neuron model is sinusoid, ft can approximate to any function, which is continuum in every segment, with any precision with by layers only. We also provide the computer approach emulation results of different kinds of static function.     

基于ReLU稀疏性的MAXOUT卷积神经网络的数据分类算法

卷积神经网络作为一种具有深度学习能力的人工学习网络,由于其具有权值数量少、网络模型复杂度低以及算法效率高等优点在很多领域被广泛应用,但是其表现在很大程度上依赖于激活函数的选取,而激活函数的选取又比较复杂,大都是依靠经验或者实验来选择,所以这个过程中会出现无先验知识可借鉴或者参数类型繁琐难以较快确定的情况。MAXOUT卷积神经网络的出现解决了激活函数难以选择的问题,在研究M AXOUT网络构架的基础上,针对其不稀疏的特性引入Re LU稀疏单元,提出了一种基于Re LU函数稀疏性的MAXOUT卷积神经网络,并在MINST和CIFAR 10两个数据集上分别进行了数据分类实验。实验结果表明,具有稀疏性的MAXOUT卷积神经网络的分类效果更加理想。     

基于径向基函数的混合神经网络模型研究

随着系统复杂程度的增加，构造一个径向基函数神经网络（RBFNN）所需样本及训练时间都急剧增加，得到的复杂网络往往不能完全揭示问题的层次和结构。采用“分而治之”的思想，提出了一种基于RBF的混合网络模型，通过最短距离均匀聚类方法划分样本空间，构造合适的子样本集和子网络模型对网络进行训练，与采用正交最小二乘法的单独RBF网络在结构、训练时间、泛化能力上做了对比。结果表明其时间复杂度有显著降低，网络的泛化能力与精度比全局RBFNN有明显提高。整个网络模型具有良好的扩展性和应用前景，适合于大样本神经网络的建模和训练问题。     

基于径向基神经网络的波达方向估计算法

针对传统的波达方向（DOA）估计算法在实际应用中普遍存在计算量较大,无法实时地跟踪期望信号且无法处理信号源数大于天线阵元数的问题,提出了一种在智能天线中基于径向基神经网络的波达方向估计算法.该算法利用神经网络进行多信号源跟踪（MUST）来完成信号源侦测和DOA估计.通过建立神经网络DOA估计算法模型,并对所建立的神经网络进行训练.通过仿真将该算法与传统的DOA估计算法进行比对的结果表明,基于径向基神经网络的波达方向估计算法能够快速准确的检测到信号源,响应时间明显快于传统的算法.     

基于熵方误差的QuasiNewton前馈神经网络

为了提高前馈神经网络学习算法的收敛速度 ,尝试定义熵方误差函数 ,在理论上证明了熵方误差函数的有效性 ,并将其应用于拟牛顿 (QuasiNewton)前馈神经网络。最后与使用其他误差函数的网络算法进行对比实验 ,结果表明引入熵方误差函数的前馈神经网络具有良好的收敛性与稳定性。     

基函数神经网络入侵检测系统的实现

提出一种新型的基函数神经网络用于入侵检测技术中,其中每个神经元的活跃函数各不相同,彼此正交,在更高层次上完成对生物神经系统的模拟,它即可以用于异常检测以检测出新的攻击,也可以用于误用检测以检测出已恬的攻击及其变种。根据所用基函数神经网络的基本结构和训练方法,在Windows环境下进行了基于网络的入侵检测实验,结果表明,运用基函数神经网络检测入侵,可提高入侵检测系统的准确检测率。     

基于遗传-神经网络算法的函数优化求解

提出了一种优化求解的遗传 神经网络算法 ,该算法综合遗传算法的全局性和神精网络算法的并行快速等特点 ,可克服传统数学方法不能精确求解、遗传算法最终进至最优解较慢和神经网络易陷入局部解的缺陷。实验结果表明具有全局性和收敛性     

基于径向基函数神经网络的自适应滤波器

自适应滤波器在信号检测、信号恢复、数字通信等领域中被广泛应用。传统的自适应滤波器主要在时域中实现。通常采用算法简单、稳健性好的自适应LMS算法。但LMS算法对输入信号的自相关矩阵具有很强的依赖性,因而自适应率不高。本文提出利用RBF神经网络实现的自适应滤波,并将其用于语音除噪和脉象信号的除噪。仿真结果表明该方法具有良好的非线性噪声抑制能力。     

基于混沌搜索的神经网络及在优化问题中的应用

在运用Hopfield神经网络求解优化方面问题的同时,引进GCM混沌神经网络,对求解过程进行了改进。通过混沌遍历,可使Hopfield网络在整个相空间进行搜索,从而避免网络在运行过程中陷入局部极小值。通过对一个物流配送的实例进行实验,结果显示Hopfield网络的寻优特性获得了较大改进。