双向权值调整的前向神经网络学习算法

提出一种新的前向神经网络的学习算法,该算法在正向和反向阶段均可以对不同的层间的权值进行必要的调整,在正向阶段按最小范数二乘解原则确定连接隐层与输出层的权值,反向阶段则按误差梯度下降原则调整通连接输入层与隐层间的权值,具有很快的学习能力和收敛速度,并且能在一定的程度上保证所训练神经网络的泛化能力,实验结果初步验证了新算法的性能。     

自学习神经网络权值初始化的贝叶斯方法

为了提高神经网络学习速度,以神经网络能实现基本控制功能为给定条件,在此给定条件下利用贝叶斯方法计算各种权值组合的后验概率,根据后验概率初始化网络权值而获得具有基本控制功能的初始神经网络,能够减小学习过程中权值修改的幅度,加快学习速度。通过交流电机矢量控制系统中速度环控制器自设计仿真实验,使用此方法初始化权值的网络自学习速度较随机取值法明显提高,验证了本方法的快速性和有效性。     

一种回声状态网络的权值初始化方法

为了避免奇异解,提高网络性能,给出一种回声状态网络的权值初始化方法(WIESN).利用柯西不等式和线性代数确定优化的初始权值的范围与输入维数、储备池维数、输入变量和储备池状态相关,从而确保神经元的输出位于sigmoid函数的激活区域.实验结果表明,权值初始化方法的精度和训练时间要优于随机初始化方法,且相比于训练时间,权值初始化的时间是可以忽略不计的.     

基于多层激励函数量子神经网络的字符识别算法

针对不同样本之间存在交叉数据的模式识别问题,将多层激励函数的量子神经网络引入模式识别之中,提出一种基于量子神经网络的模式识别算法。量子神经网络是将神经元与模糊理论相结合的模糊神经系统,由于自身固有的模糊性,它能将决策的不确定性数据合理地分配到各模式中,从而减少模式识别的不确定度,提高模式识别的准确性。本文以英文字母为例,应用量子神经网络模型进行字符识别,通过比较发现量子神经网络除了可以克服BP网络的诸多缺点外,对具有不确定性、两类模式之间存在交叉数据的模式识别问题,有极好的分类效果。仿真结果证明该方法的正确性和有效性。     

权值自适应调整的多分类器融合算法

针对度量层输出的多分类器融合,该文提出一种基于Multi-agent思想的融合算法。该算法给出样本集在多分类器下的偏好判断矩阵概念,可以根据各个样本的具体情况自适应地为各分类器赋予权值。实验证明,该算法可得到比其他方法更低的分类错误率。     

多输入Sigmoid激励函数神经网络权值与结构确定法

结合伪逆直接计算得到神经元之间最优权值的方法,提出了一种双阶段自动搜索与确定最优网络结构的算法,克服了原有BP神经网络模型及其学习算法的固有缺陷。以函数逼近为例,计算机数值实验结果显示了算法有效且耗时短,证实了由该算法得到的网络对于多输入函数具有较优良的逼近(学习与校验)性能。     

一类激励函数和阈值可扰动的神经网络的研究

把用于解决Ⅳ元奇偶校验问题的激活函数，由单个函数推广到了一条带状区域、一个函数族。把阈值由一个固定值推广到了一个区间。与已有的工作相比，所提出的神经网络是解决此类问题的抗干扰能力强，开发容易的网络。     

权值可直接算出的Legendre神经网络之隐节点数自动确定

隐神经元数目的确定在神经网络学习过程中有着重要的意义.然而,目前,还没有相应的确定性理论指导隐神经元数的设计.针对Legendre前向神经网络,在基于伪逆的权值直接确定法的基础上构造出一种神经网络隐节点数自动确定的算法.仿真结果显示该隐节点数自动确定算法能较快地找到最简化结构Legendre前向神经网络的隐节点数.     

具有混沌激励函数的BP网络算法

该文讨论了BP网络学习过程中的假饱和现象,并给出了一种改进的算法,有效地解决了假饱和的问题。仿真结果表明,该方法不但可以提高网络学习的快速性,而且具有一定的避免权值落入局部极小点的能力,从而提高了网络的收敛精度,同时,该算法还能提高网络的泛化能力。     

基于BP算法的加权模糊Petri网权值学习算法

加权模糊Petri网缺乏较强的自学习能力,针对这个问题,给出了一个基于BP算法的加权模糊Petri网权值学习算法。该算法不需要对原有模型进行修改,使得加权模糊Petri网权值的学习和训练得到一定地简化。     

Weight Initialization for Simultaneous Recurrent Neural Network Trained with a Fixed-point Learning Algorithm

This letter presents a study of the Simultaneous Recurrent Neural network, an adaptive algorithm, as a nonlinear dynamic system for static optimization. Empirical findings, which were recently reported in the literature, suggest that the Simultaneous Recurrent Neural network offers superior performance for large-scale instances of combinatorial optimization problems in terms of desirable convergence characteristics improved solution quality and computational complexity measures. A theoretical study that encompasses exploration of initialization properties of the Simultaneous Recurrent Neural network dynamics to facilitate application of a fixed-point training algorithm is carried out. Specifically, initialization of the weight matrix entries to induce one or more stable equilibrium points in the state space of the nonlinear network dynamics is investigated and applicable theoretical bounds are derived. A simulation study to confirm the theoretical bounds on initial values of weights is realized. Theoretical findings and correlating simulation study performed suggest that the Simultaneous Recurrent Neural network dynamics possesses desirable stability characteristics as an adaptive recurrent neural network for addressing static optimization problems. This revised version was published online in June 2006 with corrections to the Cover Date.     

深度学习中的权重初始化方法研究

深度神经网络训练的实质是初始化权重不断调整的过程,整个训练过程存在耗费时间长、需要数据量大等问题。大量预训练网络由经过训练的权重数据组成,若能发现预训练网络权重分布规律,利用这些规律来初始化未训练网络,势必会减少网络训练时间。通过对AlexNet、ResNet18网络在ImageNet数据集上的预训练模型权重进行概率分布分析,发现该权重分布具备单侧幂律分布的特征,进而使用双对数拟合的方式进一步验证权重的单侧分布服从截断幂律分布的性质。基于该分布规律,结合防止过拟合的正则化思想提出一种标准化对称幂律分布（NSPL）的初始化方法,并基于AlexNet和ResNet32网络,与He初始化的正态分布、均匀分布两种方法在CIFAR10数据集上进行实验对比,结果表明,NSPL方法收敛速度优于正态分布、均匀分布两种初始化方法,且在ResNet32上取得了更高的精确度。     

基于ArcReLU函数的神经网络激活函数优化研究

近年来深度学习发展迅猛。由于深度学习的概念源于神经网络,而激活函数更是神经网络模型在学习理解非线性函数时不可或缺的部分,因此本文对常用的激活函数进行了研究比较。针对常用的激活函数在反向传播神经网络中具有收敛速度较慢、存在局部极小或梯度消失的问题,将Sigmoid系和ReLU系激活函数进行了对比,分别讨论了其性能,详细分析了几类常用激活函数的优点及不足,并通过研究Arctan函数在神经网络中应用的可能性,结合ReLU函数,提出了一种新型的激活函数ArcReLU。实验证明,该函数既能显著加快反向传播神经网络的训练速度,又能有效降低训练误差并避免梯度消失的问题。     

基于改进sigmoid激活函数的深度神经网络训练算法研究

针对深度神经网络训练过程中残差随着其传播深度越来越小而使底层网络无法得到有效训练的问题,通过分析传统sigmoid激活函数应用于深度神经网络的局限性,提出双参数sigmoid激活函数。一个参数保证激活函数的输入集中坐标原点两侧,避免了激活函数进入饱和区,一个参数抑制残差衰减的速度,双参数结合有效的增强了深度神经网络的训练。结合DBN对MNIST数据集进行数字分类实验,实验表明双参数 sigmoid激活函数能够直接应用于无预训练深度神经网络,而且提高了sigmoid激活函数在有预训练深度神经网络中的训练效果。     

A New Weight Initialization Method for the MLP with the BP in Multiclass Classification Problems

Initial learning process of the BP, which can influence the performance of learning in multiclass classification problems, is analyzed. Also, the weights decreasing phenomena in the initial stage of learning are investigated. On the basis of this analysis, a new initialization method is proposed. The proposed method minimizes the initial objective function. It eliminates the phenomenon that weights decrease in the beginning of learning. Several simulation results show that the proposed initialization method performs much better than the conventional random initialization method in the batch mode and slightly better in the pattern mode. Since it requires only a little additional computation, it is a strong alternative to the conventional random initialization. It is expected that the proposed initialization method can be used with any accelerated learning algorithm to enhance the learning speed.     

基于局部权值阈值调整的BP算法的研究

文章针对BP算法收敛速度慢的问题,提出一种基于局部权值阈值调整的BP算法。该算法结合生物神经元学习与记忆形成的特点,针对特定的训练样本,只激发网络中的部分神经元以产生相应的输出,而未被激发的神经元产生的输出则与目标输出相差较大,那么我们就需要对未被激发的神经元权值阈值进行调整。所以该论文提出的算法是对局部神经元权值阈值的调整,而不是传统的BP算法需要对所有神经元权值阈值进行调整,这样有助于加快网络的学习速度。     

高维数据中鲁棒激活函数的极端学习机及线性降维

极端学习机(extreme learning machine, ELM)训练速度快、分类率高,已经广泛应用于人脸识别等实际问题中,并取得了较好的效果.但实际问题中的数据往往维数较高,且经常带有噪声及离群点,降低了ELM算法的分类率.这主要是由于：1)输入样本维数过高;2)激活函数选取不当.以上两点使激活函数的输出值趋于零,最终降低了ELM算法的性能.针对第1个问题,提出一种鲁棒的线性降维方法(RAF-global embedding, RAF-GE)预处理高维数据,再通过ELM算法对数据进行分类;而对第2个问题,深入分析不同激活函数的性质,提出一种鲁棒激活函数(robust activation function, RAF),该激活函数可尽量避免激活函数的输出值趋于零,提升RAF-GE及ELM算法的性能.实验证实人脸识别方法的性能普遍优于使用其他激活函数的对比方法.     

基于样条权函数神经网络的传感器故障诊断

在技术高速发展的今天,传感器用于各行各业,加之这些年来,家用电器、汽车、信息产业三方面的飞速发展,传感器需求量增大,传感器故障诊断技术变得尤为重要,并且对提高系统的可靠性具有重要意义。利用神经网络对传感器故障进行诊断的方法克服了分析冗余方法需要的系统精确数学模型的问题,并且可以处理非线性数据。文中详细阐述了样条权函数神经网络的结构、原理,在分析传感器主要故障的基础上,提出了样条权函数神经网络的传感器故障诊断方案。Matlab仿真和模拟实验结果表明,样条权函数神经网络可以解决传感器故障检测问题。     

A New Learning Algorithm Using Simultaneous Perturbation with Weight Initialization

A new learning algorithm is proposed for training single hidden layer feedforward neural network. In each epoch, the connection weights are updated by simultaneous perturbation. Tunneling using perturbation technique is applied to detrap the local minima. The proposed technique is shown to give better convergence results for the selected problems, namely neuro-controller, XOR, L-T character recognition, two spirals, simple interaction function, harmonic function and complicated interaction function. This revised version was published online in June 2006 with corrections to the Cover Date.     

激活函数在卷积神经网络中的对比研究

近年,深度学习的快速发展致使越来越多的人从事相关的研究工作.但是,许多研究者在搭建深度神经网络模型时只是根据标准算法或改进算法直接搭建,而对算法本身及影响模型性能的因素不甚了解,致使在许多应用中或多或少存在盲目套用现象.通过研究深度神经网络,选择其中的重要影响因素激活函数进行深入研究.首先,分析了激活函数如何影响深度神经网络;接着对激活函数的发展现状及不同激活函数的原理性能进行了分析总结;最后,基于Caffe框架用CNN对Mnist数据集进行分类识别实验,对5种常用激活函数进行综合分析比较,为设计深度神经网络模型时选用激活函数提供参考.