双向权值调整的前向神经网络学习算法

提出一种新的前向神经网络的学习算法,该算法在正向和反向阶段均可以对不同的层间的权值进行必要的调整,在正向阶段按最小范数二乘解原则确定连接隐层与输出层的权值,反向阶段则按误差梯度下降原则调整通连接输入层与隐层间的权值,具有很快的学习能力和收敛速度,并且能在一定的程度上保证所训练神经网络的泛化能力,实验结果初步验证了新算法的性能。     

自学习神经网络权值初始化的贝叶斯方法

为了提高神经网络学习速度,以神经网络能实现基本控制功能为给定条件,在此给定条件下利用贝叶斯方法计算各种权值组合的后验概率,根据后验概率初始化网络权值而获得具有基本控制功能的初始神经网络,能够减小学习过程中权值修改的幅度,加快学习速度。通过交流电机矢量控制系统中速度环控制器自设计仿真实验,使用此方法初始化权值的网络自学习速度较随机取值法明显提高,验证了本方法的快速性和有效性。     

一种激励函数可调的快速BP算法

本文通过分析激励函数在传统BP算法中的作用,在激励函数中引入了可调参数,在力求保持传统BP算法简洁性的基础上,使其参数动态可调,有效的加快了网络学习的收敛速度。     

一种回声状态网络的权值初始化方法

为了避免奇异解,提高网络性能,给出一种回声状态网络的权值初始化方法(WIESN).利用柯西不等式和线性代数确定优化的初始权值的范围与输入维数、储备池维数、输入变量和储备池状态相关,从而确保神经元的输出位于sigmoid函数的激活区域.实验结果表明,权值初始化方法的精度和训练时间要优于随机初始化方法,且相比于训练时间,权值初始化的时间是可以忽略不计的.     

基于多层激励函数量子神经网络的字符识别算法

针对不同样本之间存在交叉数据的模式识别问题,将多层激励函数的量子神经网络引入模式识别之中,提出一种基于量子神经网络的模式识别算法。量子神经网络是将神经元与模糊理论相结合的模糊神经系统,由于自身固有的模糊性,它能将决策的不确定性数据合理地分配到各模式中,从而减少模式识别的不确定度,提高模式识别的准确性。本文以英文字母为例,应用量子神经网络模型进行字符识别,通过比较发现量子神经网络除了可以克服BP网络的诸多缺点外,对具有不确定性、两类模式之间存在交叉数据的模式识别问题,有极好的分类效果。仿真结果证明该方法的正确性和有效性。     

权值自适应调整的多分类器融合算法

针对度量层输出的多分类器融合,该文提出一种基于Multi-agent思想的融合算法。该算法给出样本集在多分类器下的偏好判断矩阵概念,可以根据各个样本的具体情况自适应地为各分类器赋予权值。实验证明,该算法可得到比其他方法更低的分类错误率。     

多输入Sigmoid激励函数神经网络权值与结构确定法

结合伪逆直接计算得到神经元之间最优权值的方法,提出了一种双阶段自动搜索与确定最优网络结构的算法,克服了原有BP神经网络模型及其学习算法的固有缺陷。以函数逼近为例,计算机数值实验结果显示了算法有效且耗时短,证实了由该算法得到的网络对于多输入函数具有较优良的逼近(学习与校验)性能。     

一类激励函数和阈值可扰动的神经网络的研究

把用于解决Ⅳ元奇偶校验问题的激活函数，由单个函数推广到了一条带状区域、一个函数族。把阈值由一个固定值推广到了一个区间。与已有的工作相比，所提出的神经网络是解决此类问题的抗干扰能力强，开发容易的网络。     

权值可直接算出的Legendre神经网络之隐节点数自动确定

隐神经元数目的确定在神经网络学习过程中有着重要的意义.然而,目前,还没有相应的确定性理论指导隐神经元数的设计.针对Legendre前向神经网络,在基于伪逆的权值直接确定法的基础上构造出一种神经网络隐节点数自动确定的算法.仿真结果显示该隐节点数自动确定算法能较快地找到最简化结构Legendre前向神经网络的隐节点数.     

具有混沌激励函数的BP网络算法

该文讨论了BP网络学习过程中的假饱和现象,并给出了一种改进的算法,有效地解决了假饱和的问题。仿真结果表明,该方法不但可以提高网络学习的快速性,而且具有一定的避免权值落入局部极小点的能力,从而提高了网络的收敛精度,同时,该算法还能提高网络的泛化能力。     

Weight Initialization for Simultaneous Recurrent Neural Network Trained with a Fixed-point Learning Algorithm

This letter presents a study of the Simultaneous Recurrent Neural network, an adaptive algorithm, as a nonlinear dynamic system for static optimization. Empirical findings, which were recently reported in the literature, suggest that the Simultaneous Recurrent Neural network offers superior performance for large-scale instances of combinatorial optimization problems in terms of desirable convergence characteristics improved solution quality and computational complexity measures. A theoretical study that encompasses exploration of initialization properties of the Simultaneous Recurrent Neural network dynamics to facilitate application of a fixed-point training algorithm is carried out. Specifically, initialization of the weight matrix entries to induce one or more stable equilibrium points in the state space of the nonlinear network dynamics is investigated and applicable theoretical bounds are derived. A simulation study to confirm the theoretical bounds on initial values of weights is realized. Theoretical findings and correlating simulation study performed suggest that the Simultaneous Recurrent Neural network dynamics possesses desirable stability characteristics as an adaptive recurrent neural network for addressing static optimization problems. This revised version was published online in June 2006 with corrections to the Cover Date.     

A New Weight Initialization Method for the MLP with the BP in Multiclass Classification Problems

Initial learning process of the BP, which can influence the performance of learning in multiclass classification problems, is analyzed. Also, the weights decreasing phenomena in the initial stage of learning are investigated. On the basis of this analysis, a new initialization method is proposed. The proposed method minimizes the initial objective function. It eliminates the phenomenon that weights decrease in the beginning of learning. Several simulation results show that the proposed initialization method performs much better than the conventional random initialization method in the batch mode and slightly better in the pattern mode. Since it requires only a little additional computation, it is a strong alternative to the conventional random initialization. It is expected that the proposed initialization method can be used with any accelerated learning algorithm to enhance the learning speed.     

基于局部权值阈值调整的BP算法的研究

文章针对BP算法收敛速度慢的问题,提出一种基于局部权值阈值调整的BP算法。该算法结合生物神经元学习与记忆形成的特点,针对特定的训练样本,只激发网络中的部分神经元以产生相应的输出,而未被激发的神经元产生的输出则与目标输出相差较大,那么我们就需要对未被激发的神经元权值阈值进行调整。所以该论文提出的算法是对局部神经元权值阈值的调整,而不是传统的BP算法需要对所有神经元权值阈值进行调整,这样有助于加快网络的学习速度。     

A New Learning Algorithm Using Simultaneous Perturbation with Weight Initialization

A new learning algorithm is proposed for training single hidden layer feedforward neural network. In each epoch, the connection weights are updated by simultaneous perturbation. Tunneling using perturbation technique is applied to detrap the local minima. The proposed technique is shown to give better convergence results for the selected problems, namely neuro-controller, XOR, L-T character recognition, two spirals, simple interaction function, harmonic function and complicated interaction function. This revised version was published online in June 2006 with corrections to the Cover Date.     

基于样条权函数神经网络的传感器故障诊断

在技术高速发展的今天,传感器用于各行各业,加之这些年来,家用电器、汽车、信息产业三方面的飞速发展,传感器需求量增大,传感器故障诊断技术变得尤为重要,并且对提高系统的可靠性具有重要意义。利用神经网络对传感器故障进行诊断的方法克服了分析冗余方法需要的系统精确数学模型的问题,并且可以处理非线性数据。文中详细阐述了样条权函数神经网络的结构、原理,在分析传感器主要故障的基础上,提出了样条权函数神经网络的传感器故障诊断方案。Matlab仿真和模拟实验结果表明,样条权函数神经网络可以解决传感器故障检测问题。     

高维数据中鲁棒激活函数的极端学习机及线性降维

极端学习机(extreme learning machine, ELM)训练速度快、分类率高,已经广泛应用于人脸识别等实际问题中,并取得了较好的效果.但实际问题中的数据往往维数较高,且经常带有噪声及离群点,降低了ELM算法的分类率.这主要是由于：1)输入样本维数过高;2)激活函数选取不当.以上两点使激活函数的输出值趋于零,最终降低了ELM算法的性能.针对第1个问题,提出一种鲁棒的线性降维方法(RAF-global embedding, RAF-GE)预处理高维数据,再通过ELM算法对数据进行分类;而对第2个问题,深入分析不同激活函数的性质,提出一种鲁棒激活函数(robust activation function, RAF),该激活函数可尽量避免激活函数的输出值趋于零,提升RAF-GE及ELM算法的性能.实验证实人脸识别方法的性能普遍优于使用其他激活函数的对比方法.     

样条权函数神经网络在指纹识别中的应用

样条权函数神经网络克服了很多传统神经网络（如BP、RBF）的缺点：比如局部极小、收敛速度慢等。样条权函数神经网络的拓扑结构简单,训练后的神经网络的权值是输入样本的函数,能够精确记忆训练过的样本,可以很好地反映样本的信息特征,亦可以求得全局最小值。为了克服传统网络在指纹识别中的弊端,文中利用了样条权函数神经网络的优点,介绍了其在指纹识别中的应用。首先通过主成分分析方法对指纹图像进行特征提取,然后利用样条权函数神经网络进行指纹识别,最后通过Matlab仿真与其他传统的神经网络进行比较,验证了样条权函数在指纹识别方面的可行性且比传统神经网络效率更高。     

基于三次样条权函数神经网络的钢坯温度预报

针对传统神经网络对铜坯温度预报存在的一些缺点,如：隐层数不易确定．网络训练对初值敏感等。该文利用三次样条权函数神经网络建立了钢坯温度预报模型．克服了传统神经网络的缺点。仿真结果表明该模型具有较高的精度。     

基于RBF神经网络的伊犁马体重估测模型

马匹体重是反映与衡量其健康状况的重要指标之一,并在马匹选育、肉质评价、饲养管理、马匹鉴定等方面具有重要参考意义。传统马体重估测模型的特征值之间存在共线性问题。故文中利用85匹一至三岁伊犁马的胸围、体高、体长信息作为特征值,采用K均值聚类算法确定隐含层中心点位置,并构建了基于径向基函数(RBF)的神经网络体重估测模型。模型采用平均绝对离差与线性拟合优度作为评价指标。线性伊犁马体重估测模型的平均绝对离差为15.45 kg,决定系数R 2为0.688,基于RBF神经网络的伊犁马体重估测模型的平均绝对离差为7.75 kg,决定系数R 2为0.917。研究结果表明:RBF神经网络模型能有效去除特征值之间的共线性问题,提高伊犁马体重估测准确度。基于RBF神经网络的伊犁马体重估测模型效果优于线性回归、通用性马体重估测模型,为准确估测伊犁马体重提供了新思路。     

A New Multi-output Neural Model with Tunable Activation Function and its Applications

In this paper, a new multi-output neural model with tunable activation function (TAF) and its general form are presented. It combines both traditional neural model and TAF neural model. Recursive least squares algorithm is used to train a multilayer feedforward neural network with the new multi-output neural model with tunable activation function (MO-TAF). Simulation results show that the MO-TAF-enabled multi-layer feedforward neural network has better capability and performance than the traditional multilayer feedforward neural network and the feedforward neural network with tunable activation functions. In fact, it significantly simplifies the neural network architecture, improves its accuracy and speeds up the convergence rate.