切比雪夫正交基神经网络的权值直接确定法

经典的BP神经网络学习算法是基于误差回传的思想.而对于特定的网络模型,采用伪逆思想可以直接确定权值进而避免以往的反复迭代修正的过程.根据多项式插值和逼近理论构造一个切比雪夫正交基神经网络,其模型采用三层结构并以一组切比雪夫正交多项式函数作为隐层神经元的激励函数.依据误差回传(BP)思想可以推导出该网络模型的权值修正迭代公式,利用该公式迭代训练可得到网络的最优权值.区别于这种经典的做法,针对切比雪夫正交基神经网络模型,提出了一种基于伪逆的权值直接确定法,从而避免了传统方法通过反复迭代才能得到网络权值的冗长训练过程.仿真结果表明该方法具有更快的计算速度和至少相同的工作精度,从而验证了其优越性.     

复指数Fourier神经元网络隐神经元衍生算法

以平方可积空间上的复指数Fourier级数作为激励函数构造了新型Fourier神经元网络,并推导出采用加号逆表示的网络权值直接确定公式,克服了传统BP神经网络收敛速度慢、易陷于局部极小点、迭代学习易发生振荡等缺陷。并在此基础上构造了隐神经元衍生算法,克服了传统BP神经网络难以确定最优网络拓扑结构的缺点。理论分析及仿真实验表明,该复指数Fourier神经元网络能够一步计算网络最优权值且能自适应调整网络结构,对随机加性噪声具有抑制作用,并能高精度逼近非连续函数。     

中心、方差及权值直接确定的RBF神经网络分类器

模式分类是径向基函数(RBF)神经网络应用的一个重要方面,目前大多数RBF网络都采用迭代学习的方法.区别于反复迭代训练而得到网络参数的惯常做法,重新探讨一种基于矩阵伪逆或逆的中心、方差及权值可直接确定的方法.并基于此方法构建一种模式识别分类器,对IRIS分类问题进行计算机仿真验证.结果表明,相对于迭代法,该直接确定方法具有更快的计算速度,构建的RBF神经网络分类器也具有良好的分类性能.     

基函数神经网络逼近能力探讨及全局收敛性分析

构建一类新型基函数神经网络.依据梯度下降法思想,给出该神经网络的权值迭代公式,证明迭代序列能全局收敛到网络的最优权值,并由此推导出基于伪逆的最优权值一步计算公式--简称为权值直接确定法.理论分析表明,该新型神经网络具有最佳均方逼近能力和全局收敛性质,其权值直接确定法避免了冗长迭代计算、易陷于局部极小点、学习丰难选取等传统BP神经网络难以解决的难题,仿真验证显示其相时BP神经网络的各种改进算法具有运算速度快、计算精度高等优势,且对于噪声有良好的滤除特性.     

基于分段线性插值的过程神经网络训练

过程神经元网络的输入为时变连续函数,不能直接输入离散样本。针对该问题,提出一种基于分段线性插值函数的过程神经网络训练方法。将样本函数、过程神经元权函数的离散化数据插值为分段表示的线性函数,计算样本函数与权值函数乘积在给定采样区间上的积分,将此积分值提交给网络的隐层过程神经元,并计算网络输出。实验结果证明了该方法的有效性。     

多模态粒子群集成神经网络

提出一种基于多模态粒子群算法的神经网络集成方法,在网络训练每个迭代周期内利用改进的快速聚类算法在权值搜索空间上动态地把搜索粒子分为若干类,求得每一类的最优粒子,然后计算最优个体两两之间的输出空间相异度,合并相异度过低的两类粒子,最终形成不但权值空间相异、而且输出空间也相异的若干类粒子,每类粒子负责一个成员网络权值的搜索,其中最优粒子对应于一个成员网络,所有类的最优粒子组成神经网络集成,成员网络的个数是由算法自动确定的.算法控制网络多样性的方法更直接、更有效.与负相关神经网络集成、bagging和boosting方法比较,实验结果表明,此算法较好地提高了神经网络集成的泛化能力.     

一种改进型离散Hopfield学习算法

针对离散Hopfield神经网络(DHNN)的权值设计问题,提出一种改进型学习算法,并在DHNN动力学分析的基础上设计该学习算法.利用矩阵分解的方法(MD)得到正交矩阵,并采用得到的正交矩阵直接计算DHNN的权值矩阵.通过该学习算法得到的权值矩阵,可以很好地存储训练样本的信息,使测试样本收敛到稳定点.该学习算法不需要进行分块计算,减少了计算步骤和计算量,降低了网络的迭代次数,从而提高了网络运行速度.最后,将该学习算法应用于水质评价,验证了其有效性和可行性.     

一种改进型离散Hopfield学习算法

针对离散Hopfield 神经网络(DHNN) 的权值设计问题, 提出一种改进型学习算法, 并在DHNN动力学分析的基础上设计该学习算法. 利用矩阵分解的方法(MD) 得到正交矩阵, 并采用得到的正交矩阵直接计算DHNN的权值矩阵. 通过该学习算法得到的权值矩阵, 可以很好地存储训练样本的信息, 使测试样本收敛到稳定点. 该学习算法不需要进行分块计算, 减少了计算步骤和计算量, 降低了网络的迭代次数, 从而提高了网络运行速度. 最后, 将该学习算法应用于水质评价, 验证了其有效性和可行性.     

PID神经元网络多变量控制系统分析

PID神经元网络是一种新的多层前向神经元网络,其隐含层单元分别为比例(P)、积 分(I)、微分(D)单元,各层神经元个数、连接方式、连接权初值是按PID控制规律的基本原则 确定的,它可以用于多变量系统的解耦控制.给出了PID神经元网络的结构形式和计算方 法,从理论上证明了PID神经元网络多变量控制系统的收敛件和稳定性,通过计算机仿真证 明了PID神经元网络具有良好的自学习和自适应解耦控制性能.     

基于QPSO和极限学习的离散过程神经网络及学习算法

连续过程神经元网络在权函数正交基展开时, 基函数个数无法有效确定, 因此逼近精度不高. 针对该问题, 提出一种离散过程神经元网络, 使用三次样条数值积分处理离散样本和权值的时域聚合运算. 模型训练采用双链量子粒子群完成输入权值的全局寻优, 通过量子旋转门和非门完成种群进化. 局部使用极限学习, 通过Moore-Penrose广义逆计算输出权值. 以时间序列预测为例进行仿真实验, 结果验证了模型的有效性, 且训练收敛能力和逼近能力都有一定程度的提高.     

Linear-least-squares initialization of multilayer perceptrons through backpropagation of the desired response

Training multilayer neural networks is typically carried out using descent techniques such as the gradient-based backpropagation (BP) of error or the quasi-Newton approaches including the Levenberg-Marquardt algorithm. This is basically due to the fact that there are no analytical methods to find the optimal weights, so iterative local or global optimization techniques are necessary. The success of iterative optimization procedures is strictly dependent on the initial conditions, therefore, in this paper, we devise a principled novel method of backpropagating the desired response through the layers of a multilayer perceptron (MLP), which enables us to accurately initialize these neural networks in the minimum mean-square-error sense, using the analytic linear least squares solution. The generated solution can be used as an initial condition to standard iterative optimization algorithms. However, simulations demonstrate that in most cases, the performance achieved through the proposed initialization scheme leaves little room for further improvement in the mean-square-error (MSE) over the training set. In addition, the performance of the network optimized with the proposed approach also generalizes well to testing data. A rigorous derivation of the initialization algorithm is presented and its high performance is verified with a number of benchmark training problems including chaotic time-series prediction, classification, and nonlinear system identification with MLPs.     

BP算法收敛性分析及改进

在标准BP神经网络的训练中,将误差函数作为权值调整的依据,使用固定学习率计算权值,这样的结果往往使网络的学习速度过慢甚至无法收敛。对此,从网络收敛的稳定性和速度的角度出发,分析了误差函数和权值修改函数,对算法中学习率的作用进行了具体的讨论,提出了一种根据误差变化对学习率进行动态调整的方法。该方法简单实用,能有效防止网络训练时出现发散,提高网络的收敛速度和稳定性。     

改进人工蜂群优化BP神经网络的分类研究

针对BP神经网络对初始权重敏感,容易陷入局部最优,人工蜂群算法局部搜索能力和开发能力相对较弱等问题,提出一种基于改进人工蜂群和反向传播的神经网络训练方法。引进差分进化思想改进人工蜂群算法,并对跟随蜂的搜索行为进行更准确的描述。用改进的人工蜂群全局搜索神经网络的初始权重,防止神经网络陷入局部最优。用新的方法对神经网络训练进行分类。实验结果表明,该算法相对于标准的BP神经网络,有效提高了分类正确率,泛化能力较强。     

基于PSO的神经网络在传感器 数据融合中的应用

针对压力传感器对温度存在交叉灵敏度这一具体问题,常采用BP神经网络对其进行数据融合.但BP神经网络方法训练收敛速度慢,易陷入局部最优.采用PSO全局优化算法训练多层前向神经网络权值,使网络训练误差比BP方法降低了两个数量级,并且收敛速度明显加快.融合结果表明基于PSO神经网络方法更有效地消除了温度对压力传感器的影响,显著提高了传感器的稳定性和准确度.     

基于结构简化的BP网络的多类形状识别

BP算法是目前应用极为广泛的神经网络算法,但它也存在一些不足。文中提出了一种使BP网络结构简化的改进的BP算法,它使得网络的速度得到了提高,减少了迭代次数。最后将传统的BP算法和改进的BP算法进行了比较,仿真结果表明改进的算法在学习次数和收敛速度上比传统的算法有很大的改善。     

基于正交信号修正法的BP网络模型及其应用

介绍一种新的多变量数据预处理方法——正交信号修正(OSC)法,提出一种OSC与NIPALS算法结合的O-PLS算法,将该方法用于确定BP网络的基本结构,即确定BP网络的隐层数、节点数及其初始权值,由此建立了O-PLS-BP网络模型。并将它与标准的BP网络模型、PLS-BP网络模型进行比较。仿真结果表明,该算法的拟合和预测效果较好。     

基于BP网的符号规则生成

本文提出一种训练标准ＢＰ网络的方法，该方法能以模糊判定规则的形成立即解释连接权值。该方法可以用来从一组例子中生成的的分类规则，同样也能用来简化已有的规则库。     

一种快速逼近的神经网络构造性算法

选取合适的网络结构是前馈网络应用中首先遇到一个十分重要而又困难的问题。文章针对前馈网络的特点,提出了一种网络构造算法。该算法的主要特点是把二层网络的训练问题转化为求解线性方程组的最小二乘解,直接求得使误差最小的权值矩阵,并通过划分样本子集来创建子网,把子网输出映射到输出层,形成三层网络结构。由于避免了传统BP算法的梯度搜索过程,该算法能快速收敛。仿真结果表明,所提出的算法可快速、有效地逼近连续函数。     

Upper bounds on the number of hidden neurons in feedforwardnetworks with arbitrary bounded nonlinear activation functions

It is well known that standard single-hidden layer feedforward networks (SLFNs) with at most N hidden neurons (including biases) can learn N distinct samples (x(i),t(i)) with zero error, and the weights connecting the input neurons and the hidden neurons can be chosen "almost" arbitrarily. However, these results have been obtained for the case when the activation function for the hidden neurons is the signum function. This paper rigorously proves that standard single-hidden layer feedforward networks (SLFNs) with at most N hidden neurons and with any bounded nonlinear activation function which has a limit at one infinity can learn N distinct samples (x(i),t(i)) with zero error. The previous method of arbitrarily choosing weights is not feasible for any SLFN. The proof of our result is constructive and thus gives a method to directly find the weights of the standard SLFNs with any such bounded nonlinear activation function as opposed to iterative training algorithms in the literature.