构造前向神经网络逼近多项式函数

首先用构造性的方法证明:对于任意的n阶多元多项式函数,可以构造一个三层前向神经网络以任意精度逼近该多项式,所构造网络的隐层节点个数仅与多项式的维数d和阶数n有关.然后,我们给出实现这一逼近的具体算法.最后,给出两个算例进一步验证所得的理论结果.本文结果对神经网络逼近多元多项式函数的具体网络构造以及实现这一逼近的方法等问题具有指导意义.     

多项式函数的神经网络逼近: 网络的构造与逼近算法

该文作者先用构造性方法证明：对于给定的r阶多项式函数,可以具体地构造出一个三层前向神经网络,以任意精度逼近该多项式,所构造的网络的隐层节点个数仅与多项式的阶数r和网络的输入个数s有关,并能准确地用r表达;然后,给出一个实现这一逼近的具体算法;最后,给出两个数值算例进一步验证所得的理论结果．该文所获得的结果对前向神经网络逼近多项式函数类的网络具体构造以及实现逼近的方法等问题具有较为重要的指导意义．     

前向代数神经网络的函数逼近理论及学习算法

文中对ＭＰ神经元模型进行了推广,定义了多项代数神经元、多项式代数神经网络,将多项式代数融入代数神经网络,分析了前向多项式代数神经网络函数逼近能力及理论依据,设计出了一类双输入单输出的前向４层多层式代数神经网络模型,由该模型构成的网络能够逼近于给定的二元多项式到预定的精度。给出了在Ｐ－ａｄｉｃ意义下的多项式代数神经网络函数逼近整体学习算法,在学习的过程中,不存在局部极小,通过实例表明,该算法有效,最     

多项式函数的泛函网络构造与逼近算法

关于多项式函数算法优化问题,人工神经网络是解决函数逼近问题的一个重要方法.但由于传统的学习型神经网络存在缺陷,如对初始权重非常敏感,极易收敛于局部极小;收敛缓慢甚至不能收敛;过拟合与过训练;网络隐含节点数不确定等.针对上述问题,提出了一种多项式函数的三层泛函网络与逼近算法,并给出了中间隐层计算单元个数是如何确定.提出的算法能以任意精度逼近多项式函数,同时具有较快收敛速度和良好性能,克服了人工神经网络的不足.最后,给出了两个数值算例进一步验证算法的正确性.     

多层前向小世界神经网络及其函数逼近

借鉴复杂网络的研究成果, 探讨一种在结构上处于规则和随机连接型神经网络之间的网络模型—-多层前向小世界神经网络. 首先对多层前向规则神经网络中的连接依重连概率p进行重连, 构建新的网络模型, 对其特征参数的分析表明, 当0 < p < 1时, 该网络在聚类系数上不同于Watts-Strogatz 模型; 其次用六元组模型对网络进行描述; 最后, 将不同p值下的小世界神经网络用于函数逼近, 仿真结果表明, 当p = 0:1时, 网络具有最优的逼近性能, 收敛性能对比试验也表明, 此时网络在收敛性能、逼近速度等指标上要优于同规模的规则网络和随机网络.     

模糊系统与前向神经网络的结合

1 引言模糊系统方法和神经网络技术是近年来计算智能领域研究热点,被广泛地应用于复杂系统、非确定性等难于建立比较准确的数学模型的问题,并在自动控制、计算机图像处理、语音识别、手写体识别等领域有重要应用。模糊系统与神经网络的结合也越来越受到人们的重视。模糊系统和神经网络的结合可以分为模糊系统与前向网络的结合和与反馈网络的结合两类。模糊系统与反馈网络的结合主要有模糊联想记忆、模糊     

蚁群算法优化前向神经网络的一种方法

蚁群算法(ACA)是一种新型的寻优策略,此文章尝试将蚁群算法用于三层前向神经网络的学习过程,建立了相应的优化模型,进行了实际的编程计算,并与加动量项的BP算法、演化算法以及模拟退火算法进行比较,结果表明ACA具有更好的全局收敛性,鲁棒性强,以及对初值不敏感等特点。     

多层前向网络的逼近与泛化机制

对多层前向网络的实际逼近过程进行了系统的分析，对前向网络泛化问题的数学和逻辑根源进行了阐述。研究表明，多层前向网络的实际逼近过程所基于的数学空间和Ｋｏｌｍｏｇｏｒｏｖ等人关于理想网络映射能力的数学证明所基于的数学空间是不同的，它们是两类性质不同的逼近问题，具有完全不同的逼近机制。前向网络适合于描述人数的感受。     

基于核函数的SVM机与三层前向神经网络的关系

针对尚未完全解决的SVM理论中求核函数的问题,首先证明了Vapnik的基于核函数的SVM机与三层前向神经网络的等价性;其次以作者提出的神经网络的覆盖算法为工具,证明了如下的定理（核函数存在性定理）;对任给的样本集（规模有限）,必存在一函数（或相应的核函数）,样本集在此函数映射下,映成某高维空间中的一子集（样本集的像集）,在此高维空间中,像集是线性可分的;最后给出求解此函数的算法,算法的计算复杂性是多项式的,且算法求到的解在高维空间上是最大间隔解。     

利用人工鱼群算法优化前向神经网络

人工鱼群算法(AFSA)是一种最新提出的新型的寻优策略，文中尝试将人工鱼群算法用于三层前向神经网络的训练过程，建立了相应的优化模型，进行了实际的编程计算，并与加动量项的BP算法、演化算法以及模拟退火算法进行比较，结果表明AFSA具有鲁棒性强，全局收敛性好，以及对初值的不敏感性等特点。     

一种新的前向神经网络自适应学习算法

针对时变和／或非线性输入的前向神经网络提出了一种感知自适应算法。其本质是迫使输出的实际值和期望值之间的误差满足一个渐近稳定的差分方程，而不是用后向传播方法使误差函数极小化。通过适当排列扩张输入可以避免算法的奇异性。     

基于互补遗传算子的前馈神经网络三阶段学习方法

论文提出了一种新的基于互补遗传算子的前馈神经网络三阶段学习方法。该方法把神经网络的学习过程分为三个阶段。第一阶段为结构辨识阶段,采用遗传算法进行神经网络隐层节点数目的选择和初始参数的设定,并基于发现的遗传算子的互补效应设计高效互补遗传算子。第二阶段为参数辨识阶段,采用效率较高的神经网络算法如L-M算法进行神经网络参数的进一步学习。第三阶段为剪枝阶段,通过获得最小结构的神经网络以提高其泛化能力。在整个学习过程中,学习过程的可控性以及神经网络的逼近精度、复杂度和泛化能力之间得到了满意平衡。仿真试验结果证明了该方法的有效性。     

Fast Learning Algorithms for Feedforward Neural Networks

In order to improve the training speed of multilayer feedforward neural networks (MLFNN), we propose and explore two new fast backpropagation (BP) algorithms obtained: (1) by changing the error functions, in case using the exponent attenuation (or bell impulse) function and the Fourier kernel function as alternative functions; and (2) by introducing the hybrid conjugate-gradient algorithm of global optimization for dynamic learning rate to overcome the conventional BP learning problems of getting stuck into local minima or slow convergence. Our experimental results demonstrate the effectiveness of the modified error functions since the training speed is faster than that of existing fast methods. In addition, our hybrid algorithm has a higher recognition rate than the Polak-Ribieve conjugate gradient and conventional BP algorithms, and has less training time, less complication and stronger robustness than the Fletcher-Reeves conjugate-gradient and conventional BP algorithms for real speech data.     

关于三层前馈神经网络隐层构建问题的研究

针对最佳平方逼近三层前馈神经网络模型,分析了与隐层单元性能相关的表示空间 与误差空间、目标空间与耗损空间的作用,提出了按网络生长方式构建隐层时隐单元选择准则和评价方法。研究结果表明：隐单元选取策略应遵循其输出向量有效分量位于误差空间、回避耗损空间和尽可能趋向于极大能量方向的原则,这一结果与隐单元采用什么激发函数无关,也允许各隐单元采用不同激发函数。网络的隐层性能评价可以通过隐层品质因子、隐层有效系数、隐单元剩余度来进行,而总体结果可采用隐层评价因子进行评测。     

A Hybrid Training Algorithm for Feedforward Neural Networks

Feedforward neural networks (FNN) have been proposed to solve complex problems in pattern recognition, classification and function approximation. Despite the general success of learning methods for FNN, such as the backpropagation (BP) algorithm, second-order algorithms, long learning time for convergence remains a problem to be overcome. In this paper, we propose a new hybrid algorithm for a FNN that combines unsupervised training for the hidden neurons (Kohonen algorithm) and supervised training for the output neurons (gradient descent method). Simulation results show the effectiveness of the proposed algorithm compared with other well-known learning methods.     

Neural and Neurofuzzy FELA Adaptive Robot Control Using Feedforward and Counterpropagation Networks

In this paper, the application of neural networks and neurofuzzy systems to the control of robotic manipulators is examined. Two main control structures are presented in a comparative manner. The first is a Counter Propagation Network-based Fuzzy Controller (CPN-FC) which is able to self-organize and correct on-line its rule base. The self-tuning capability of the fuzzy logic controller is attained by taking advantage of the structural equivalence between the fuzzy logic controller and a counterpropagation network. The second control structure is a more familiar neural adaptive controller based on a feedforward (MLP) network. The neural controller learns the inverse dynamics of the robot joints, and gradually eliminates the model uncertainties and disturbances. Both schemes cooperate with the computed torque control algorithm, and in that way the reduction of their complexity is achieved. The ability of adaptive fuzzy systems to compete with neural networks in difficult control problems is demonstrated. A sufficient set of numerical results is included.     

前馈神经网络的新学习算法研究及其应用

为了提高多层前馈神经网络的权的学习效率。通过引入变尺度法,提出一种新的学习算法。理论上新算法不仅具有变尺度优化方法的一切优点,而且也能起到Kick—Out学习算法中动量项及修正项的相同作用,同时又克服了动量系数及修正项系数难以适当选择的困难。仿真试验证明了新学习算法用于非线性动态系统建模时的有效性。     

基于代数神经网络的置换多项式判定网络学习算法

从神经元的运算特性入手,对神经元的激发函数,网络结构,学习目标三方面进行了推广,设计出了一类用于有限域上置换多项式判定的多项式神经网络模型,它们是单输入单输出的3层神经网络。给出了两类置换多项式判定的离散网络模型学习算法,该算法简单可行,易于实现。     

前馈神经网络的新算法及其收敛性

从一般前馈神经网络模型出发，构造出一组关于权重的非线性方程组，给出不同于传统ＢＰ算法的新型神经元算法。理论证明了该算法的收敛性，从而避免了ＢＰ算法的局限性。