前向代数神经网络的函数逼近理论及学习算法

文中对ＭＰ神经元模型进行了推广,定义了多项代数神经元、多项式代数神经网络,将多项式代数融入代数神经网络,分析了前向多项式代数神经网络函数逼近能力及理论依据,设计出了一类双输入单输出的前向４层多层式代数神经网络模型,由该模型构成的网络能够逼近于给定的二元多项式到预定的精度。给出了在Ｐ－ａｄｉｃ意义下的多项式代数神经网络函数逼近整体学习算法,在学习的过程中,不存在局部极小,通过实例表明,该算法有效,最     

基于傅立叶函数基变换的过程神经元网络学习算法

针对过程神经元网络训练涉及的时域聚合运算问题,提出了一种基于傅立叶正交函数基展开的过程神经元网络学习算法。在网络输入函数空间中引入傅立叶正交函数基,将输入函数和网络连接权函数表示为该组正交基的有限项展开形式,利用函数基的正交性,可简化过程神经元在时间聚合运算中的复杂性,提高网络学习效率。给出了具体的实现算法,仿真实验结果证明了算法的有效性。     

层次双曲函数型网络的整体逼近理论及学习算法

文中首先设计出一类双曲函数型神经网络,提出一种层次双曲函数型网络,分析了其逼近特性,给出了其整体学习算法,使之更适合于具有层次知识结构背景的应用领域。因此,这种网络具有广泛的应用前景。     

一种新的前向神经网络自适应学习算法

针对时变和／或非线性输入的前向神经网络提出了一种感知自适应算法。其本质是迫使输出的实际值和期望值之间的误差满足一个渐近稳定的差分方程，而不是用后向传播方法使误差函数极小化。通过适当排列扩张输入可以避免算法的奇异性。     

一种新的双权值前向神经网络学习算法

提出了一种新的基于遗传算法和误差反向传播的双权值神经网络学习算法,同时确定核心权值、方向权值以及幂参数、学习率等参数,通过适当地调节这些参数,可以实现尽可能多种不同超曲面的特性以及起到加快收敛的效果。并通过对实际的模式分类问题的仿真,将文中的方法与带动量项BP算法、CSFN等算法进行了比较,验证了其有效性。实验结果表明所提出的方法具有分类准确率高、收敛速度快的优点。     

层次双曲函数型网络的整体逼近理论及学习算法

1 引言函数型网络FLANN(Function Link ArtificalNN)最早由鲍·约翰提出,其实质是将输入经函数变换展成为一组基函数,而输出则为基函数的线性组合,然后,再根据实际需要选取基函数,基函数可用三角函数,多项式函数等。由于输出是基函数的线性组合,所     

基于多维离散傅立叶变换的神经网络用于数据逼近和泛？…

文章在一种基于多维离散傅立叶变换原理的前馈神经网络模型的基础上,提出了一个适用于高精度逼近和泛化建模的神经网络。它可用来逼近任何连续函数,且逼近精度高,泛化能力强,学习速度快。计算机模拟实验结果显示了该网络较好地利用了离散傅立叶变换在结构和性能上的优点,在天线罩视线误差校正建模研究上很好的效果。     

基于粗糙集团的神经网络函数逼近理论

首先给出了神经网络函数在粗糙集意义下的下、上近似函数，从函数逼近的观点出发分析，得出对任一神经网络函数在粗糙集意义下，都可根据学习样本点维数找到两个关联的离散函数来逼近它，并且证明了在粗糙集意义下逼近的过程是可行的。该结论有助于理解粗糙集函数与神经网络函数之间的联系，为今后进一步研究在粗糙集意义下神经网网络函数整体逼近理论及学习算法的描述奠定了基础。     

前向神经网络信赖域学习算法的研究

本文介绍了引入信赖域优化理论解决神经网络中学习问题的新算法,提出了计算有效信赖域步方法,以保证信赖域算法的正确性,采用变系数方法避免了信赖域半径自适应调整过程中不稳定和低效的问题。实验表明,信赖域学习算法优于变尺度算法。     

构造前向神经网络逼近多项式函数

首先用构造性的方法证明:对于任意的n阶多元多项式函数,可以构造一个三层前向神经网络以任意精度逼近该多项式,所构造网络的隐层节点个数仅与多项式的维数d和阶数n有关.然后,我们给出实现这一逼近的具体算法.最后,给出两个算例进一步验证所得的理论结果.本文结果对神经网络逼近多元多项式函数的具体网络构造以及实现这一逼近的方法等问题具有指导意义.     

正交泛函网络函数逼近理论及算法

基于正交函数的概念和特性,提出一种正交泛函网络新模型,给出了正交泛函网络学习算法.该算法是借助于正交函数性质和Lagrange乘数法做辅助函数,对泛函参数学习过程归结为求解一组线性方程组的过程.最后,通过函数逼近算例计算机仿真结果表明,该算法十分有效,具有模型简单、逼近精度高等特点.     

前馈神经网络的一种快速学习算法

提出的算法是利用凸函数共轭性质中的Young不等式构造优化目标函数,这个优化目标函数对于权值和隐层输出来说为凸函数,不存在局部最小。首先把隐层输出作为变量进行优化更新,然后快速计算出隐层前后的权值。数值实验表明：此算法简单,收敛速度快,泛化能力强,并大大降低了学习误差。     

Approximate Feedback Linearisation Using Multilayer Neural Networks

In this paper we introduce the approximate feedback linearisation using multilayer feedforward neural networks. We propose to approximate a basis of the one-dimensional codistribution of an affine nonlinear system with the derivative of a multilayer neural network [6] and form a change of coordinates with n multilayer neural networks [5]. In this paper we will prove that the transformation can define a local diffeomorphism, with which a local stabilising feedback law can be designed for a kind of non-linearisable nonlinear systems.     

奇偶校验问题的二进神经网络学习算法

二进神经网络可以完备表达任意布尔函数,但对于孤立节点较多的奇偶校验问题却难以用简洁的网络结构实现。针对该问题,提出了一种实现奇偶校验等孤立节点较多的一类布尔函数的二进神经网络学习算法。该算法首先借助蚁群算法优化选择真节点及伪节点的访问顺序;其次结合几何学习算法,根据优化的节点访问顺序给出扩张分类超平面的步骤,从而减少隐层神经元的数目,同时给出了隐层神经元及输出元的表达形式;最后通过典型实例验证了该算法的有效性。     

前馈神经网络凸优化算法及其仿真应用

该文利用凸函数共轭性质中的Young不等式构造前馈神经网络优化目标函数。这个优化目标函数若固定权值,对隐层输出来说为凸函数;若固定隐层输出,对权值来说为凸函数。因此,此目标函数不存在局部最小。此目标函数的优化速度快,大大提高了前馈神经网络的学习效率。仿真试验表明,与传统算法如误差反向传播算法或BP算法和含势态因子(Momentum factor)的BP算法及现有的分层优化算法相比,新算法能加快收敛速度,并降低学习误差。利用这种快速算法对矿体进行仿真预测,取得了良好效果。     

基于拟牛顿法的前向神经元网络学习算法

针对前向神经网络现有BP学习算法的不足,结合非线性最优化方法,提出一种基于拟牛顿法的神经元网络学习算法。该算法有效地改进了神经元网络的学习收敛速度,取得了比常规BP算法更好的收敛性能和学习速度。     

Approximate Match of Rules Using Backpropagation Neural Networks

This paper presents a method for approximate match of first-order rules with unseen data. The method is useful especially in case of a multi-class problem or a noisy domain where unseen data are often not covered by the rules. Our method employs the Backpropagation Neural Network for the approximation. To build the network, we propose a technique for generating features from the rules to be used as inputs to the network. Our method has been evaluated on four domains of first-order learning problems. The experimental results show improvements of our method over the use of the original rules. We also applied our method to approximate match of propositional rules converted from an unpruned decision tree. In this case, our method can be thought of as soft-pruning of the decision tree. The results on multi-class learning domains in the UCI repository of machine learning databases show that our method performs better than standard C4.5's pruned and unpruned trees.     

多层前向人工神经网络图像分类算法

传统人工神经网络的输入均为向量形式,而图像由矩阵形式表示,因此,在用人工神经网络进行图像处理时,图像将以向量形式输入至神经网络,这破坏了图像的结构信息,从而影响了图像处理的效果。为了提高网络对图像的处理能力,文中借鉴了深度学习的思想与方法,引进了具有矩阵输入的多层前向神经网络。同时,采用传统的反向传播训练算法(BP)训练该网络,给出了训练过程与训练算法,并在USPS手写数字数据集上进行了数值实验。实验结果表明,相对于单隐层矩阵输入前向神经网络(2D-BP),所提多层网络具有较好的分类效果。此外,对于彩色图片分类问题,利用所提出的2D-BP网络,给出了一个有效的可行方法。     

多聚合过程神经元网络及其学习算法研究

针对系统输入为多元过程函数以及多维过程信号的信息处理问题,提出了多聚合过程神经元和多聚合过程神经元网络模型.多聚合过程神经元的输入和连接权均可以是多元过程函数,其聚合运算包括对多个输入函数的空间加权聚集和对多维过程效应的累积,可同时反映多个多元过程输入信号在多维空间上的共同作用影响以及过程效应的累积结果.多聚合过程神经元网络是由多聚合过程神经元和其它类型的神经元按照一定的结构关系组成的网络模型,按照输出是否为多元过程函数建立了前馈多聚合过程神经元网络的一般模型和输入输出均为过程函数的多聚合过程神经元网络模型,具有对多元过程信号输入输出关系的直接映射和建模能力.文中给出了一种基于多元函数基展开的梯度下降与数值计算相结合的学习算法,仿真实验结果表明了模型和算法对多元过程信号分类和多维动态过程模拟问题的适应性.