BP神经网络的一种稳健改进算法

本文借鉴统计中的稳健估计方法的思想，对ＢＰ网络构造了新的误差平方和函数，在新的误差平方和函数下的ＢＰ算法，使ＢＰ网络能较好地用于观测值存在“异常点”的情况。     

一种估计前馈神经网络中隐层神经元数目的新方法

前馈神经网络中隐层神经元的数目一般凭经验的给出，这种方法往往造成隐单元数目的不足或过甚，从而导致网络存储容量不够或出现学习过拟现象，本研究提出了一种基于信息熵的估计三层前馈神经网络隐结点数目的方法，该方法首先利用训练集来训练具有足够隐单元数目的初始神经网络，然后计算训练集中能被训练过的神经网络正确识别的样本在隐层神经元的激活值，并对其进行排序，计算这些激活值的各种划分的信息增益，从而构造能将整个样本空间正确划分的决策树，最后遍历整棵树寻找重要的相关隐层神经元，并删除冗余无关的其它隐单元，从而估计神经网络中隐层神经元的较佳数目，文章最后以构造用于茶叶品质评定的具有较佳隐单元数目的神经网络为例，介绍本方法的使用，结果表明，本方法能有效估计前馈神经网络的隐单元数目。     

一种基于鲁棒估计的极限学习机方法

极限学习机(ELM)是一种单隐层前馈神经网络(single-hidden layer feedforward neural networks,SLFNs),它相较于传统神经网络算法来说结构简单,具有较快的学习速度和良好的泛化性能等优点。ELM的输出权值是由最小二乘法(least square,LE)计算得出,然而经典的LS估计的抗差能力较差,容易夸大离群点和噪声的影响,从而造成训练出的参数模型不准确甚至得到完全错误的结果。为了解决此问题,提出一种基于M估计的采用加权最小二乘方法来取代最小二乘法计算输出权值的鲁棒极限学习机算法(RBELM),通过对多个数据集进行回归和分类分析实验,结果表明,该方法能够有效降低异常值的影响,具有良好的抗差能力。     

稳健二进神经网络的几何训练

在二进神经网络的规划划分训练方法基础上,针对稳键二进神经网络稳健神经元的特点,讨论了稳健分类超平面的几何构造方法,并提出了相应的训练算法,包括隐层神经元的几何训练和输出神经无的进化训练。实验表明,该算法对复杂Boole函数的稳健二进神经网络的实现是有效且可行的。     

一种前馈神经网络的整体进化方法

一、前言最近十多年来,人工神经网络,尤其是前馈神经网络和BP算法获得了极其广泛的应用。BP(Back Propagation Error)算法是由Werbos在1974年首先提出的,它有效地克服了多层网络无法解决非线性分类问题的缺陷,但在当时并没有引起重视。直到1986年,Rumelhart和McClelland等人对Werbos的算法进行了总结和分析,提出了PDP(并行分布处理)理论,并进一     

一种前馈神经网络的卡尔曼滤波学习方法

本文针对前馈神经网络误差反向传播算法收敛速度慢且常常收敛于局部极小值等缺陷，提出了一种基于推广卡尔曼滤波估计的快速学习新方法，与ＢＰ算法相比较，该方法不仅学习收敛速度快，数值稳定性好，所需学习次数和隐节点数少，而且所需调节参数少，便于工程应用，非线性系统建模与辨识的仿真计算结果表明，该方法是提高网络学习速度、改善学习性能的一种有效方法，可有效解决工业过程等非线性系统建模与辨识问题。     

一种模糊CMAC神经网络

提出了一种模糊CMAC(小脑模型关节控制器)神经网络,它由输入层、模糊化层、模糊相联层、模糊后相联层与输出层等5层节点组成,具有与CMAC相似的单层连接权,可通过BP算法学习推论参数或模糊规则.给出了网络的连接结构与学习算法,并将其应用于函数逼近问题中仿真结果验证了该方法较之CMAC的优越性.     

一种新型的广义RBF神经网络及其训练方法

提出一种新型的广义RBF神经网络模型,将径向基输出权值改为权函数,采用高次函数取代线性加权.给出网络学习方法,并通过仿真分析研究隐单元宽度、权函数幂次等参数的选取对网络逼近精度以及训练时间的影响.结果表明,和传统的RBF神经网络相比,该网络具有良好的逼近能力和较快的计算速度,在系统辨识和控制中具有广阔的应用前景.     

一种数据稳健光滑的处理方法

实际测量中存在数据误差分布的偏差和异常点问题,然而经典的2k＋1点移动光滑方法不具有稳定性,为解决这一问题,采用M稳健二次多项式线性回归空间回归方法进行稳健光滑,通过对影响函数的分析,指出该方法具有全稳健性能的优点。     

一种改进的RBF神经网络DOA估计方法

提出一种优化径向基函数神经网络来波方位(DOA)估计模型结构和参数的方法。利用误差准则函数的收敛性,合理确定模型的隐层神经元数目,根据阵列信号相位差特征的空间分布特点,选择具有代表性的隐层神经元的中心,构建的RBF神经网络更能反映阵列的测向能力。相比于目前的径向基函数神经网络测向模型的构建方法,改进的DOA估计模型具有更好的泛化性能,能够提高测向精度。实验结果验证了该方法的有效性。     

Function Estimation by Feedforward Sigmoidal Networks with Bounded Weights

We address the problem of estimating a function f: [0,1] ^d [-L,L] by using feedforward sigmoidal networks with a single hidden layer and bounded weights. The only information about the function is provided by an identically independently distributed sample generated according to an unknown distribution. The quality of the estimate is quantified by the expected cost functional and depends on the sample size. We use Lipschitz properties of the cost functional and of the neural networks to derive the relationship between performance bounds and sample sizes within the framework of Valiant's probably approximately correct learning.     

基于误差模型的自适应鲁棒主成分分析

研究了改善主成分分析(PCA)算法鲁棒性的一种实现途径.通过对误差函数的建模分析,得到一种改进的目标函数.提出一种新的在线自适应式的鲁棒PCA运算规则.该方法基于单层线性神经网络(NN)结构,但是权值的训练算法是非线性的.从而在迭代训练中对\"劣点\"样本加以适当处理来排除对运算精度和收敛性的影响.     

基于预检验的快速随机抽样一致性算法

随机抽样一致性算法MNSAC(random sample consensus)是在计算机视觉领域内应用最广泛的Robust 估计算法之一,但是MNSAC算法计算效率较低.提出一种基于模型参数预检验的快速MNSAC算法(preview model parameters evaluation MNSAC,简称PEMNSAC).算法在RANSAC算法模型参数检验前,加入预检验过程,在保证计算结果置信概率不变的前提下,过滤掉大量偏差较大的模型参数,提高了MNSAC算法的整体效率.模拟数据和真实图像数据实验结果表明,此算法和MNSAC算法计算精度保持一致,计算速度高于MNSAC算法.     

Robust convergence of the steepest descent method for data-based control

Iterative data-based controller tuning consists of iterative adjustment of the controller parameters towards the parameter values which minimise an H ₂ performance criterion. The convergence to the global minimum of the performance criterion depends on the initial controller parameters and on the step size of each iteration. This article presents convergence properties of iterative algorithms when they are affected by disturbances.     

Guaranteed performance in semi global trajectory tracking for matched disturbance nonlinear systems

In this article, we present a semi global trajectory tracking approach that guarantees a priori computable L ₂ and L _∞ performance bounds for matched disturbance control affine systems. The proposed controller is derived by combining a standard inverse control technique with an extended nonlinear robust state feedback. The latter is based on a control Lyapunov function used for stabilising one operating point inside the considered state space. A difference gradient formulation of this Lyapunov function is then applied to prove stabilisation along any trajectory in the considered state space. Results for L ₂ and L _∞ bounded disturbances will be presented and further extended to the case of actuator uncertainties and disturbance offsets. The theoretical contributions are verified applying them to a numerical example.     

由2D点对应进行刚体运动参数估计的鲁棒算法

本文提出一种根据刚体运动前后生成的2D点对应数据集合估计其运动参数的方法,考虑到集合中存在部分匹配错误的对应点,文中利用最小截平方和估计和递归残差分析的方法来剔除这些出格数据,从而获得刚体空间运动的正确参数,并且不需要任何先验知识．实验结果表明了算法的有效性．     

The essential order of approximation for neural networks

There have been various studies on approximation ability of feedforward neural networks (FNNs). Most of the existing studies are, however, only concerned with density or upper bound estimation on how a multivariate function can be approximated by an FNN, and consequently, the essential approximation ability of an FNN cannot be revealed. In this paper, by establishing both upper and lower bound estimations on approximation order, the essential approximation ability (namely, the essential approximation order) of a class of FNNs is clarified in terms of the modulus of smoothness of functions to be approximated. The involved FNNs can not only approximate any continuous or integrable functions defined on a compact set arbitrarily well, but also provide an explicit lower bound on the number of hidden units required. By making use of multivariate approximation tools, it is shown that when the functions to be approximated are Lipschitzian with order up to 2, the approximation speed of the FNNs is uniquely deter     

基于正交多项式函数的神经网络及其性质研究

神经网络的非线性逼近能力的研究是神经网络研究中的一个热点问题。该文提出了基于正交多项式函数的神经网络构造理论,以此为基础提出了基于正交多项式函数的神经网络的构造方法,利用Stone-Weierstrass定理从理论上证明了基于正交多项式函数的神经网络具有能以任意精度逼近任意紧集上的连续函数的全局逼近性质,最后,提出了基于正交多项式函数的神经网络的选择和评价方法,研究表明,在一定条件下,当选择Chebyshev多项式时,所构造出的神经网络性能最优。     

基于概率图模型的点集匹配方法研究

在概率图模型框架下提出了一种将回归分析和聚类分析相结合的贝叶斯点集匹配方法,其中,回归分析用来估计两个点集之间的映射函数,而聚类分析用来建立两个点集中点与点之间的对应关系.本文将点集匹配问题表示为一种多层的概率有向图,并提出了一种由粗到精的变分逼近算法来估计点集匹配的不确定性;此外,还利用高斯混合模型估计映射函数回归中的异方差噪声和场景点密度估计中离群点的分布;同时,引入转移变量建立起模型点集与场景点集之间的关系,并与离群点混合模型共同对场景点的分布进行估计.实验结果表明,该方法与其他点集匹配算法相比,在鲁棒性和匹配精度方面均达到了较好的效果.