稳健二进神经网络及其基本性质研究

从二进前向网络的稳健要求出发,提出了稳健分类的概念,在此基础上给出了稳健分 类超平面的一般形式,从而如果二进前向网络的每一神经元都是稳健神经元,则网络的连接权 仅为-1,0或+1,每一神经元的阈值也只为二分之一的基阈值加上一处于有限区域上整数的 辅阈值,并且辅阈值为神经元各个输入对其的贡献之和.稳健二进前向网络的这些性质使得网 络不仅稳健能力强,而且易于做到隐节点数少、连接少、易于实现.     

奇偶校验问题的二进神经网络学习算法

二进神经网络可以完备表达任意布尔函数,但对于孤立节点较多的奇偶校验问题却难以用简洁的网络结构实现。针对该问题,提出了一种实现奇偶校验等孤立节点较多的一类布尔函数的二进神经网络学习算法。该算法首先借助蚁群算法优化选择真节点及伪节点的访问顺序;其次结合几何学习算法,根据优化的节点访问顺序给出扩张分类超平面的步骤,从而减少隐层神经元的数目,同时给出了隐层神经元及输出元的表达形式;最后通过典型实例验证了该算法的有效性。     

一种新的基于构造型RBF神经元网络分类算法

依据RBF神经元模型的几何解释,提出一种新的构造型神经网络分类算法.首先从样本数据本身入手,通过引入一个密度估计函数来对样本数据进行聚类分析;然后在特征空间里构造超球面,以逼近样本点分布的几何轮廓,从而将神经网络训练问题转化为点集＂包含＂问题.该算法有效克服了传统神经网络训练时间长、学习复杂的缺陷,同时也考虑了神经网络规模的优化问题.实验证明了该算法的有效性.     

二进神经网络的汉明图学习算法

二进神经网络的几何学习算法ETL必须分隔全部真顶点集合和伪顶点集合,且为一种穷举的算法。该文使用所定义的汉明图和子汉明图,给出了选择核心顶点的依据,组成和扩展子汉明图的方向和步骤,以及一个子汉明图可用一个稳层神经元表示的条件和权值、阈值的计算公式。所提出的二进神经网络汉明图学习算法可用于任意布尔函数;无需穷举并一定收敛,因而是快速的;对文献所举实例取得了较ETL算法结构更为优化的三层前向网络。     

一种新颖的神经网络稳健估计方法

当神经网络应用于实际工程问题时,网络的训练数据集成或多或少都有噪声或异常值掺入其中,为了使网络具有更好的稳健性,文中根据稳健统计学原理,针对前馈神经网络（ＦＮＮ）提出了一种稳健估计（ＲＥ）函数作为新的网络目标函数。     

一种新的RBF神经元网络分类算法

为了改善对人工神经网络行为的认识和研究中的"黑匣子"式的难以处理的状态,基于RBF神经元模型的几何解释,提出了一种新的RBF神经网络分类算法,算法把RBF神经元看作是高维空间里的超球面,从而将神经网络训练问题转化为点集"包含"问题.同传统的RBF网络相比,算法能够自动地优化RBF网络中核函数的个数、中心和宽度,同时,省去了传统RBF神经网络输出层线性连接权的计算,简化了网络的学习过程,大大缩短了训练时间,并且通过实验证明了算法的有效性.     

新的C RBF神经网络分类器的设计与实现

从RBF神经元的几何意义出发,提出了一种新的用于模式识别的C-RBF神经网络分类器.与传统RBF网络相比,该算法能够自动地优化RBF网络中核函数的个数、中心和宽度,且由于竞争神经元的引入,省去了传统RBF神经网络输出层线性连接权的计算,从而简化了网络的学习过程,大大缩短了训练时间.     

二进神经网络逻辑关系判据及等价性规则提取

二进神经网络中提取知识主要体现为对输入输出逻辑关系的提取,而逻辑关系的表达方式分为蕴含性规则和等价性规则文中对比了蕴含性规则和等价性规则的差异;以KT方法为例,讨论了蕴含性规则在表达二进神经网络内在知识时,对某些具有明确逻辑意义的二进神经网络,并不是最清晰的表达方式.对这些逻辑关系,采用等价性规则可以简洁清晰地解决问题,所以对于二进神经网络神经元表达的逻辑关系建立可能的等价性规则提取方法是有意义的.CH判据是一种提取等价性规则的方法,但CH判据是充分性判据,对二进神经元的权系数有约束条件,因此不适用于任何学习算法的学习结果.为解决这些问题,文中研究了二进神经网络表达几类等价逻辑关系的充要性判据,并根据这些判据提出了提取等价性规则的WTA方法.在使用WTA方法时,必须预先对二进神经元进行必要的剪枝.文中证明了剪枝定理,并通过二个例子说明了用WTA方法进行规则提取的过程.     

二进离散小波神经网络在传感器逆向建模中的应用

给出了快速收敛的离散二进小波神经网络的初始化,构造和权值确定的详细方法。并将这类小波神经网络应用于传感器的非线性校正,并给出了仿真实验结果。相对使用随机贪心算法训练的神经网络,快速收敛小波神经网络利用离散二进小波变换的便利,采用启发式的构造算法;具有构造过程复杂度低,构造完成后高度接近目标模型,训练次数少,并可有效避免陷入局部极小点的优点。有效解决了小波神经网络尺度和平移系数在训练时需对小波函数进行求导而影响网络收敛速度的问题。     

二进离散小波神经网络在传感器逆向建模中的应用

给出了快速收敛的离散二进小渡神经网络的初始化．构造和权值确定的详细方法。并将这类小波神经网络应用于传感器的非线性校正，并给出了仿真实验结果。相对使用随机贪心算法训练的神经网络，快速收敛小波神经网络利用离散二进小波变换的便利，采用启发式的构造算法；具有构造过程复杂度低，构造完成后高度接近目标模型，训练次数少，并可有效避免陷入局部极小点的优点。有效解决了小波神经网络尺度和平移系数在训练时需对小波函数进行求导而影响网络收敛速度的问题。     

Robust Learning Algorithm Based on Iterative Least Median of Squares

Outliers and gross errors in training data sets can seriously deteriorate the performance of traditional supervised feedforward neural networks learning algorithms. This is why several learning methods, to some extent robust to outliers, have been proposed. In this paper we present a new robust learning algorithm based on the iterative Least Median of Squares, that outperforms some existing solutions in its accuracy or speed. We demonstrate how to minimise new non-differentiable performance function by a deterministic approximate method. Results of simulations and comparison with other learning methods are demonstrated. Improved robustness of our novel algorithm, for data sets with varying degrees of outliers, is shown.     

一种鲁棒BP算法及其在非线性动态系统辨识中的应用

利用多层前馈神经网络的非线性建模特性，基于动态ＢＰ网络的串并联和并联模型，提出了一种高鲁棒性ＢＰ算法，与传统的ＢＰ算法相比，鲁棒ＢＰ算法有５个优点：（１）适合于非线性动态系统辨识，（２）辨识精度高；（３）不必内插所有训练样本；（４）具有高鲁棒性，能抵制过失误差和量测误差；（５）收敛速度得到了改进，因为错误差样本的影响得到了适度的抑制，把该算法用于非线性动态系统辨识，仿真结果表明此方法是有效的。     

一种前馈神经网的快速算法

前馈神经网已经被大量用于非线性信号处理． 经典反向传播算法是一种标准的前馈网络学习算法,但是,对许多应用,反向传播算法的收 敛速度却很慢．本文根据对网络的非线性单元进行线性化而提出一种新的算法,该算法在非 线性信号处理中在精度和收敛速度方面都优于传统的反向传播算法．     

基于Zernike矩和前馈神经网络的图像配准

提出一种基于Zernike矩和多级前馈神经网络的图像配准算法。利用低阶Zernike矩表征图像的全局几何特征,通过多级前馈神经网络学习图像所经历的旋转、缩放和平移等仿射变换参数,在一级前馈神经网络的基础上添加二级前馈网络,以提高参数估计精度。仿真结果表明,与基于DCT系数的神经网络算法相比,该算法旋转、缩放和平移估计精度较高,对噪声的鲁棒性较强。     

基于神经网络前馈的无人直升机非线性鲁棒控制设计

针对小型无人直升机的控制问题,设计了一种基于神经网络前馈的非线性鲁棒控制算法.算法主要由两部分组成:基于三层神经网络的前馈,用以补偿无人直升机姿态动力学模型中的不确定项;基于符号函数积分的鲁棒控制,用以补偿未知外界扰动;基于Lyapunov分析方法证明了控制器可实现姿态角的半全局渐近跟踪.在三自由度实验平台上对所设计的控制算法进行了实验验证,结果表明:提出的设计取得了较好的姿态控制效果,并对外界未知风扰具有较好的鲁棒性.     

基于U－D分解推广卡尔曼滤波的神经网络学习算法

本文针对前馈神经网络ＢＰ算法所存在的收敛速度慢区常遇局部极小值等缺陷，提出一种基于Ｕ－Ｄ分解的渐消记忆推广卡尔曼滤波学习新算法．与ＢＰ和ＥＫＦ学习算法相比，新算法不仅大大加快了学习收敛速度、数值稳定性好，而且需较少的学习次数和隐节点数即可达到更好的学习效果，对初始权值，初始方差阵等参数的选取不敏感，便于工程应用．非线性系统建模与辨识的仿真计算表明，该算法是提高网络学习速度、改善学习效果的一种非常有效的方法．     

The annealing robust backpropagation (ARBP) learning algorithm

Multilayer feedforward neural networks are often referred to as universal approximators. Nevertheless, if the used training data are corrupted by large noise, such as outliers, traditional backpropagation learning schemes may not always come up with acceptable performance. Even though various robust learning algorithms have been proposed in the literature, those approaches still suffer from the initialization problem. In those robust learning algorithms, the so-called M-estimator is employed. For the M-estimation type of learning algorithms, the loss function is used to play the role in discriminating against outliers from the majority by degrading the effects of those outliers in learning. However, the loss function used in those algorithms may not correctly discriminate against those outliers. In the paper, the annealing robust backpropagation learning algorithm (ARBP) that adopts the annealing concept into the robust learning algorithms is proposed to deal with the problem of modeling under the existence of outliers. The proposed algorithm has been employed in various examples. Those results all demonstrated the superiority over other robust learning algorithms independent of outliers. In the paper, not only is the annealing concept adopted into the robust learning algorithms but also the annealing schedule k/t was found experimentally to achieve the best performance among other annealing schedules, where k is a constant and t is the epoch number.     

Intelligent Control Paradigm for Dynamic Discrete Event System Simulation

Simulation based control of discrete event systems has been a potential approach to support decision-making in the manufacturing scenario. In this paper, a knowledge intensive simulation modelling approach for a discrete even system is investigated. Based on the proposed simulation model, a robust control mechanism is presented that is believed to add significant value to discrete event dynamic system. The algorithm utilises neural network feedforward control plus robust proportional derivative feedback control to achieve control performance and output stability. The novel simulation approach, as well as the proposed controller, is implemented in an Extend TM environment and the effectiveness and usefulness of the proposed controller are verified, industrially, in the hard disk drive assembly process, a significant component of the Singapore manufacturing economy.     

A parallel genetic/neural network learning algorithm for MIMDshared memory machines

A new algorithm is presented for training of multilayer feedforward neural networks by integrating a genetic algorithm with an adaptive conjugate gradient neural network learning algorithm. The parallel hybrid learning algorithm has been implemented in C on an MIMD shared memory machine (Cray Y-MP8/864 supercomputer). It has been applied to two different domains, engineering design and image recognition. The performance of the algorithm has been evaluated by applying it to three examples. The superior convergence property of the parallel hybrid neural network learning algorithm presented in this paper is demonstrated.