改造前向神经网络结构以求网络权值直接确定——Jacobi正交基神经网络实例

根据多项式插值与逼近理论,以一组零阀值特例Jacobi正交多项式(第二类Chebyshev正交多项式)作为隐层神经元的激励函数,构造一种基于Jacobi正交基的前向神经网络模型.该神经网络模型采用三层前向结构,其中输入、输出层神经元采用零阀值线性激励函数.为改进传统神经网络收敛速度较慢及其局部极小点问题,针对该Jacobi正交基前向神经网络模型,提出了一种基于伪逆的直接计算神经网络权值的方法(即,一步确定法),并利用该神经网络进行预测.计算机仿真结果表明,相对比传统的BP迭代训练方法,权值直接确定法计算速度更快、预测精度更高.     

基于Fourier神经网络的图像复原算法*

由于退化图像的点扩散函数难以准确确定,提出一种基于Fourier正交基函数的前向神经网络图像复原模型,该模型以一组Fourier正交基为隐层神经元的激励函数,根据误差传递算法进行权值修正,达到收敛目标。给出Fourier神经网络及其相应的衍生算法的图像恢复实现步骤。实验表明,该方法能较好地实现图像的复原。     

基函数神经网络权值直接确定的图像复原

给出了基函数神经网络图像复原的模型,该神经网络模型是由三层构成的前向神经网络,以一组正交基为隐层神经元的激励函数。为了避免反复迭代权值修正的冗长BP训练过程,提出了一种权值直接确定的算法。实验结果表明,该种权值直接确定算法不仅能一步确定权值而获得更快的运算速度,而且能达到更高的精度。     

多输入La}uerre正交多项式前向神经网络权值与结构确定法

为克服邵神经网络模型及其学习算法中的固有缺陷,根据多项式插值和逼近理论,构造出一种以工;agucrre正交多项式作为隐层神经元激励函数的多输入前向神经网络模型。针对该网络模型,提出了权值与结构确定法,以便快速、自动地确定该网络的最优权值和最优结构。计算机仿真与实验结果显示:该算法是有效的,并且通过该算法所得到的网络具有较优的逼近性能和良好的去噪能力。     

奇偶校验问题的二进神经网络学习算法

二进神经网络可以完备表达任意布尔函数,但对于孤立节点较多的奇偶校验问题却难以用简洁的网络结构实现。针对该问题,提出了一种实现奇偶校验等孤立节点较多的一类布尔函数的二进神经网络学习算法。该算法首先借助蚁群算法优化选择真节点及伪节点的访问顺序;其次结合几何学习算法,根据优化的节点访问顺序给出扩张分类超平面的步骤,从而减少隐层神经元的数目,同时给出了隐层神经元及输出元的表达形式;最后通过典型实例验证了该算法的有效性。     

一种量子衍生神经网络模型

为提高神经网络的逼近能力,通过在普通BP网络中引入量子旋转门,提出了一种新颖的量子衍生神经网络模型. 该模型隐层由量子神经元组成,每个量子神经元携带一组量子旋转门,用于更新隐层的量子权值,输入层和输出层均为普通神经元. 基于误差反传播算法设计了该模型的学习算法. 模式识别和函数逼近的实验结果验证了提出模型及算法的有效性.     

一种基于代数算法的RBF神经网络优化方法

提出了一种新的RBF神经网络的训练方法,采用动态K-均值方法对RBF 神经网络的隐层中心值和宽度进行了优化,用代数算法训练隐层和输出层之间的权值。在对非线性函数进行逼近的仿真中,验证了该算法的有效性。     

切比雪夫正交基神经网络的权值直接确定法

经典的BP神经网络学习算法是基于误差回传的思想.而对于特定的网络模型,采用伪逆思想可以直接确定权值进而避免以往的反复迭代修正的过程.根据多项式插值和逼近理论构造一个切比雪夫正交基神经网络,其模型采用三层结构并以一组切比雪夫正交多项式函数作为隐层神经元的激励函数.依据误差回传(BP)思想可以推导出该网络模型的权值修正迭代公式,利用该公式迭代训练可得到网络的最优权值.区别于这种经典的做法,针对切比雪夫正交基神经网络模型,提出了一种基于伪逆的权值直接确定法,从而避免了传统方法通过反复迭代才能得到网络权值的冗长训练过程.仿真结果表明该方法具有更快的计算速度和至少相同的工作精度,从而验证了其优越性.     

量子小波神经网络及其在漏钢预报中的应用

针对传统神经网络收敛速度慢,收敛精度低,以及用于模式识别泛化能力差的问题。提出了将量子神经网络与小波理论相结合的量子小波神经网络模型。该模型隐层量子神经元采用小波基函数的线性叠加作为激励函数,称之为多层小波激励函数,这样隐层神经元既能表示更多的状态和量级,又能提高网络收敛精度和速度。给出了网络学习算法。并以之在漏钢预报波形识别中的应用验证了该模型和学习算法的有效性。     

一种改进的RBF神经网络DOA估计方法

提出一种优化径向基函数神经网络来波方位(DOA)估计模型结构和参数的方法。利用误差准则函数的收敛性,合理确定模型的隐层神经元数目,根据阵列信号相位差特征的空间分布特点,选择具有代表性的隐层神经元的中心,构建的RBF神经网络更能反映阵列的测向能力。相比于目前的径向基函数神经网络测向模型的构建方法,改进的DOA估计模型具有更好的泛化性能,能够提高测向精度。实验结果验证了该方法的有效性。     

基于Hermite神经网络的动态手势学习和识别

为提高动态手势学习速度和识别准确率,本文提出一种基于Hermite正交基前向神经网络的动态手势识别方法。利用Camshift算法实时跟踪手势运动轨迹,提取手势特征向量作为神经网络的输入;以Hermite正交基函数作为隐含层激励函数构造三层前向神经网络,并给出一种基于伪逆的直接计算权值方法和根据网络目标精度要求自适应确定隐含节点数目方法;运用训练好的Hermite神经网络识别动态手势。测试结果表明:Hermite神经网络能够提高网络的学习训练速度和精度,提高手势学习速度和识别准确率,而且在手势识别方面具有较好的鲁棒性和泛化能力。     

基于循环自构形算法的神经网络结构优化

BP(back propagation)神经网络中隐层节点的个数过多将影响网络的泛化性能和效率,自构形学习算法通过考察网络隐层节点输出之间的相关性来删除和合并隐层节点.但自构形算法在节点的删除和合并时存在网络收敛不一致问题,因此,在自构形算法中引入随机度概念,在分治算法思想的基础上提出了循环自构形算法来优化网络结构.Matlab实验对比验证了循环自构形算法能从不同或相同的隐层节点数剪枝到一致的网络结构,并将网络结构优化至最精简.     

基于复合正交神经网络的自适应逆控制系统

目前，在自适应逆控制系统中常采用BP神经网络，而BP网络存在算法复杂、易陷入局部极小解等不足。而正交神经网络能克服BP网络的不足，但由于正交神经网络学习算法存在某些局限性，提出了一种复合正交神经网络，该正交网络结构与三层前向正交网络相同，不同的是正交网络的隐单元处理函数采用带参数的Sigmoid函数的复合正交函数，该神经网络算法简单，学习收敛速度快，并能对网络的函数参数进行优化，为非线性系统的动态建模提供了一种方法。仿真实验表明，网络在用于过程的自适应逆控制中具有很高的控制精度和自适应学习能力。该动态神经网络比其它神经网络具有更强的建模能力与学习适应性，有线性、非线性逼近精度高等优异特性，非常适合于实时控制系统。     

二阶神经网络映射能力的研究

本文讨论了二阶神经网络的映射能力。主要内容包括：（１）从理论上严格地证明了二阶神经网络能以任意精度逼近任意连续函数。（２）给出二阶神经网络的ＢＰ算法。（３）模拟实验结果。模拟实验表明：在中间隐层单元数目相同的条件下，二阶神经网络的误差函数比一阶神经网络下降得快；在误差精度相同的条件下，二阶神经网络的隐层单元数目远比一阶神经网络少。     

一种估计前馈神经网络中隐层神经元数目的新方法

前馈神经网络中隐层神经元的数目一般凭经验的给出，这种方法往往造成隐单元数目的不足或过甚，从而导致网络存储容量不够或出现学习过拟现象，本研究提出了一种基于信息熵的估计三层前馈神经网络隐结点数目的方法，该方法首先利用训练集来训练具有足够隐单元数目的初始神经网络，然后计算训练集中能被训练过的神经网络正确识别的样本在隐层神经元的激活值，并对其进行排序，计算这些激活值的各种划分的信息增益，从而构造能将整个样本空间正确划分的决策树，最后遍历整棵树寻找重要的相关隐层神经元，并删除冗余无关的其它隐单元，从而估计神经网络中隐层神经元的较佳数目，文章最后以构造用于茶叶品质评定的具有较佳隐单元数目的神经网络为例，介绍本方法的使用，结果表明，本方法能有效估计前馈神经网络的隐单元数目。     

综合优化神经网络算法

以多项式函数作为神经元的激活函数,结合矩阵伪逆的思想预先确定网络权值,并利用区间折半搜寻法自动优化隐层神经元数。通过对Hermit函数的仿真,充分显示了综合优化神经网络算法对函数具有较好的逼近。     

Three-dimensional medical image analysis of the heart by the revised GMDH-type neural network self-selecting optimum neural network architecture

In this study, a revised group method of data handling (GMDH)-type neural network algorithm which self-selects the optimum neural network architecture is applied to 3-dimensional medical image analysis of the heart. The GMDH-type neural network can automatically organize the neural network architecture by using the heuristic self-organization method, which is the basic theory of the GMDH algorism. The heuristic self-organization method is a kind of evolutionary computation method. In this revised GMDH-type neural network algorithm, the optimum neural network architecture was automatically organized using the polynomial and sigmoid function neurons. Furthermore, the structural parameters, such as the number of layers, the number of neurons in the hidden layers, and the useful input variables, are selected automatically in order to minimize the prediction error criterion, defined as the prediction sum of squares (PSS).     

Medical image diagnosis of lung cancer by multi-layered GMDH-type neural network self-selecting functions

In this study, a revised Group Method of Data Handling (GMDH)-type neural network self-selecting functions is applied to the computer aided image diagnosis (CAD) of lung cancer. The GMDH-type neural network algorithm has an ability of self-selecting optimum neural network architecture from three neural network architectures, such as sigmoid function neural network, radial basis function neural network and polynomial neural network. The GMDH-type neural network also has abilities of self-selecting the number of layers, the number of neurons in hidden layers and useful input variables. This algorithm is applied to CAD of lung cancers, and it is shown that this algorithm is useful for the CAD, and is very easy to apply to practical complex problems because optimum neural network architecture is automatically organized.     

改进的遗传算法在神经网络结构优化中的应用

为了解决人工神经网络隐层节点数目难以确定的问题,针对三层BP神经网络提出了一种最大上限隐层节点数模型,并用改进的遗传算法对其优化。最后,将优化的神经网络对语音特征信号进行分类。仿真结果表明优化后的神经网络具有很好的泛化能力,验证了该方法的有效性。