一种结构自适应的神经网络特征选择方法

特征选择是数据处理的一项重要内容，现有的基于神经网络的特征选择方法没有考虑网络中隐结点数目的变化，使网络结构的特征选择过程中往往变得不合理，这阻碍了特征的进一步删除以及网络泛化性能的提高，针对以上问题提出了一种结构自适应的神经网络特征选择方法，通过交替删除网络中冗余的输入特征和隐结点，使网络结构在特征选择的过程中保持相对良好，实验表明，该方法既能快速有效地删除特征，又提高了网络的泛化性能。     

基于股票市场灵敏度分析的神经网络预测模型

股票市场是非线性系统,具有内部结构复杂性和外部因素多变性,建立基于股票市场灵敏度分析的神经网络预测模型。针对神经网络结构设计问题,计算网络输入层与隐层神经元的灵敏度,并修剪网络中不敏感的神经元,在保证模型泛化能力的同时,实现网络结构精简;针对神经网络黑箱问题,根据输入层神经元灵敏度解决各输入变量对股票市场的重要性和反馈机制。以上证指数为例,在不同的时间跨度下对股票市场运行规律进行学习,并分析不同结构修剪模型的适用性和市场意义。最后,通过与其他神经网络预测模型比较,验证本文模型的有效性。     

降噪自编码器深度卷积过程神经网络及在时变信号分类中的应用

针对非线性时变信号分类问题,将过程神经网络（PNN）的信息处理机制与卷积运算相结合,提出了一种降噪自编码器深度卷积过程神经网络（DAE-DCPNN）。该模型由时变信号输入层、卷积过程神经元（CPN）隐层、深度降噪自动编码器（DAE）网络结构和softmax分类器构成。CPN的输入为时序信号,卷积核取为具有梯度性质的5阶数组,基于滑动窗口进行卷积运算,实现时序信号的时空聚合和过程特征提取。在CPN隐层之后,栈式叠加DAE深度网络和softmax分类器,实现对时变信号特征高层次的提取和分类。分析了DAE-DCPNN的性质,给出了按各信息单元分别进行赋初值训练、模型参数整体调优的综合训练算法。以基于12导联心电图（ECG）信号对7种心血管疾病分类诊断为例,实验结果验证了所提模型和算法的有效性。     

基于快速密度聚类的RBF神经网络设计

针对径向基函数（radial basis function,RBF）神经网络隐含层结构难以确定的问题,提出一种基于快速密度聚类的网络结构设计算法。该算法将快速密度聚类算法良好的聚类特性用于RBF神经网络结构设计中,通过寻找密度最大的点并将其作为隐含层神经元,进而确定隐含层神经元个数和初始参数;同时,引入高斯函数的特性,保证了每个隐含层神经元的活性;最后,用一种改进的二阶算法对神经网络进行训练,提高了神经网络的收敛速度和泛化能力。利用典型非线性函数逼近和非线性动态系统辨识实验进行仿真验证,结果表明,基于快速密度聚类设计的RBF神经网络具有紧凑的网络结构、快速的学习能力和良好的泛化能力。     

ELM网络结构自适应正交搜索算法

由于具有灵活的非线性建模能力和良好的模式识别能力,单隐藏层前馈神经网络(Single Hidden Layer Feedforward Neural Network,SLFN)一直是机器学习和数据挖掘领域关注的焦点.众所周知,网络结构是影响SLFN泛化能力的重要因素之一.给定一个具体应用,如何在训练过程中自动选取最优的隐节点个数,仍是一大挑战.极限学习机(Extreme Learning Machine,ELM)通过随机生成隐藏层节点参数,并利用最小二乘法求解输出层权值的方式来训练SLFN,在一定程度上克服了传统的基于梯度类学习方法收敛速度慢、容易陷入局部最小值等问题.然而,ELM仍需要人为确定隐节点个数,不仅过程繁琐,而且无法保证得到最优或者次优的网络结构.在不影响泛化能力的前提下,为了进一步降低网络的复杂度,本文对ELM进行了改进,通过将网络结构学习转化为子集模型选择,提出了一种隐节点自适应正交搜索方法.首先,利用标准ELM构建隐节点候选池.然后,采用正交前向选择算法选择与网络期望输出相关度最大的候选隐节点加入到模型中.同时,每向前引入一个新的隐节点,就要向后对已选入的隐节点进行逐个检查,将变得不重要的隐节点从网络中删除.最后,设计了一种增强的向后移除策略来纠正前面步骤中所犯的错误,进一步剔除模型内残留的冗余隐节点.本文方法充分考虑了隐节点间的内在联系和相互影响,实验结果表明,该方法不仅具有良好的泛化性能,而且能够产生比较紧凑的网络结构.     

基于粗糙集的神经网络结构优化方法

针对神经网络的结构存在冗余的问题,提出了一种利用粗糙集优化神经网络结构的方法。在保持神经网络处理能力的基础上,利用网络的隐层神经元与网络误差构造决策表并进行属性约简,删除冗余的隐层节点。实验证明,该方法可以简化神经网络结构和减少神经网络的训练时间。     

基于改进遗传算法的神经网络优化设计

针对前馈式多层神经网络的结构和权值设计方法的缺陷,提出了一种基于改进遗传算法的前馈神经网络自动优化设计方法,用以完成对网络结构和权值空间的搜索,提高神经网络的收敛速度和搜索全局最优解的能力。通过实验表明,该算法的收敛速度较快,过程稳定,而且泛化能力也较好。故此方法在神经网络设计上能够发挥较好的作用。     

一种估计前馈神经网络中隐层神经元数目的新方法

前馈神经网络中隐层神经元的数目一般凭经验的给出，这种方法往往造成隐单元数目的不足或过甚，从而导致网络存储容量不够或出现学习过拟现象，本研究提出了一种基于信息熵的估计三层前馈神经网络隐结点数目的方法，该方法首先利用训练集来训练具有足够隐单元数目的初始神经网络，然后计算训练集中能被训练过的神经网络正确识别的样本在隐层神经元的激活值，并对其进行排序，计算这些激活值的各种划分的信息增益，从而构造能将整个样本空间正确划分的决策树，最后遍历整棵树寻找重要的相关隐层神经元，并删除冗余无关的其它隐单元，从而估计神经网络中隐层神经元的较佳数目，文章最后以构造用于茶叶品质评定的具有较佳隐单元数目的神经网络为例，介绍本方法的使用，结果表明，本方法能有效估计前馈神经网络的隐单元数目。     

前馈神经网络结构动态增长-修剪方法

针对前馈神经网络隐含层神经元不能在线调整的问题,提出了一种自适应增长修剪算法(AGP),利用增长和修剪相结合对神经网络隐含层神经元进行调整,实现神经网络结构的自组织,从而提高神经网络的性能.同时,将该算法应用于污水处理生化需氧量(BOD)软测量,仿真实验结果表明,与其他自组织神经网络相比,AGP具有较好的泛化能力及较高的拟合精度,能够实现出水BOD的预测.     

基于信息强度的RBF神经网络结构设计研究

在系统研究前馈神经网络的基础上,针对径向基函数(Radial basis function, RBF) 网络的结构设计问题,提出一种弹性RBF神经网络结构优化设计方法. 利用隐含层神经元的输出信息(Output-information, OI)以及隐含层神经元与输出层神经元间的交互信息(Multi-information, MI)分析网络的连接强度, 以此判断增加或删除RBF神经网络隐含层神经元, 同时调整神经网络的拓扑结构,有效地解决了RBF神经网络结构设计问题; 利用梯度下降的参数修正算法保证了最终RBF网络的精度, 实现了神经网络的结构和参数自校正. 通过对典型非线性函数的逼近与污水处理过程关键水质参数建模, 结果证明了该弹性RBF具有良好的动态特征响应能力和逼近能力, 尤其是在训练速度、泛化能力、最终网络结构等方面较之最小资源神经网络(Minimal resource allocation net works, MRAN)、增长修剪RBF 神经网络(Generalized growing and pruning RBF, GGAP-RBF)和自组织RBF神经网络(Self-organizing RBF, SORBF)有较大的提高.     

Fuzzy generalization of the counter-propagation neural network: a family of soft competitive basis function neural networks

 Based on combining neural network (NN) with fuzzy logical system (FLS), a new family of three-layer feedforward networks, called soft-competition basis function neural networks (SCBFs), is proposed under the framework of the counter-propagation (CP) network. The hidden layer of SCBFs is designed as competitive layer with soft competitive strategy. The output function of their hidden neuron is defined as basis function taking the form of fuzzy membership function. SCBFs possess the ability of functional approximation. They are fuzzy generalization of the CP network and functionally equivalent to TS-model of fuzzy logical system. Therefore, they can be regard as either a NN or a FLS. Their learning algorithms are also discussed in this paper. Finally, some experiments are given to test the performance of SCBFs.     

双向权值调整的前向神经网络学习算法

提出一种新的前向神经网络的学习算法,该算法在正向和反向阶段均可以对不同的层间的权值进行必要的调整，在正向阶段按最小范数二乘解原则确定连接隐层与输出层的权值，反向阶段则按误差梯度下降原则调整通连接输入层与隐层间的权值，具有很快的学习能力和收敛速度，并且能在一定的程度上保证所训练神经网络的泛化能力，实验结果初步验证了新算法的性能。     

A Modified Backpropagation Training Algorithm for Feedforward Neural Networks*

In this paper, a new efficient learning procedure for training single hidden layer feedforward network is proposed. This procedure trains the output layer and the hidden layer separately. A new optimization criterion for the hidden layer is proposed. Existing methods to find fictitious teacher signal for the output of each hidden neuron, modified standard backpropagation algorithm and the new optimization criterion are combined to train the feedforward neural networks. The effectiveness of the proposed procedure is shown by the simulation results. *The work of P. Thangavel is partially supported by UGC, Government of India sponsored project.     

Self-adaptive extreme learning machine

In order to overcome the disadvantage of the traditional algorithm for SLFN (single-hidden layer feedforward neural network), an improved algorithm for SLFN, called extreme learning machine (ELM), is proposed by Huang et al. However, ELM is sensitive to the neuron number in hidden layer and its selection is a difficult-to-solve problem. In this paper, a self-adaptive mechanism is introduced into the ELM. Herein, a new variant of ELM, called self-adaptive extreme learning machine (SaELM), is proposed. SaELM is a self-adaptive learning algorithm that can always select the best neuron number in hidden layer to form the neural networks. There is no need to adjust any parameters in the training process. In order to prove the performance of the SaELM, it is used to solve the Italian wine and iris classification problems. Through the comparisons between SaELM and the traditional back propagation, basic ELM and general regression neural network, the results have proven that SaELM has a faster learning speed and better generalization performance when solving the classification problem.     

前向神经网络合理隐含层结点个数估计

合理选择隐含层神经元个数是前向神经网络构造中的一个关键问题,对网络的泛化能力、训练速度等都具有重要的影响。该文提出了基于隐含层神经元输出之间的相关分析而进行隐含层神经元合理个数的估计方法,首先建立了基于网络输出和基于网络输出对网络各输入一阶偏导数的隐含层各神经元输出之间的相关程度度量,进而给出了基于模糊等价关系分析的神经元合理个数估计方法。具体应用结果证明了所提出方法的有效性。     

基于子空间信息量准则的前向神经网络设计理论与方法研究

从理论上提出了子空间信息量(SIQ)及其准则(SIQC)的概念；在此基础上阐述了基于上述准则的前向神经网络设计的相关理论，包括前向神经网络隐含层信息量(HLIQ)、存在性和逼近定理，给出了选择隐含层神经元数、权值向量集和隐含层激励函数的指导方向；提出了基于上述理论的一种可行的次优网络设计算法；最后，详细分析了网络性能指标及其影响因素，上述理论和方法完全克服了传统学习算法的各种弊端，丰富了前向神经网络设计领域的理论依据，具有较大的理论指导和实际应用价值，文中通过具体实例验证了上述理论和方法的可行性和优越性．     

Estimating the Number of Hidden Neurons in a Feedforward Network Using the Singular Value Decomposition

In this letter, we attempt to quantify the significance of increasing the number of neurons in the hidden layer of a feedforward neural network architecture using the singular value decomposition (SVD). Through this, we extend some well-known properties of the SVD in evaluating the generalizability of single hidden layer feedforward networks (SLFNs) with respect to the number of hidden layer neurons. The generalization capability of the SLFN is measured by the degree of linear independency of the patterns in hidden layer space, which can be indirectly quantified from the singular values obtained from the SVD, in a postlearning step. A pruning/growing technique based on these singular values is then used to estimate the necessary number of neurons in the hidden layer. More importantly, we describe in detail properties of the SVD in determining the structure of a neural network particularly with respect to the robustness of the selected model     

一种分式过程神经元网络及其应用研究

针对带有奇异值复杂时变信号的模式分类和系统建模问题，提出了一种分式过程神经元网络．该模型是基于有理式函数具有的对复杂过程信号的逼近性质和过程神经元网络对时变信息的非线性变换机制构建的。其基本信息处理单元由两个过程神经元成对偶组成。逻辑上构成一个分式过程神经元，是人工神经网络在结构和信息处理机制上的一种扩展．分析了分式过程神经元网络的连续性和泛函数逼近能力，给出了基于函数正交基展开的学习算法．实验结果表明，分式过程神经元网络对于带有奇异值时变函数样本的学习性质和泛化性质要优于BP网络和一般过程神经元网络。网络隐层数和节点数可较大减少，且算法的学习性质与传统BP算法相同．     

基于多Agent系统设计原理的神经网络结构设计

将多Agent系统设计原理引入到神经网络的结构设计中,提出了基于多Agent系统设计原理的网络结构设计算法(MANN,multi-Agent neural network)。该算法基于多Agent系统设计的原理,将较大神经网络的结构分解成一组结构较小的子神经网络,每一个子神经网络都具有相对较少的隐节点数。将这种网络结构应用到热工过程建模中,仿真结果表明MANN网络具有较高的泛化能力和运算速度。