一种基于规则的神经网络的知识表示和推理方法

在医学专家系统中，如何根据各种疾病特征，推断出患某种疾病，这是一个比较复杂的问题，本文给出了一种基于规则的人工神经网络的知识表示和知识推理方法，从规则集中自动构造网络的结构、确定隐层节点数和连接权值，用并行的方法进行推理，最后，给出了泌尿外科常见疾病诊断的一个实例应用。     

基于惩罚函数泛化的神经网络剪枝算法研究

神经网络的隐层数和隐层节点数决定了网络规模,并对网络性能造成较大影响。在满足网络所需最少隐层节点数的前提下,利用剪枝算法删除某些冗余节点,减少隐层节点数,得到更加精简的网络结构。基于惩罚函数的剪枝算法是在目标函数后加入一个惩罚函数项,该惩罚函数项是一个变量为网络权值的函数。由于惩罚函数中的网络权值变量可以附加一个可调参数,将单一惩罚函数项泛化为一类随参数规律变化的新的惩罚函数,初始惩罚函数可看作泛化后惩罚函数的参数取定值的特殊情况。实验利用基于标准BP神经网络的XOR数据进行测试,得到隐层节点剪枝效果和网络权值随惩罚函数的泛化而发生变化,并从数据分析中得出具有更好剪枝效果及更优网络结构的惩罚函数泛化参数。     

基于循环自构形算法的神经网络结构优化

BP(back propagation)神经网络中隐层节点的个数过多将影响网络的泛化性能和效率,自构形学习算法通过考察网络隐层节点输出之间的相关性来删除和合并隐层节点.但自构形算法在节点的删除和合并时存在网络收敛不一致问题,因此,在自构形算法中引入随机度概念,在分治算法思想的基础上提出了循环自构形算法来优化网络结构.Matlab实验对比验证了循环自构形算法能从不同或相同的隐层节点数剪枝到一致的网络结构,并将网络结构优化至最精简.     

权值可直接算出的Legendre神经网络之隐节点数自动确定

隐神经元数目的确定在神经网络学习过程中有着重要的意义.然而,目前,还没有相应的确定性理论指导隐神经元数的设计.针对Legendre前向神经网络,在基于伪逆的权值直接确定法的基础上构造出一种神经网络隐节点数自动确定的算法.仿真结果显示该隐节点数自动确定算法能较快地找到最简化结构Legendre前向神经网络的隐节点数.     

ELM网络结构自适应正交搜索算法

由于具有灵活的非线性建模能力和良好的模式识别能力,单隐藏层前馈神经网络(Single Hidden Layer Feedforward Neural Network,SLFN)一直是机器学习和数据挖掘领域关注的焦点.众所周知,网络结构是影响SLFN泛化能力的重要因素之一.给定一个具体应用,如何在训练过程中自动选取最优的隐节点个数,仍是一大挑战.极限学习机(Extreme Learning Machine,ELM)通过随机生成隐藏层节点参数,并利用最小二乘法求解输出层权值的方式来训练SLFN,在一定程度上克服了传统的基于梯度类学习方法收敛速度慢、容易陷入局部最小值等问题.然而,ELM仍需要人为确定隐节点个数,不仅过程繁琐,而且无法保证得到最优或者次优的网络结构.在不影响泛化能力的前提下,为了进一步降低网络的复杂度,本文对ELM进行了改进,通过将网络结构学习转化为子集模型选择,提出了一种隐节点自适应正交搜索方法.首先,利用标准ELM构建隐节点候选池.然后,采用正交前向选择算法选择与网络期望输出相关度最大的候选隐节点加入到模型中.同时,每向前引入一个新的隐节点,就要向后对已选入的隐节点进行逐个检查,将变得不重要的隐节点从网络中删除.最后,设计了一种增强的向后移除策略来纠正前面步骤中所犯的错误,进一步剔除模型内残留的冗余隐节点.本文方法充分考虑了隐节点间的内在联系和相互影响,实验结果表明,该方法不仅具有良好的泛化性能,而且能够产生比较紧凑的网络结构.     

灵敏度正则化极限学习机及其在数字识别中的应用

针对正则化极限学习机（RELM）中隐节点数影响分类准确性问题,提出一种灵敏度正则化极限学习机（SRELM）算法.首先根据隐含层激活函数的输出及其相对应的输出层权重系数,推导实际值与隐节点输出值残差相对于隐节点的灵敏度计算公式,然后根据不同隐节点的灵敏度进行排序,利用优化样本的分类准确率删减次要隐节点,从而有效提高SRELM的分类准确率.MNIST手写体数字库实验结果表明,相比于传统的SVM和RELM, SRELM方法的耗时与RELM相差不大,均明显低于SVM, SRELM对手写数字的识别准确率最高.     

前馈神经网隐层节点的动态删除法

本文首先针对ＢＰ算法中存在的缺陷对误差函数作了简单的修改，使网络的收敛速度比原来的大大提高，此外本文提提出了一种基于线性回归分析算法来确定隐层节点数。当已训练好的网络具有过多的隐层单元，可以用这种算法来计算隐层节点输出之间的线性相关性，并估计多余隐层单元数目，然后删除这部分多余的节点，就能获得一个合适的网络结构。     

确定RBF神经网络隐层节点数的最大矩阵元法

针对基于训练样本输入信息进行非监督聚类来确定RBF神经网络隐层节点数的方法存在利用信息不充分的缺陷,该文提出了一种新的确定RBF神经网络隐层节点数的方法。利用训练样本输入输出全部信息建立样本间的相似矩阵,然后采用最大矩阵元法来确定RBF神经网络隐层节点数。实验仿真表明,该方法是有效的。     

输入模式增强神经网络及应用

监督学习神经网络的学习收敛速度是网络的重要指标.以三元奇偶问题和沉积微相识别问题为例,分析了前向神经网络增强输入模式和常规输入模式的网络响应特点.分别在隐层数不变和隐层节点数不变的条件下,对常规输入模式网络和增强输入模式网络的学习速度进行了对比分析.数值实验和沉积微相应用实例说明输入模式增强网络学习迭代次数少,网络分辨率高.输入模式增强网络隐层节点数和隐层数的可选范围均比常规输入模式网络隐层节点数和隐层数的可选范围大,网络收敛稳定性好.输入模式增强网络的性能明显好于常规输入模式网络的性能.     

基于神经网络补偿的转台伺服系统控制研究

针对飞行仿真转台伺服系统中存在的非线性摩擦干扰进行了研究,采用一种基于RBF神经网络进行误差补偿的在线自适应控制策略。在基于逆动力学的计算力矩控制方法的基础上,利用RBF神经网络的万能逼近特性在线辨识模型误差,从而对系统进行补偿,其权值自适应律根据Lyapunov稳定性理论推导,保证了系统跟踪误差的收敛及稳定,仿真结果表明该控制策略可使位置MAE指标从0.0087m提高到0.0016m,使位置MSE指标从1.0128e-4m提高到3.3002e-6m,具有较高的鲁棒性和稳态控制精度。最后分别从隐层节点数及节点中心学习算法的变化两方面提出两种改进方案,仿真结果表明隐层节点数的增加可以进一步减小位置误差,而采用K-means均值聚类算法解决了神经网络节点中心按经验选取或试凑的困难。     

萤火虫优化BP-NN的电网故障诊断研究

针对逆传播神经网络(BP-NN)运算过程中易陷入局部极小值的不足.根据典型的经验公式对比,缩小了隐含层节点数范围,从而寻找最优的隐含层节点数.根据萤火虫优化(GSO)算法的特点,用GSO-BP-NN训练的初始权值阈值,能够很好地预测测试集,从而避免BP神经网络陷入局部极小值.采用以上方法的结合对电网进行故障诊断,实验证明:该方法可以准确有效地诊断出电网故障位置.     

Classification methodologies of multilayer perceptrons with sigmoid activation functions

This paper studies the classification mechanisms of multilayer perceptrons (MLPs) with sigmoid activation functions (SAFs). The viewpoint is presented that in the input space the hyperplanes determined by the hidden basis functions with values 0's do not play the role of decision boundaries, and such hyperplanes do not certainly go through the marginal regions between different classes. For solving an n-class problem, a single-hidden-layer perceptron with at least log2(n-1)?2 hidden nodes is needed. The final number of hidden neurons is still related to the sample distribution shapes and regions, but not to the number of samples and input dimensions. As a result, an empirical formula for optimally selecting the initial number of hidden nodes is proposed. The ranks of response matrixes of hidden layers should be taken as a main basis for pruning or growing the existing hidden neurons. A structure-fixed perceptron ought to learn more than one round from different starting weight points for one classification task, and only the group of weights and biases that has the best generalization performance should be reserved. Finally, three examples are given to verify the above viewpoints.     

基于布谷鸟搜索优化BP神经网络的网络安全态势评估方法

针对现有基于神经网络的网络安全态势评估方法效率低等问题,提出基于布谷鸟搜索（CS）优化反向传播（BP）神经网络（CSBPNN）的网络安全态势评估方法。首先,根据态势输入指标数和输出态势值确定BP神经网络（BPNN）的输入输出节点数,根据经验公式和试凑法计算出隐含层节点数;然后,随机初始化各层的连接权值和阈值,使用浮点数编码方式将权值与阈值编码成布谷鸟;最后,使用CS算法对权值和阈值进行优化,得到用于态势评估的CSBPNN模型并对其进行训练,将网络安全态势数据输入到CSBPNN模型中,获取网络的安全态势值。实验结果表明,与BPNN和遗传算法优化BP神经网络方法相比,基于CSBPNN的网络安全态势评估方法的迭代代数分别减少943和47且预测精度提高8.06个百分点和3.89个百分点,所提方法具有较快的收敛速度和较高的预测精度。     

Deep auto-encoder observer multiple-model fast aircraft actuator fault diagnosis algorithm

In the extended multiple model adaptive estimation fault diagnosis algorithm, the extended Kalman filter has theoretical limitations, and the establishment of accurate aircraft mathematical model is almost impossible. Meanwhile, there is no automatic method to optimally select the node number of deep neural network hidden layer. In this paper, a deep auto-encoder observer multiple-model fault diagnosis algorithm for aircraft actuator fault is proposed. Based on the empirical formula of the basic auto-encoder hidden layer node number selection (three layered neural network), the recursive formula for deep auto-encoder hidden layer node number selection are proposed. The deep auto-encoder observers for no-fault and different actuator faults are trained to observe the system state. Combined with multiple model adaptive estimation, the deep auto-encoder observer overcomes the theoretical limitation of extended Kalman filter, and avoided the calculation of the nonlinear system Jacobian matrix. The simulation results show that hidden layer node number selection recursive formula is useful. The fault diagnosis algorithm is more efficient and has better performance compared to the standard methods.     

Application of error minimized extreme learning machine for simultaneous learning of a function and its derivatives

In this paper a new learning algorithm is proposed for the problem of simultaneous learning of a function and its derivatives as an extension of the study of error minimized extreme learning machine for single hidden layer feedforward neural networks. Our formulation leads to solving a system of linear equations and its solution is obtained by Moore-Penrose generalized pseudo-inverse. In this approach the number of hidden nodes is automatically determined by repeatedly adding new hidden nodes to the network either one by one or group by group and updating the output weights incrementally in an efficient manner until the network output error is less than the given expected learning accuracy. For the verification of the efficiency of the proposed method a number of interesting examples are considered and the results obtained with the proposed method are compared with that of other two popular methods. It is observed that the proposed method is fast and produces similar or better generalization performance on the test data.     

分段式自适应确定BP网络隐层结点数 ——以遥感图像分类为例

隐层数和隐层结点数直接关乎BP网络的学习能力，但目前对隐层结点数的选择尚无适用的理论，一般凭经验或试凑确定。本文提出一种分段式自适应确定隐层结点数的算法，它通过评估网络输出相对误差相应调整隐层结点数，通过迭代运算在使网络输出相对误差逐步减小的同时，逼近可能的最优隐层结点数。通常这个最优结点数即网络输出相对误差出现震荡的起点对应的结点数，以这个结点数决定的网络结构能够在网络输出精度与运算开销之间取得较佳平衡。     

奇偶校验问题的二进神经网络学习算法

二进神经网络可以完备表达任意布尔函数,但对于孤立节点较多的奇偶校验问题却难以用简洁的网络结构实现。针对该问题,提出了一种实现奇偶校验等孤立节点较多的一类布尔函数的二进神经网络学习算法。该算法首先借助蚁群算法优化选择真节点及伪节点的访问顺序;其次结合几何学习算法,根据优化的节点访问顺序给出扩张分类超平面的步骤,从而减少隐层神经元的数目,同时给出了隐层神经元及输出元的表达形式;最后通过典型实例验证了该算法的有效性。     

Bounds on the number of samples needed for neural learning.

The relationship between the number of hidden nodes in a neural network, the complexity of a multiclass discrimination problem, and the number of samples needed for effect learning are discussed. Bounds for the number of samples needed for effect learning are given. It is shown that Omega(min (d,n) M) boundary samples are required for successful classification of M clusters of samples using a two-hidden-layer neural network with d-dimensional inputs and n nodes in the first hidden layer.     

Tuning of the structure and parameters of a neural network using an improved genetic algorithm

This paper presents the tuning of the structure and parameters of a neural network using an improved genetic algorithm (GA). It is also shown that the improved GA performs better than the standard GA based on some benchmark test functions. A neural network with switches introduced to its links is proposed. By doing this, the proposed neural network can learn both the input-output relationships of an application and the network structure using the improved GA. The number of hidden nodes is chosen manually by increasing it from a small number until the learning performance in terms of fitness value is good enough. Application examples on sunspot forecasting and associative memory are given to show the merits of the improved GA and the proposed neural network.