前馈神经网络的一种快速学习算法

提出的算法是利用凸函数共轭性质中的Young不等式构造优化目标函数,这个优化目标函数对于权值和隐层输出来说为凸函数,不存在局部最小。首先把隐层输出作为变量进行优化更新,然后快速计算出隐层前后的权值。数值实验表明：此算法简单,收敛速度快,泛化能力强,并大大降低了学习误差。     

基于惩罚函数约束优化的多眉感知器分层训练算法

本文提出的算法是利用凸函数共轭性质中的Young不等式构造优化目标函数，这个优化目标函数对于权值和隐层输出来说为凸函数，不存在局部最小。首先把隐层输出做为变量进行优化更新，然后快速计算出隐层前后的权值。数值实验表明：此算法简单，收敛速度快，泛化能力强，并能大大降低学习误差。     

前馈网络凸优化算法的自适应分析及应用

该文利用凸优化理论和约束优化理论为前馈神经网络构造出了一个新的优化目标函数。该目标函数的一个重要特点是：若固定连接权值,它对隐层输出来说为凸的;若固定隐层输出,它对连接权值来说为凸的。对该目标函数进行优化时,把隐层输出也做为被优化变量,交替优化隐层输出和连接权值;之后再增大惩罚因子的值,重复上述步骤,直到惩罚因子足够大为止。用新的目标函数设计的前馈网络凸优化算法,能在很大程度上克服以往算法易于陷入局部最小而使网络训练失败的缺陷。从理论和实践上对新算法进行了深入分析,重点分析了惩罚因子在算法中的重要作用,并通过图像压缩这一实例进行了很好的验证。     

基于SFLA优化BP神经网络的语音信号分类

BP神经网络是一种多层前馈网络,数据经过网络的输入层、隐含层逐层处理后,由输出层进行输出,通过和期望输出的对比进行反向传播,调整网络参数使输出不断逼近期望输出;在使用BP神经网络对语音特征信号进行分类的过程中,会出现BP神经网络易陷入局部最优解、学习收敛速度慢的问题;针对此问题提出一种基于SFLA优化BP神经网络权值和阀值的方法,引入SFLA算法优化网络权值和阀值,利用SFLA优化后的BP网络模型进行语音特征信号分类;仿真结果表明,经SFLA优化后的BP神经网络与未优化的神经网络相比,不仅训练速度快, 而且误差小,语音特征信号分类的正确率平均提高1.31%。     

基于LMBP改进算法的神经网络结构优化

提出了一种基于增长法的神经网络结构优化算法。在函数逼近的BP神经网络中引入一种改进的BP算法(LMBP算法),通过二次误差下降与梯度下降,利用误差变化规律分析网络结构的优化程度,自适应地增加隐层神经元或网络层次,从而得到一个合适的网络结构。进行了仿真实验及该算法与RAN算法用于逼近函数的对比实验,实验结果表明了该算法的有效性。     

基于隐层生长策略的前馈神经网络隐层性能评测

针对最佳平方逼近三层前馈神经网络模型,讨论了以逐一增加隐单元方式构建隐层时隐层性能的评测方法。分析了影响前馈神经网络性能的相关空间,引入了表示空间、误差空间、目标空间和耗损空间的概念,研究了每个隐单元的误差补偿性能,提出了网络隐层性能的评测参数,并通过对传统BP算法和正交化算法的考查验证了其合理性与有效性。     

基于能量空间逼近策略的三层前馈神经网络隐层训练算法

针对基于最佳平方逼近的三层前馈神经网络讨论了隐层生长模式的一种训练策略．首先根据隐层输出行为和期望输出数据的分布特征对样本数据确定的N维空间进行了不同意义上的划分．分析表明最有效的隐单元其输出向量应该在误差空间存在投影分量，同时该分量应位于目标空间中的某一能量空间内．在此基础上提出了基于能量空间逼近策略的隐层生长式训练算法．最后通过仿真实验验证了所提出算法的有效性．     

Fourier三角基神经元网络的权值直接确定法

根据Fourier变换理论,本文构造出一类基于三角正交基的前向神经网络模型。该模型由输入层、隐层、输出层构成,其输入层和输出层采用线性激励函数,以一组三角正交基为其隐层神经元的激励函数。依据误差回传算法(即BP算法),推导了权值修正的迭代公式。针对BP迭代法收敛速度慢、逼近目标函数精度较低的缺点,进一步提出基于伪逆的权值直接确定法,该方法避免了权值反复迭代的冗长过程。仿真和预测结果表明,该方法比传统的BP迭代法具有更快的计算速度和更高的仿真与测试精度。     

零代价函数的前馈神经网络新算法

文章提出一种全新的三层前馈神经网络算法,它比BP算法优越得多.新算法不再采用误差反向传播原理,而是选择一层自由权,通过求解线性方程组求得另一层待求权.新算法选择很广一类的隐层神经元函数,可以直接求得全局最小点,不存在BP算法的局部极小、收敛速度慢等问题.新算法较BP算法快得多.     

随机模糊神经网络的结构学习算法研究

基于输入层、隐层、输出层相互关系准则函数的随机模糊神经网络结构学习算法,综合考虑了输入、输出信号对隐层函数的影响。此算法的一个关键的问题是如何确定随机模糊神经网络的最佳隐层节点数。本文给出了确定最佳规则数的一般方法,并根据结果给出了相应的仿真实例。     

A new optimization algorithm for single hidden layer feedforward neural networks

Feedforward neural networks are the most commonly used function approximation techniques in neural networks. By the universal approximation theorem, it is clear that a single-hidden layer feedforward neural network (FNN) is sufficient to approximate the corresponding desired outputs arbitrarily close. Some researchers use genetic algorithms (GAs) to explore the global optimal solution of the FNN structure. However, it is rather time consuming to use GA for the training of FNN. In this paper, we propose a new optimization algorithm for a single-hidden layer FNN. The method is based on the convex combination algorithm for massaging information in the hidden layer. In fact, this technique explores a continuum idea which combines the classic mutation and crossover strategies in GA together. The proposed method has the advantage over GA which requires a lot of preprocessing works in breaking down the data into a sequence of binary codes before learning or mutation can apply. Also, we set up a new error function to measure the performance of the FNN and obtain the optimal choice of the connection weights and thus the nonlinear optimization problem can be solved directly. Several computational experiments are used to illustrate the proposed algorithm, which has good exploration and exploitation capabilities in search of the optimal weight for single hidden layer FNNs.     

基于序列输入的神经网络模型算法及应用

为提高神经网络的逼近能力,提出一种基于序列输入的神经网络模型及算法。模型隐层为序列神经元,输出层为普通神经元。输入为多维离散序列,输出为普通实值向量。先将各维离散输入序列值按序逐点加权映射,再将这些映射结果加权聚合之后映射为隐层序列神经元的输出,最后计算网络输出。采用Levenberg-Marquardt算法设计了该模型学习算法。仿真结果表明,当输入节点和序列长度比较接近时,模型的逼近能力明显优于普通神经网络。     

A learning automata-based algorithm for determination of the number of hidden units for three-layer neural networks

There is no method to determine the optimal topology for multi-layer neural networks for a given problem. Usually the designer selects a topology for the network and then trains it. Since determination of the optimal topology of neural networks belongs to class of NP-hard problems, most of the existing algorithms for determination of the topology are approximate. These algorithms could be classified into four main groups: pruning algorithms, constructive algorithms, hybrid algorithms and evolutionary algorithms. These algorithms can produce near optimal solutions. Most of these algorithms use hill-climbing method and may be stuck at local minima. In this article, we first introduce a learning automaton and study its behaviour and then present an algorithm based on the proposed learning automaton, called survival algorithm, for determination of the number of hidden units of three layers neural networks. The survival algorithm uses learning automata as a global search method to increase the probability of obtaining the optimal topology. The algorithm considers the problem of optimization of the topology of neural networks as object partitioning rather than searching or parameter optimization as in existing algorithms. In survival algorithm, the training begins with a large network, and then by adding and deleting hidden units, a near optimal topology will be obtained. The algorithm has been tested on a number of problems and shown through simulations that networks generated are near optimal.     

神经网络中克服局部最小的BP—EP混合算法

人工神经网络在很多领域有着成功的应用,神经网络有许多学习算法,BP算法是前向多层神经网络的典型算法,但BP算法有时会陷入局部最小解,进化规划（EP）是一种随机优化技术,它可以发现全局成解,当网络学习过程陷入局部最小时,利用EP确定BP算法中的学习速率,使学习过程逸出局部最小,结合具体例子给出了算法实现的具体操作步骤和实验结果。     

A Hybrid Training Algorithm for Feedforward Neural Networks

Feedforward neural networks (FNN) have been proposed to solve complex problems in pattern recognition, classification and function approximation. Despite the general success of learning methods for FNN, such as the backpropagation (BP) algorithm, second-order algorithms, long learning time for convergence remains a problem to be overcome. In this paper, we propose a new hybrid algorithm for a FNN that combines unsupervised training for the hidden neurons (Kohonen algorithm) and supervised training for the output neurons (gradient descent method). Simulation results show the effectiveness of the proposed algorithm compared with other well-known learning methods.     

两种典型神经网络容错方法的比较

Behnam提出的SC算法和文中提出的rehidden算法是两种典型的前向神经网络容错算法,前者改进BP算法进行学习,后者对已学习的网络进行隐层节点冗余.这两种算法各有优缺点.文中对这两种算法进行了仿真实验分析,最终得到了每种算法适用的网络规模和硬件条件,在不同环境下应采用不同的方法才能得到可行的容错网络.最后还对SC算法的一些改进进行了讨论.