有理式多层前馈神经网络

提出了有理式多层前馈神经网络的数学模型，给出了有理式多层神经网络的学习算法，就计算复杂度而言，有理式神经网络的学习算法与传统的多层神经网络反传播算法是同阶的，函数逼近应用实例结果表明，将有理式多层神经网络用于解决传统问题是有效的。     

基于区间优化的神经网络全局优化方法

Hopfield神经网络被广泛应用于优化问题的求解中,而传统的Hopfield网络通常基于梯度下降法,此方法容易陷入局部极小而得到次最优解或收敛到问题的不可行解。另外,当用于训练网络样本的输入/输出数据无法精确给出,而只能以一定的范围的形式给出时,传统的神经网络学习方法就无能为力了。论文提出了一种基于区间优化的神经网络学习算法,可以很好地解决上面所提到的传统神经网络学习算法的缺点。     

有理式二阶前馈型神经网络

文章提出了二阶有理式多层前馈神经网络的数学模型。有理式多层神经网络的思想来源于函数逼近理论中的有理式逼近。有理式前馈神经网络模型是传统前俯神经网络模型的推广，能有效地求解函数逼近问题。文章给出了有理式多层神经网络的学习算法，即误差反传播学习算法。就计算复杂度而言，有理式神经网络的学习算法与传统的多层神经网络反传播算法是同阶的。文章还给出了函数逼近和模式识别两个应用实例，实验结果说明二阶有理式多层神经网络在解决传统的问题上是有效的。     

一种可调参数前馈神经网络的快速学习算法

针对传统BP神经网络权值算法速度慢、易陷入局部极小等缺陷，在权值平衡算法的基础上，提出了一种激励函数参数可调的前馈神经网络，并给出了相应的权值和参数快速学习算法。该算法运用该文提出的非单调启发式模拟退火搜索法实现网络权值和参数的快速搜索。实验表明，该算法不仅能明显提高网络的学习速度，而且可较好地避免学习过程陷入局部极小点而导致学习失败。     

可调参数前馈神经网络及其启发式模拟退火法

针对传统BP神经网络权值算法速度慢、易陷入局部极小等缺陷，在权值平衡算法的基础上，提出一种激励函数参数可调的前馈神经网络，并给出了相应的权值和参数快速学习算法；该算法运用文章提出的非单调启发式模拟退火搜索法实现网络权值和参数的快速搜索；实验表明，该算法不仅能明显提高网络的学习速度。而且可较好地避免学习过程陷入局部极小点而导致学习失败。     

一种基于改进k-means的RBF神经网络学习方法

针对传统RBF神经网络学习算法构造的网络分类精度不高,传统的k-means算法对初始聚类中心的敏感,聚类结果随不同的初始输入而波动。为了解决以上问题,提出一种基于改进k-means的RBF神经网络学习算法。先用减聚类算法优化k-means算法,消除聚类的敏感性,再用优化后的k-means算法构造RBF神经网络。仿真结果表明了该学习算法的实用性和有效性。     

自反馈神经网络的椭球学习算法

本文讨论自反馈神经网络的学习问题，指出联想记忆的神经网络的学习可以化为某种规划（优化）的问题来解，于是可借用规划数学中发展得成熟的优化技术来解自反馈神经网络的学习问题，文中给出一种称为椭球算法的学习方法，其计算复杂性是多项式型。     

人工神经网络快速学习算法

以Ｃｈｅｂｙｓｈｅｖ学习算法为基础,给出了数例神经网络仿真结果,其学习收速度大大优于ＢＰ算法及ＨＮＲ算法。     

神经网络主动学习的进化算法

1 引言近年来,神经网络的研究取得了很大进展,特别是,为了克服传统的BP学习算法的缺陷,即学习速度慢和人为给定的拓扑结构对特定学习任务的不适应性,而发展的自适应神经网络的增长策略,它通过不断地增长隐节点或子网来满足给定学习任务的复杂性要求。这种神经网络的增长算法不仅克服了人为指定的拓扑结构的困难,而且由于其结构过程所固有的模块化训练特性,也缓解了传统的BP算法训练速度慢的突出问题。由于神经网络训练程度很难把握,许多算法往往过分强调训练结果而牺牲泛化结果,致使网络的过拟合问题严重。为了克服过拟合问题,研究者们采用了多网络合作模型,由于多个网络的平均效应,可以避免单个     

用神经网络来实现基于范例的推理系统

范例推理与神经网络有一种自然的联系，神经网络有许多优点，利用神经网络来实现范例推理可以取得非常好的效果。文章首先详细探讨了在范你推理中使用的神经网络模型与技术，并给出了其上的搜索与学习算法以及数据挖掘算法，旨在提高范例推理系统的鲁棒性和知识获取的自动化程度。     

Neighborhood based modified backpropagation algorithm using adaptive learning parameters for training feedforward neural networks

The major drawbacks of backpropagation algorithm are local minima and slow convergence. This paper presents an efficient technique ANMBP for training single hidden layer neural network to improve convergence speed and to escape from local minima. The algorithm is based on modified backpropagation algorithm in neighborhood based neural network by replacing fixed learning parameters with adaptive learning parameters. The developed learning algorithm is applied to several problems. In all the problems, the proposed algorithm outperform well.     

一种新的神经网络学习算法

通过对人类学习机理和机制的研究,以及对现有ＢＰ神经网络学习算法及其改进的深入分析,本文提出了一种新的学习算法。该学习算法使神经网络学习由纯数学推导向智能化（启发式）学习发展,获取解决问题的最佳结构中神经元数及神经元间的联接数随问题的变化而动态变化,克服了目前神经网络学习算法普遍存在的学习时间长、局部极小小等问题。     

利用单形进化优化的BP神经网络学习算法

在BP神经网络训练算法中,针对权值的优化学习容易陷入局部极值点、收敛速度慢等问题,很多研究引入智能优化算法对其进行改进,但传统的智能优化算法通常有多个控制参数,若不能正确选取参数,或者没有适当选择初始点位置,则很难搜索到最优的神经网络权值。为了解决这些问题,提出一种基于单形进化的BP神经网络学习算法,它通过全随机搜索减少算法的控制参数,利用群体的多角色态保持粒子的多样性,避免算法陷入局部的极值点,减少了对初始值的依赖。在应用中,将该算法应用于神经网络的训练算法中,通过对UCI数据集和人脸图像的测试,实验结果表明,上校算法训练的神经网络有效提高了识别率与训练效率。     

一种基于多目标优化的神经网络快速学习算法

本文根据多目标优化理论、认知科学和神经科学等学科的最新成果，提出了一种基于多目标优化的神经网络快速学习算法．实验结果表明，该学习算法可以解决目前神经网络普遍存在的学习时间长、容易陷入局部极小和网络结构优化难等问题.     

神经网络非梯度优化方法研究进展

神经网络优化是机器学习领域的一个基础性前沿课题。相较于神经网络的纯梯度优化算法,非梯度算法在解决收敛速度慢、易陷入局部最优、无法解决不可微等问题上表现出更大的优势。在剖析基于梯度的神经网络方法优缺点的基础上,重点对部分非梯度优化方法进行了综述,包括前馈神经网络优化和随机搜索优化;从基本理论、训练神经网络的步骤以及收敛性等方面对非梯度优化方法的优缺点和应用情况进行了分析;总结了基于非梯度的训练神经网络的算法在理论和应用方面面临的挑战并且展望了未来的发展方向。     

神经网络在移动机器人路径规划中的应用研究

移动机器人路径规划可分为两种类型:(1)全局路径规划;(2)局部路径规划。本文分析了Kohonen神经网络算法及其识别机理,提出了Kohonen神经网络和BP神经网络结合起来进行路径规划的方法,最后给出了具体的算法,探讨了在神经网络技术中引入学习机制的特点。     

MBNR: Case-Based Reasoning with Local Feature Weighting by Neural Network

Our aim is to build an integrated learning framework of neural network and case-based reasoning. The main idea is that feature weights for case-based reasoning can be evaluated by neural networks. In this paper, we propose MBNR (Memory-Based Neural Reasoning), case-based reasoning with local feature weighting by neural network. In our method, the neural network guides the case-based reasoning by providing case-specific weights to the learning process. We developed a learning algorithm to train the neural network to learn the case-specific local weighting patterns for case-based reasoning. We showed the performance of our learning system using four datasets.     

Comparison of Stochastic Global Optimization Methods to Estimate Neural Network Weights

Training a neural network is a difficult optimization problem because of numerous local minima. Many global search algorithms have been used to train neural networks. However, local search algorithms are more efficient with computational resources, and therefore numerous random restarts with a local algorithm may be more effective than a global algorithm. This study uses Monte-Carlo simulations to determine the efficiency of a local search algorithm relative to nine stochastic global algorithms when using a neural network on function approximation problems. The computational requirements of the global algorithms are several times higher than the local algorithm and there is little gain in using the global algorithms to train neural networks. Since the global algorithms only marginally outperform the local algorithm in obtaining a lower local minimum and they require more computational resources, the results in this study indicate that with respect to the specific algorithms and function approximation problems studied, there is little evidence to show that a global algorithm should be used over a more traditional local optimization routine for training neural networks. Further, neural networks should not be estimated from a single set of starting values whether a global or local optimization method is used.     

Multilayer associative neural networks (MANN''s): storage capacityversus perfect recall

The objective of this paper is to to resolve important issues in artificial neural nets-exact recall and capacity in multilayer associative memories. These problems have imposed restrictions on coding strategies. We propose the following triple-layered hybrid neural network: the first synapse is a one-shot associative memory using the modified Kohonen's adaptive learning algorithm with arbitrary input patterns; the second one is Kosko's bidirectional associative memory consisting of orthogonal input/output basis vectors such as Walsh series satisfying the strict continuity condition; and finally, the third one is a simple one-shot associative memory with arbitrary output images. A mathematical framework based on the relationship between energy local minima (capacity of the neural net) and noise-free recall is established. The robust capacity conditions of this multilayer associative neural network that lead to forming the local minima of the energy function at the exact training pairs are derived. The chosen strategy not only maximizes the total number of stored images but also completely relaxes any code-dependent conditions of the learning pairs.