改进的遗传算法在优化BP网络权值中的应用

对遗传算法和BP神经网络的特点进行了比较,作为进化算法神经网络与遗传算法的目标相近而方法各异。阐述了遗传算法与神经网络结合的必要性。提出了一种改进的遗传算法优化BP神经网络的权值,用遗传算法的全局随机搜索能力弥补了神经网络容易陷入局部最优解的问题。同时,在遗传算法中改变传统的同代交叉机制,采用父代与子代进行交叉,避免了遗传算法过早丧失进化能力。     

基于改进遗传算法的神经网络优化设计

针对前馈式多层神经网络的结构和权值设计方法的缺陷,提出了一种基于改进遗传算法的前馈神经网络自动优化设计方法,用以完成对网络结构和权值空间的搜索,提高神经网络的收敛速度和搜索全局最优解的能力。通过实验表明,该算法的收敛速度较快,过程稳定,而且泛化能力也较好。故此方法在神经网络设计上能够发挥较好的作用。     

一种基于进化算法的BP神经网络优化方法及应用

针对BP网络的不足,分析了一般进化算法在神经网络结构优化过程中存在的问题,根据物种内优生优育原则和物种间相互竞争、相互学习的生物学原理,提出了一种新的基于进化算法的神经网络优化方法。该方法不但有效弥补了BP神经网络在网络结构、权值选择上的随机性缺陷,缩小了神经网络结构的解搜索空间,加快了BP网络的收敛速度,进而提高了搜索效率,而且还起到对网络的结构和权值进行同时进化的作用。实验结果表明该方法取得了良好的效果。     

一种基于进化算法的BP神经网络优化方法及应用

针对BP网络的不足,分析了一般进化算法在神经网络结构优化过程中存在的问题,根据物种内优生优育原则和物种间相互竞争、相互学习的生物学原理,提出了一种新的基于进化算法的神经网络优化方法。该方法不但有效弥补了BP神经网络在网络结构、权值选择上的随机性缺陷,缩小了神经网络结构的解搜索空间,加快了BP网络的收敛速度,进而提高了搜索效率,而且还起到对网络的结构和权值进行同时进化的作用。实验结果表明该方法取得了良好的效果。     

实数编码遗传算法及其对BP网络权值进化的应用

遗传算法与神经网络的结合是目前研究的一个方向，本文的目的就是用遗传算法对神经网络的权值进行优化，以提高网络的进化速度，克服BP算法容易陷入局部极小的缺点。由于二进制编码方案不直观而且得到的解的精度不高，本文采用实数编码方案，目的是提高解的精度，从而达到好的优化效果。     

KMEA算法及其在多传感器融合系统中的应用

将粗糙集和粒计算形成的知识获取机制融入思维进化算法,对进化过程中所产生的数据进行挖掘和知识发现,利用所发现的知识指导进化的方向,实现了知识指导下的思维进化算法,体现出人类思维活动过程中对知识的抽象和利用功能。对多传感器信息融合系统中神经网络权值优化的结果表明,该方法可降低神经网络在权值选择上的随机性缺陷,缩小搜索空间,提高网络的收敛速度和泛化能力。     

利用影响因子遗传算法优化前馈神经网络*

提出了一种带有影响因子的改进遗传算法并以此来优化前馈神经网络.染色体的每个基因都有一个影响因子,其不同取值体现了基因对整条染色体的不同影响程度.在遗传进化过程中,通过影响因子等遗传操作以达到对前馈神经网络的权值、阈值和结构优化的目的.仿真实验表明,该算法能够快速地确定神经网络的结构并且有效地提高了神经网络的收敛速度.     

基于免疫遗传算法的多层前向神经网络设计

利用一种基于免疫功能的遗传算法,设计多层前向神经网络,用于实现多层前向神经网络结构的确定和权值空间的搜索。仿真实验结果显示该算法具有比遗传算法和动量BP算法更好的全局收敛性和快速学习网络权值的能力。     

一种基于遗传算法的神经网络控制方法

本文比较了传统的BP算法和遗传算法用于神经网络设计的优缺点，阐明了遗传算法和神经网络相结合的必要性，提出了一种用遗传算法同时优化网络的结构和权值的神经网络控制方法，通过对遗传算法基本参数及骗码方案，遗传算子的设计，实现了权值与结构的同时优化，成功地应用于二级倒立摆系统的控制，仿真结果显示了这种遗传算法能够有效抑制早期收敛，以较快的速度与较高的精度达到全局快速收敛。     

基于改进遗传算法的神经网络优化方法

为了克服神经网络反向传播算法收敛速度慢,易陷入局部极小值,初始权值和阈值的选择缺乏依据,具有很大随机性等缺陷,采用基于自适应遗传算法的神经网络优化方法,方法结合了两者的优点,但是仍存在种群早期进化速度慢的缺点,于是提出了一种改进的自适应遗传算法,将其应用于神经网络的权值和阈值的优化设计中,并将此模型用于对某城市污水厂难测参数SVI的预测.仿真结果表明,算法不仅可克服BP算法的缺陷,而且与BP和GA-BP网络模型比较,大大提高了收敛速度与收敛精度,获得了良好的测量效果.     

基于改进型遗传神经网络的相似重复记录检测

本文提出一种基于遗传神经网络的相似重复记录检测方法,充分利用了神经网络的非线性映射和遗传算法的全局优化特性,将基于学习的思想和进化的思想有效结合并应用到重复记录检测中,避开了传统方法计算属性权重的问题,并对遗传神经网络进行改进。实验结果表明本文方法能够有效地解决大数据量的相似重复记录检测问题,不仅具有好的检测精度,而且具有很好的时间效率。     

基于遗传BP算法的手写体识别

神经网络具有模拟人类的大脑活动、良好的自学习、自适应、联想记忆、并行处理和非线形转换的能力.本文阐述了BP神经网络基本原理以及BP网络手写体识别模型,研究分析了BP神经网络手写体识别模型的缺陷并提出了优化策略.在此基础上,提出一种基于改进结构的BP神经网络来实现手写体数字识别方案,除了改进BP网的结构外,还对网络学习算法进行了改进,采用了BP和GA相结合的算法,提高了网络的学习训练速度和识别效果.     

支持向量机理论与基于规划的神经网络学习算法

近年来支持向量机（SVM）理论得到国外学者高度的重视,普遍认为这是神经网络学习的新研究方向,近来也开始得到国内学者的注意。该文将研究SVM理论与神经网络的规划算法的关系,首先指出,Vapnik的基于SVM的算法与该文作者1994年提出的神经网络的基于规划的算法是等价的,即在样本集是线性可分的情况下,二者求得的均是最大边缘（maximal margin)解。不同的是,前者（通常用拉格郎日乘子法）求解的复杂性将随规模呈指数增长,而后者的复杂性是规模的多项式函数。其次,作者将规划算法化为求一点到某一凸集上的投影,利用这个几何的直观,给出一个构造性的迭代求解算法－－“单纯形迭代算法”。新算法有很强的几何直观性,这个直观性将加深对神经网络（线性可分情况下）学习的理解,并由此导出一个样本集是线性可分的充分必要条件。另外,新算法对知识扩充问题,给出一个非常方便的增量学习算法。最后指出,“将一些必须满足的条件,化成问题的约束条件,将网络的某一性能,作为目标函数,将网络的学习问题化为某种规划问题来求解”的原则,将是研究神经网络学习问题的一个十分有效的办法。     

Neural network pruning with Tukey-Kramer multiple comparison procedure

Reducing a neural network's complexity improves the ability of the network to generalize future examples. Like an overfitted regression function, neural networks may miss their target because of the excessive degrees of freedom stored up in unnecessary parameters. Over the past decade, the subject of pruning networks produced nonstatistical algorithms like Skeletonization, Optimal Brain Damage, and Optimal Brain Surgeon as methods to remove connections with the least salience. The method proposed here uses the bootstrap algorithm to estimate the distribution of the model parameter saliences. Statistical multiple comparison procedures are then used to make pruning decisions. We show this method compares well with Optimal Brain Surgeon in terms of ability to prune and the resulting network performance.     

最小风险准则和遗传算法优化神经网络

提出了一种基于最小平均风险准则的遗传算法优化设计前向神经网络的方法，遗传算法的适应度函数并不采用传统的均方误差准则，而是由平均风险则所决定，这种方法在神经网络输出与期望输出之间误差的同时，还要考虑神经网络对不同类型训练样本产生的这种误差所引起的不同的风险损失。这种方法优化得到的神经网络不仅可以准确地再现训练样本集合的期望输出，对训练样本集合外样本的正确预测能力也有明显的提高。     

Cooperative-Competitive Algorithms for Evolutionary Networks Classifying Noisy Digital Images

We describe an efficient method of combining the global search of genetic algorithms (GAs) with the local search of gradient descent algorithms. Each technique optimizes a mutually exclusive subset of the network's weight parameters. The GA chromosome fixes the feature detectors and their location, and a gradient descent algorithm starting from random initial values optimizes the remaining weights. Three algorithms having different methods of encoding hidden unit weights in the chromosome are applied to multilayer perceptrons (MLPs) which classify noisy digital images. The fitness function measures the MLP classification accuracy together with the confidence of the networks.     

Learning to forget: continual prediction with LSTM

Long short-term memory (LSTM; Hochreiter & Schmidhuber, 1997) can solve numerous tasks not solvable by previous learning algorithms for recurrent neural networks (RNNs). We identify a weakness of LSTM networks processing continual input streams that are not a priori segmented into subsequences with explicitly marked ends at which the network's internal state could be reset. Without resets, the state may grow indefinitely and eventually cause the network to break down. Our remedy is a novel, adaptive "forget gate" that enables an LSTM cell to learn to reset itself at appropriate times, thus releasing internal resources. We review illustrative benchmark problems on which standard LSTM outperforms other RNN algorithms. All algorithms (including LSTM) fail to solve continual versions of these problems. LSTM with forget gates, however, easily solves them, and in an elegant way.     

基于协同进化微粒群算法的神经网络自适应噪声消除系统

在分析前向神经网络结构的基础上,定义了一个与随机数对应的布尔向量,实现了前向神经网络的网络结构与权值联合编码;将网络结构参数作为协同进化微粒群算法子群的划分标志,构造了一种用于神经网络进化设计的协同进化微粒群算法,实现了神经网络的结构和权值协同自适应进化设计,应用于神经网络噪声消除系统,取得了比较好的效果。     

Neural network optimized with evolutionary computing technique for solving the 2-dimensional Bratu problem

In this paper, a stochastic technique is developed to solve 2-dimensional Bratu equations using feed-forward artificial neural networks, optimized with genetic and interior-point algorithms. The 2-dimensional equations are first transformed into a 1-dimensional boundary value problem, and a mathematical model of the transformed equation is then formulated with neural networks using an unsupervised error. Network weights are optimized to minimize the error. Evolutionary computing based on genetic algorithms is used as a tool for global search, integrated with an interior-point method for rapid local convergence. The methodology is applied to solve three cases of boundary value problems for the Bratu equations. The accuracy, convergence and effectiveness of the scheme is validated for a large number of simulations. Comparison of results is made with the exact solution derived using MATHEMATICA, and is found to be in good agreement.