一种基于自适应遗传算法的神经网络学习算法

结合遗传算法与梯度下降法优点,提出了一种训练神经网络权值的混合优化算法,同时能够优化网络的结构。首先利用全局搜索能力可靠的遗传算法,采用递阶编码方案和自适应变异概率,同时优化网络的权值和结构,在进化结束时,能够寻到全局最优点附近的点。在遗传算法搜索结果的基础上,利用局部寻优能力较强的梯度下降法,从此点出发,进行局部搜索,最终达到网络的训练目标。与单一的遗传算法或者梯度下降法比较而言,混合优化算法的收敛速度明显提高。     

一种基于自适应遗传算法的神经网络学习算法

结合遗传算法与梯度下降法优点,提出了一种训练神经网络权值的混合优化算法,同时能够优化网络的结构.首先利用全局搜索能力可靠的遗传算法,采用递阶编码方案和自适应变异概率,同时优化网络的权值和结构,在进化结束时,能够寻到全局最优点附近的点.在遗传算法搜索结果的基础上,利用局部寻优能力较强的梯度下降法,从此点出发,进行局部搜索,最终达到网络的训练目标.与单一的遗传算法或者梯度下降法比较而言,混合优化算法的收敛速度明显提高.     

基于神经网络的混合优化算法研究

为了在资源有限的嵌入式系统中提高智能特性,需要研究开发具有较好逼近和泛化能力的、以及代码简单的神经网络.本文采用具有很强全局寻优能力的遗传算法以及局部寻优能力较强的梯度下降法,结合两者的优点形成了一种神经网络混合优化算法.对遗传算法操作算子做了改进,能同时优化神经网络的结构和权值及阈值.仿真实验结果表明,该混合优化算法能够有效地对神经网络的结构和权值及阈值优化,优化后的神经网络有较好的逼近能力和泛化能力.     

基于混沌遗传算法的模糊CMAC控制

分析CMAC神经网络和模糊控制的特性,给出了一种能反映人脑认知的模糊性和连续性的模糊CMAC神经网络控制器,该控制器采用高斯函数作为模糊隶属函数,利用神经网络实现模糊推理并可对隶属函数进行实时调整,从而使其具有学习和自适应能力;针对BP算法易陷入局部极值点的缺点和简单遗传算法局部搜索能力差的不足,提出了一种混合学习算法,即首先利用混沌遗传算法全局搜索的特点来离线优化神经网络的参数,再利用BP算法较强的局部搜索能力对网络参数进行在线调整;仿真结果表明了该方法的可行性和有效性.     

变尺度混沌算法的BP网络优化*

采用变尺度混沌优化方法代替梯度下降法融入BP神经网络,在优化搜索过程中不断缩小搜索空间,克服了标准BP算法易陷入局部极小的缺点,能有效地寻找到BP神经网络权值的全局最优值。此外,进一步提出变尺度混沌优化与梯度下降法有机结合的算法,能有效缩短单一的变尺度混沌优化BP算法的训练时间。仿真结果表明,改进的BP神经网络具有实现简单、寻优性强和优化效率高等特点。     

基于混沌梯度的BP网络设计及应用

该文针对BP神经网络易限入局部极小的问题,提出了混沌梯度优化的神经网络的学习算法,其原理是:用规则来判断由于梯度搜索过程中产生的局部极小,并利用具有全局寻优的特点的混沌搜索,使学习过程能有效地逃离局部极小。即采用梯度下降进行“粗搜索”,混沌搜索进行“细搜索”,并建立规则将两者结合起来,就构成了BP神经网络的基于规则的混沌梯度耦合学习算法。它有效地利用了梯度下降算法的快速性和混沌寻优的全局性,并已应用于工程实际,取得了良好的效果。     

遗传BP神经网络在网络流量预测中的应用

由于BP神经网络本质上采用的是梯度下降算法,具有收敛速度慢、容易陷入局部极小点等缺陷.针对这种情况,用具有良好全局搜索能力的遗传算法来改进BP神经网络模型,对神经网络的初始权值和阈值进行优化.仿真结果表明,遗传BP神经网络具有良好的预测效果,预测精度比传统的BP神经网络要高,误差更小,说明了遗传BP神经网络对网络流量预测是高效可行的.     

基于GA-LM-BP神经网络的锂离子电池预测研究

针对BP神经网络训练学习速度慢、容易陷入局部极小值的缺陷,利用LM算法融合高斯-牛顿法和梯度下降法优点的快速性,充分利用遗传算法全局随机搜索强的优势,构建了三层5-6-1型的GA-LM-BP神经网络结构,优化BP神经网络的初始权值和阀值,减少了BP神经网络陷入局部极小值的几率。通过对锂离子电池数据进行了实验,结果表明了该方法预测的有效性。     

基于遗传模糊神经网络的煤气鼓风机故障诊断

为充分利用遗传算法的全局搜索能力和BP算法的局部搜索能力,提出了基于遗传算法的遗传模糊神经网络模型,研究了故障特征参数模糊化处理和利用遗传算法优化神经网络权重的方法,加快了网络收敛速度,提高了收敛精度.在煤气鼓风机故障诊断中的应用表明,遗传模糊神经网络克服了BP算法中存在的网络学习收敛速度慢,以及容易陷入局部极小的问题,有效提高了故障诊断的精度.     

无标定图像视觉伺服控制方法研究

针对视觉伺服控制识别速度慢、精度低的问题，提出一种基于反向传播(BP)神经网络和遗传算法的视觉伺服控制算法。该算法对机器人与图象复合雅可比矩阵建模得到初始的BP神经网络视觉伺服控制器，采用遗传算法对控制器的初始权重和阈值进行训练，得到混合优化的视觉控制模型。该算法可以有效地将遗传算法良好的全局搜索能力与BP神经网络的精确局部搜索功能相结合。实验结果表明，收敛速度加快的同时误差下降为原来的4.6%,为机器人控制提供了一种简单有效的方法。     

基于粒子群优化算法的BP网络学习研究

文章提出了基于粒子群优化的BP网络学习算法。在该算法中,用粒子群优化算法替代了传统BP算法中的梯度下降法,使得改进后的算法具有不易陷入局部极小、泛化性能好等特点。并将该算法应用在了高速公路动态称重系统的设计中,实验证明:这种算法能够明显减少迭代次数、提高收敛精度,其泛化性能也优于传统BP算法。     

Intelligent forecasting system based on integration of electromagnetism-like mechanism and fuzzy neural network

Fuzzy neural network (FNN) architectures, in which fuzzy logic and artificial neural networks are integrated, have been proposed by many researchers. In addition to developing the architecture for the FNN models, evolution of the learning algorithms for the connection weights is also a very important. Researchers have proposed gradient descent methods such as the back propagation algorithm and evolution methods such as genetic algorithms (GA) for training FNN connection weights. In this paper, we integrate a new meta-heuristic algorithm, the electromagnetism-like mechanism (EM), into the FNN training process. The EM algorithm utilizes an attraction–repulsion mechanism to move the sample points towards the optimum. However, due to the characteristics of the repulsion mechanism, the EM algorithm does not settle easily into the local optimum. We use EM to develop an EM-based FNN (the EM-initialized FNN) model with fuzzy connection weights. Further, the EM-initialized FNN model is used to train fuzzy if–then rules for learning expert knowledge. The results of comparisons done of the performance of our EM-initialized FNN model to conventional FNN models and GA-initialized FNN models proposed by other researchers indicate that the performance of our EM-initialized FNN model is better than that of the other FNN models. In addition, our use of a fuzzy ranking method to eliminate redundant fuzzy connection weights in our FNN architecture results in improved performance over other FNN models.     

一种模糊神经网络的快速参数学习算法

提出了一种新的模糊神经网络的快速参数学习算法, 采用一些特殊的处理, 可以用递推最小二乘法(RLS)来调整所有的参数. 以前的学习算法在调整模糊隶属度函数的中心和宽度的时候, 用的是梯度下降法, 具有容易陷入局部最小值点、收敛速度慢等缺点, 而本算法则可以克服这些缺点, 最后通过仿真验证了算法的有效性.     

基于PCA的GABP神经网络入侵检测方法*

为克服BP算法易陷入局部最小的缺点,同时为减少样本数据维数,提出一种基于主成分分析(PCA)的遗传神经网络方法。通过降维和去相关加快收敛速度,采用改进的遗传算法优化神经网络权值,利用自适应学习速率动量梯度下降算法对神经网络进行训练。MATLAB仿真实验结果表明,该方法在准确性和收敛性方面都优于BP算法,应用于入侵检测系统中的检测率和误报率明显优于传统方法。     

神经网络增强学习的梯度算法研究

针对具有连续状态和离散行为空间的Markov决策问题，提出了一种新的采用多层前馈神经网络进行值函数逼近的梯度下降增强学习算法，该算法采用了近似贪心且连续可微的Boltzmann分布行为选择策略，通过极小化具有非平稳行为策略的Bellman残差平方和性能指标，以实现对Markov决策过程最优值函数的逼近，对算法的收敛性和近似最优策略的性能进行了理论分析，通过Mountain-Car学习控制问题的仿真研究进一步验证了算法的学习效率和泛化性能。     

遗传算法与BP神经网络相结合的说话人识别系统

基于BP神经网络的说话人识别系统是目前说话人识别中的一种主要模型,但BP神经网络通常难以确定隐含层单元的数目,且收敛速度慢。针对此缺点,提出了一种基于遗传算法（GA）的说话人识别BP神经网络优化方案,该方案利用混合编码的GA对神经网络的连接权和结构进行了优化,可以有效地剔除整个网络冗余节点和冗余连接权,方案利用了BP神经网络的并行性和GA的全局搜索能力,显著地改善了网络的处理能力。实验表明：基于混合编码GA的BP神经网络具有快速学习网络权重的能力,识别率高,是说话人识别的一种有效可行的新方案。     

基于量子神经网络的油田水淹层识别方法

针对油藏测井解释中的水淹层识别问题,提出一种量子神经网络模型。该模型用量子旋转门更新量子比特的相位,用受控旋转门实现网络的非线性映射功能。网络可调参数为量子旋转门的旋转角度和受控非门的控制参数。基于梯度下降法设计了学习算法。仿真结果表明,该模型的预测能力优于普通BP网络、模糊神经网络和过程神经网络等其他方法。     

改进的径向基函数网络的研究及应用

针对径向基函数网络和传统遗传算法的一些不足,提出引入一种自适应机制的浮点数编码的遗传算法,并将其与梯度下降法混合交互运算,作为径向基函数网络的学习算法,形成了基于改进遗传算法的径向基函数网络,它克服了径向基函数网络的学习算法上的缺陷。采用改进的遗传算法,无需计算梯度等,限制很少,还可用模型的预测性能作为优化目标。同时,也解决了单独利用遗传算法往往只能在短时间内寻找到接近全局最优解的近似解这一问题。最后将该算法应用到某地区电力负荷预测取得理想效果。