基于粒子群优化与BP算法的协同神经网络学习方法

针对标准BP算法易陷入局部极值及收敛速度慢等问题,提出一种基于粒子群优化与BP算法的协同神经网络学习方法。该方法在网络的学习过程中,同时利用PSO优化算法与BP算法进行最优网络权值的协同搜索,从而充分利用粒子群算法的全局搜索性及BP算法的反向传播特点。将该算法应用于4个复杂函数的拟合仿真,并与标准BP算法以及传统的粒子群优化BP神经网络算法进行比较。实验结果表明所提的协同算法的性能优于传统的BP网络优化算法。     

基于PSO的BP神经网络学习算法

针对标准反向传播(BP)算法收敛速度慢和易陷入局部极值等缺陷,提出一种基于粒子群优化的BP神经网络学习算法。采用标准BP梯度下降法调整权值,利用粒子群优化算法进行网络权值及阈值的修正。将该算法与标准BP算法及传统基于粒子群优化BP网络算法进行仿真比较。实验结果表明,该算法能够克服标准BP算法的缺点,性能优于其他2个BP网络优化模型。     

AFSA＋PSO混合算法在BP网络故障诊断中的应用

提出一种基于人工鱼群算法和粒子群算法混合训练BP网络的故障诊断系统.采用人工鱼群算法和粒子群算法结合算法训练神经网络权值,局部搜索速度快且保证全局收敛,有效克服了传统的BP神经网络收敛速度慢且容易陷入局部极值的缺点.将该网络用于齿轮箱故障诊断,并与传统BP模型用于故障诊断结果进行了比较,取得了较好的效果.     

基于面向对象自适应粒子群算法的神经网络训练*

针对传统的神经网络训练算法收敛速度慢和泛化性能低的缺陷,提出一种新的基于面向对象的自适应粒子群优化算法(OAPSO)用于神经网络的训练。该算法通过改进PSO的编码方式和自适应搜索策略以提高网络的训练速度与泛化性能,并结合Iris和Ionosphere分类数据集进行测试。实验结果表明：基于OAPSO算法训练的神经网络在分类准确率上明显优于BP算法及标准PSO算法,极大地提高了网络泛化能力和优化效果,具有快速全局收敛的性能。     

混沌粒子群神经网络在非线性函数拟合中的应用研究

BP神经网络虽然是目前应用最广泛的神经网络模型,但其自身有易陷入局部极小值和收敛速度慢的缺点。本文提出了一种利用混沌粒子群算法来改进BP神经网络。该算法的基本思想是用混沌粒子群算法对BP神经网络的初始权值和初始阈值进行优化。对粒子群算法进行混沌优化,提高粒子群算法的全局搜索能力;用混沌粒子群算法优化后得到的最优解作为BP神经网络的初始权值和阈值。通过对非线性函数的拟合实验,发现改进后的结果与普通的BP神经网络的结果相比,具有更高的准确性,提高了拟合的精度。     

改进粒子群算法对BP神经网络的优化

介绍一种基于改进粒子群算法优化BP网络的权值调整综合方法。该算法在传统BP算法的误差反传调整权值的基础上,引入粒子群算法的权值修正,并且在训练神经网络权值的同时优化其连接结构,删除冗余连接,从而建立了基于粒子群算法优化的BP网络新模型。结果表明,改进算法不仅可以克服传统BP算法收敛速度慢和易陷入局部权值的局限,而且很大程度地提高了结果精度和BP网络学习能力。     

基于PSO神经网络的故障诊断方法研究

将粒子群优化算法和BP算法相结合,提出了一种基于粒子群神经网络的故障诊断方法.该方法分阶段实施神经网络的训练,有效地加强了算法的全局搜索能力,采用PSO优化了传播中的权值、阈值以及网络结构.这不仅弥补了BP算法的不足,而且删除了冗余连接,提高了故障模式识别的能力.仿真结果表明该方法加快了神经网络的学习收敛速度,提高了故障模式的识别正确率,可以有效地应用于设备的故障诊断.     

一种改进的粒子群优化RBF网络学习算法

提出了一种新的用粒子群优化RBF网络学习的算法,即分组训练合成优化。该算法利用粒子之间的合作与竞争以实现对多维复杂空间的高维搜索能力,找出神经网络权值的最优解,以达到优化神经网络学习的目的。通过与用最小二乘法优化的神经网络进行了比较,结果表明算法所优化的神经网络收敛效果明显、收敛速度快。     

一种改进的粒子群优化RBF网络学习算法

提出了一种新的用粒子群优化RBF网络学习的算法，即分组训练合成优化。该算法利用粒子之间的合作与竞争以实现对多维复杂空间的高维搜索能力，找出神经网络权值的最优解，以达到优化神经网络学习的目的。通过与用最小二乘法优化的神经网络进行了比较，结果表明算法所优化的神经网络收敛效果明显、收敛速度快。     

基于粒子群算法优化BP神经网络漏钢预报的研究

针对标准BP神经网络中收敛速度慢以及易陷入局部最优解等问题,利用粒子群算法的全局搜索性,将粒子群算法应用到BP神经网络训练中建立了PSO-BP神经网络模型,结果表明改进模型不仅可以克服传统BP网络收敛速度慢和易陷入局部权值的局限问题,而且很大程度地提高了结果精度和BP网络学习能力,将此模型应用到结晶器漏钢预报系统中,并用某钢厂采集到的历史数据对该模型进行训练与测试,与标准BP神经网络测试结果进行分析与比较,实验表明PSO-BP网络模型预报更加实时、准确,具有很好的应用前景.     

Revised GMDH-type neural network algorithm self-selecting optimum neural network architecture

In this study, the revised group method of data handling (GMDH)-type neural network (NN) algorithm self-selecting the optimum neural network architecture is applied to the identification of a nonlinear system. In this algorithm, the optimum neural network architecture is automatically organized using two kinds of neuron architecture, such as the polynomial- and sigmoid function-type neurons. Many combinations of the input variables, in which the high order effects of the input variables are contained, are generated using the polynomial-type neurons, and useful combinations are selected using the prediction sum of squares (PSS) criterion. These calculations are iterated, and the multilayered architecture is organized. Furthermore, the structural parameters, such as the number of layers, the number of neurons in the hidden layers, and the useful input variables, are automatically selected in order to minimize the prediction error criterion defined as PSS.     

一种自组织双模糊神经网络控制算法

针对传统模糊神经网络设计复杂、控制实时性滞后的问题,提出自组织双模糊神经网络算法。将样本数据进行聚类划分,形成原始的模糊隶属函数集;在神经网络的离线训练过程中,完善并优化模糊隶属函数和规则;采用双神经网络结构,在线工作时,一个神经网络完成在线学习任务,另一个神经网络完成工业控制任务;经过一定的系统周期,同步系统中两组神经网络的参数;提取完成控制任务的神经网络的输出作为算法的输出。应用于火箭发动机试验台控制系统中,表明算法能够提升控制系统中针对输入参数越界的鲁棒性,提高控制实时性,简化了模糊神经网络的设计复杂度。     

卷积神经网络人脸检测算法

传统人脸检测算法往往不能自动地从原始图像中提取有用的检测特征,而卷积神经网络可以轻易地提取高维度的特征信息,广泛用于图像处理领域。针对上述缺点,采用简单高效的深度学习Caffe框架并通过AlexNet网络训练,数据集为LFW人脸数据集,得出一个模型分类器,对原始图像数据进行图像金字塔变换,并通过前向传播得到特征图,反变换得出人脸坐标,采用非极大值抑制算法得出最优位置,最后达到一个二分类的人脸检测结果。该方法可以实现不同尺度的人脸检测,具有较高的精度,可用于构建人脸检测系统。     

BP神经网络的联合优化算法

针对BP神经网络存在收敛速度慢、易陷入局部极小等缺陷,提出了一种自适应调节学习率和动态调整S型激励函数相结合的改进BP算法。该算法将学习率与误差函数相关联,再对每个隐单元和输出单元的激励函数的斜率进行自动调整。通过实例仿真,将改进算法与标准BP算法、加动量项法和自适应学习率法进行比较,来验证所提出方法的有效性。实验结果表明,联合优化的BP算法能有效加快网络的收敛过程,并具有较强的泛化能力。     

ART2神经网络学习算法的改进

自适应共振(ART)神经网络具有无监督学习功能,能对时序信号进行实时学习、实时处理,能对已学习过的样本作出快速响应,自动识别等优点,尤其以ART2网络更具有实用性。但是传统的ART2网络存在幅度信息丢失和模式漂移等现象,针对这一情况,本文把模式漂移的方向作为一个因素进行考虑,通过设置漂移上限系数,引入栈结构对模式漂移的相反方向相互抵消,同一方向累加的方法有效限制了模式的飘移,对各改进算法进行比较体现本文算法的优越性。     

一类反馈过程神经元网络模型及学习算法研究

提出了一种带有反馈输入的过程式神经元网络模型,模型为三层结构,其隐层和输出层均为过程神经元。输入层完成连续信号的输入,隐层完成输入信号的空间聚合和向输出层逐点映射,并将输出信号逐点反馈到输入层;输出层完成隐层输出信号的时、空聚合运算和系统输出。在对权函数实施正交基展开的基础上给出了该模型的学习算法。仿真实验证明了该模型的有效性和可行性。     

基于神经网络的僵尸网络检测

目前主流的僵尸网络检测方法主要利用网络流量分析技术,这往往需要数据包的内部信息,或者依赖于外部系统提供的信息或僵尸主机的恶意行为,并且大多数方法不能自动存储僵尸网络的流量特征,不具有联想记忆功能.为此提出了一种基于BP神经网络的僵尸网络检测方法,通过大量的僵尸网络和正常流量样本训练BP神经网络分类器,使其学会辨认僵尸网络的流量,自动记忆僵尸流量特征,从而有效检测出被感染的主机.该神经网络分类器以主机对为分析对象,提取2个主机间通信的流量特征,将主机对的特征向量作为输入,有效地区分出正常主机和僵尸主机.实验表明,该方法的检测率达到99%,误报率在1%以下,具有良好的性能.     

The dependence identification neural network construction algorithm

An algorithm for constructing and training multilayer neural networks, dependence identification, is presented in this paper. Its distinctive features are that (i) it transforms the training problem into a set of quadratic optimization problems that are solved by a number of linear equations, (ii) it constructs an appropriate network to meet the training specifications, and (iii) the resulting network architecture and weights can be further refined with standard training algorithms, like backpropagation, giving a significant speedup in the development time of the neural network and decreasing the amount of trial and error usually associated with network development.     

GPU加速的神经网络BP算法*

近年来图形处理器(GPU)快速拓展的可编程性能力加上渲染流水线的高速度及并行性,使得图形处理器通用计算(GPGPU)迅速成为一个研究热点。针对大规模神经网络BP算法效率低下问题,提出了一种GPU加速的神经网络BP算法。将BP网络的前向计算、反向学习转换为GPU纹理的渲染过程,从而利用GPU强大的浮点运算能力和高度并行的计算特性对BP算法进行求解。实验结果表明,在保证求解结果准确度不变的情况下,该方法运行效率有明显的提高。     

基于遗传算法的人工神经网络

为克服和改进传统的BP算法的不足,发挥神经网络和遗传算法各自的优势,提出了一种基于遗传算法的神经网络二次训练方法,将遗传算法应用于神经网络的权值训练中,并用神经网络二次训练得到最终结果,降低了计算时间,是一种比较有效的方法。