单纯形微粒群组合算法优化神经网络及在数据挖掘中的应用

神经网络作为数据挖掘的重要工具,如果提高神经网络训练过程的达优率与泛化能力,就能够改善其在分类预测任务中的预测准确度和噪声承受力。 该文提出以复合适应度代替传统的均方误差作为神经网络的训练指标,从而改善神经网络泛化能力;并将用于训练神经网络微粒群算法通过单纯形算法改进,从而提高了全局搜索能力与达优率。最终产生一种基于复合适应度的单纯微粒群神经网络训练算法模型。 将这样的模型应用于数据挖掘的预测任务中,实验结果表明,预测准确度和噪声承受力均有所提高。     

改进PSO-BP神经网络对储层参数的动态预测研究

为提高BP神经网络的收敛速度和泛化能力,防止其陷入局部最优值,在前人工作基础上对传统粒子群算法进行了改进,具体包括：设定最大限制速度、改变惯性权重因子和改进适应度函数,并把改进粒子群算法应用于BP神经网络权值和阈值的优化。之后利用改进粒子群算法优化的BP神经网络实现对储层参数的动态预测,具体步骤为：确定神经网络的输入、输出神经元,定量化时间参数[T],利用训练样本构建神经网络模型并进行检验。最后通过平均训练误差对仿真过程进行分析,结果表明改进PSO-BP算法的收敛性与泛化能力均优于BP算法和PSO-BP算法。     

神经网络的学习误差函数及泛化能力

用于训练神经网络的样本点集不可避免地会受到噪声污染。利用神经网络的概率描述,通过研究Ｋ－Ｌ信息和神经网络泛化能力的关系,构造一个新的神经网络学习误差函数。泛化能力分析和仿真结果表明了该学习误差函数的合理性。     

基于PPGA-MBP的神经网络优化及其应用

多物种并行进化遗传算法应用于神经网络拓扑结构的设计,开辟了新的研究领域,论文提出伪并行(PPGA-MBP)混合遗传算法,结合改进的BP算法优化多层前馈神经网络的拓扑结构。算法采用实数编码来克服传统二进制编码的精度不足问题,并设计基于层次的杂交算子允许结构相异的个体杂交重组成新的个体,适应度函数更是综合考虑了均方误差、网络结构复杂度和网络的泛化能力等因素。实验证明取得了明显的优化效果,提高了神经网络的自适应能力和泛化能力,具有全局快速收敛的性能。论文还运用该算法建立了工业增产值经济预测网络模型,将网络预测值和多项式拟合值进行了对比分析。     

基于最具影响粒子群优化的BP神经网络训练

系统地介绍了粒子群优化算法,将粒子群优化算法用于BP神经网络的学习训练,提出了一种改进的粒子群算法——最具影响粒子PSO算法BIPSO,并利用复合适应度即均方误差和误差均匀度之和作为BIPSO训练神经网络的指标,并对它与其他的神经网络训练算法诸如BP算法、GA算法、PSO算法进行了比较。实验结果表明:BIPSO性能优于其他算法,更容易找到全局最优解,具有更好的收敛性。     

基于导数约束的称重传感器非线性误差补偿方法

电阻应变式称重传感器存在严重的非线性误差,直接影响称重结果的准确度。本文首先阐述了称重传感器的非线性误差机理与误差补偿原理,提出了一种基于导数约束的称重传感器非线性误差补偿方法。该方法根据称重传感器输入-输出特性曲线的单调递增性,构造神经网络补偿模型训练的约束条件,完成神经网络优化设计,弥补了因训练样本不足导致的网络泛化误差大的缺陷,同时讨论了惩罚因子对网络性能的影响。实验表明,采用这种基于导数约束神经网络补偿方法（DCNN方法）的称重传感器的非线性误差远小于补偿前的误差;同时当训练样本不足时,DCNN方法比传统训练方法（仅利用数据样本训练神经网络,DINN）具有更好的泛化能力,称重准确度更高。     

用于航空发动机动态辨识的MSMEA-ELM算法

针对传统思维进化算法搜索半径缺乏目的性,临时子群体补充缺乏方向性以及神经网络训练速度慢、泛化能力不足,传统极端学习机隐含层神经元个数多的缺点,提出一种多群体自适应思维进化算法优化的极端学习机(MSMEA-ELM)算法,通过传感器数据训练该算法用于对航空发动机大范围动态过程进行辨识.以训练均方误差与权值2范数的加权和最小为优化目标,采用多群体自适应思维进化算法优化极端学习机.以某型涡扇发动机为研究对象,采用MSMEA-ELM算法进行航空发动机动态过程辨识,验证了该算法的有效性.     

神经网络泛化性能优化算法

基于提高神经网络泛化性能的目标提出了神经网络泛化损失率的概念,解析了与前一周期相比当前网络误差的变化趋势,在此基础上导出了基于泛化损失率的神经网络训练目标函数.利用新的目标函数和基于量子化粒子群算法的神经网络训练方法,得到了一种新的网络泛化性能优化算法.实验结果表明,将该算法与没有引入泛化损失率的算法相比,网络的收敛性能和泛化性能都有明显提高.     

改进BP神经网络在木构古建筑中的寿命预测

标准的BP神经网络存在训练速度慢、容易陷入极小点、泛化能力低的特点。文中用附加动量项和改进学习速率相结合的方法对标准的BP神经网络进行了改进,并将其应用在木构古建筑的寿命预测中。仿真结果表明,和标准的BP神经网络相比,改进后的BP神经网络提高了泛化能力,能较准确地拟合训练值,避免了在确定计算参数过程中所产生的计算误差。     

基于整合思想的神经网络泛化能力改进研究

神经网络的泛化能力是影响其可用性的重要方面.本文在总结现有泛化能力改进措施的基础上,将各种独立的改进措施进行了整合,并融入神经网络的构造和训练过程,提出了基于整合思想的神经网络泛化能力改进措施,并针对其中的一类重要问题--确定训练时间进行了具体的数理分析,得出了一些有价值的结论.     

基于改进粒子群小波神经网络算法在计算机实训教学质量评估中的应用

针对评估指标之间复杂的非线性关系,提出了一种基于改进粒子群小波神经网络评估教学质量的数学模型,该模型的参数由PSO优化。实验结果表明,PSO-WNN均方差为0.0281,通过使实际输出值和期望输出值的均方差较小,该方法可以更好地提高教学质量评估目标的准确性。同时,在应用于计算机实训教学质量评估中取得了良好的效果。     

基于输出误差与偏导数误差信息融合的神经网络训练

文章首先提出了表示前向神经网的泛化能力的一种度量,分析了提高网络泛化能力的主要途径,进而提出了基于网络输出误差与输出对输入偏导数误差信息融合的网络训练策略,给出了两者信息融合的有效方法和相应网络训练算法。具体应用结果表明所提出算法可显著提高网络的泛化能力。     

一种粒子群优化的神经网络综合训练算法研究

基于粒子群优化算法,将灰色关联分析法应用到BP神经网络隐层结点数的确定,实现了BP神经网络结构的优化;然后将贝叶斯正则法应用于神经网络训练,进一步提高网络的泛化性能。仿真结果表明泛化能力明显优于其他改进的BP算法,拟合效果较好。     

PSO粒子群算法在神经网络泛化能力中研究

利用PSO粒子群算法对神经网络的权值和阈值,隐藏层中神经元的传递函数系数进行优化。针对网络训练效果好,而泛化能力很差的情况,将训练样本均方差和权值的平方和结合作为PSO算法的目标函数。实验表明,该方法比惯性权值PSO-BP算法和基本梯度下降法好,不但稳定性好,而且预测精度高,泛化能力得到明显加强。     

基于面向对象自适应粒子群算法的神经网络训练*

针对传统的神经网络训练算法收敛速度慢和泛化性能低的缺陷,提出一种新的基于面向对象的自适应粒子群优化算法(OAPSO)用于神经网络的训练。该算法通过改进PSO的编码方式和自适应搜索策略以提高网络的训练速度与泛化性能,并结合Iris和Ionosphere分类数据集进行测试。实验结果表明：基于OAPSO算法训练的神经网络在分类准确率上明显优于BP算法及标准PSO算法,极大地提高了网络泛化能力和优化效果,具有快速全局收敛的性能。     

An Improved Particle Swarm Optimization for Evolving Feedforward Artificial Neural Networks

This paper presents a new evolutionary artificial neural network (ANN) algorithm named IPSONet that is based on an improved particle swarm optimization (PSO). The improved PSO employs parameter automation strategy, velocity resetting, and crossover and mutations to significantly improve the performance of the original PSO algorithm in global search and fine-tuning of the solutions. IPSONet uses the improved PSO to address the design problem of feedforward ANN. Unlike most previous studies on only using PSO to evolve weights of ANNs, this study puts its emphasis on using the improved PSO to evolve simultaneously structure and weights of ANNs by a specific individual representation and evolutionary scheme. The performance of IPSONet has been evaluated on several benchmarks. The results demonstrate that IPSONet can produce compact ANNs with good generalization ability.     

Active control of vibration using a neural network

Feedforward control of sound and vibration using a neural network-based control system is considered, with the aim being to derive an architecture/algorithm combination which is capable of supplanting the commonly used finite impulse response filter/filtered-x least mean square (LMS) linear arrangement for certain nonlinear problems. An adaptive algorithm is derived which enables stable adaptation of the neural controller for this purpose, while providing the capacity to maintain causality within the control scheme. The algorithm is shown to be simply a generalization of the linear filtered-x LMS algorithm. Experiments are undertaken which demonstrate the utility of the proposed arrangement, showing that it performs as well as a linear control system for a linear control problem and better for a nonlinear control problem. The experiments also lead to the conclusion that more work is required to improve the predictability and consistency of the performance before the neural network controller becomes a practical alternative to the current linear feedforward systems.     

支持向量机与神经网络相结合的板带凸度预测

为提高热轧生产过程中板带凸度的预测精度,提出了一种将粒子群优化算法(particle swarm optimization, PSO)、支持向量回归(support vector regression, SVR)和BP神经网络(back propagation neural network, BPNN)相结合的板带凸度预测模型。采用PSO算法优化SVR模型的参数,建立了PSO-SVR板带凸度预测模型,提出采用BPNN建立板带凸度偏差模型与PSO-SVR板带凸度模型相结合的方法对板带凸度进行预测。采用现场数据对模型的预测精度进行验证,并采用统计指标评价模型的综合性能。仿真结果表明,与PSO-SVR、SVR、BPNN和GA-SVR模型进行比较,PSO-SVR+BPNN模型具有较高的学习能力和泛化能力,并且比GA-SVR模型运算时间短。     

基于DMDE算法的前向神经网络设计

针对神经网络结构与参数并行优化问题,提出一种基于动态多群体差分进化算法的前向神经网络设计方法。采用分层递阶结构原理构造算法个体,根据控制基因信息将个体分成不同的动态群体。通过对个体进行重构,实现进化过程中个体信息的充分交换与共享。设计基于群体适应度的控制基因更新方法来优化网络拓扑结构,克服结构优化的盲目与低效问题。将所设计的神经网络应用于大包线飞行控制律参数拟合中。仿真结果表明,该算法能快速有效地确定神经网络的结构和权值,所优化的网络在调参控制中具有较好的泛化能力。     

基于互补遗传算子的前馈神经网络三阶段学习方法

论文提出了一种新的基于互补遗传算子的前馈神经网络三阶段学习方法。该方法把神经网络的学习过程分为三个阶段。第一阶段为结构辨识阶段,采用遗传算法进行神经网络隐层节点数目的选择和初始参数的设定,并基于发现的遗传算子的互补效应设计高效互补遗传算子。第二阶段为参数辨识阶段,采用效率较高的神经网络算法如L-M算法进行神经网络参数的进一步学习。第三阶段为剪枝阶段,通过获得最小结构的神经网络以提高其泛化能力。在整个学习过程中,学习过程的可控性以及神经网络的逼近精度、复杂度和泛化能力之间得到了满意平衡。仿真试验结果证明了该方法的有效性。