神经网络泛化性能优化算法

基于提高神经网络泛化性能的目标提出了神经网络泛化损失率的概念,解析了与前一周期相比当前网络误差的变化趋势,在此基础上导出了基于泛化损失率的神经网络训练目标函数.利用新的目标函数和基于量子化粒子群算法的神经网络训练方法,得到了一种新的网络泛化性能优化算法.实验结果表明,将该算法与没有引入泛化损失率的算法相比,网络的收敛性能和泛化性能都有明显提高.     

改进的粒子群算法对RBF神经网络的优化

为了改进神经网络模型结构和参数的设置方法,提出了一种改进的粒子群优化径向基函数（RBF）神经网络的方法。该方法通过动态调整粒子群算法中的惯性权重因子,提高了算法的收敛速度和搜索全局最优值的能力。实验结果表明：基于改进的PSO算法训练的神经网络在函数逼近性能上优于自组织选取中心算法与标准PSO算法,提高了网络泛化能力和优化效果,有效地增强了网络对非线性问题的处理能力。     

自适应增强卷积神经网络图像识别

目的 为了进一步提高卷积神经网络的收敛性能和识别精度,增强泛化能力,提出一种自适应增强卷积神经网络图像识别算法。方法 构建自适应增强模型,分析卷积神经网络分类识别过程中误差产生的原因和误差反馈模式,针对分类误差进行有目的地训练,实现分类特征基于迭代次数和识别结果的自适应增强以及卷积神经网络权值的优化调整。自适应增强卷积神经网络与多种算法在收敛速度和识别精度等性能上进行对比,并在多种数据集上检测自适应卷积神经网络的泛化能力。结果 通过对比实验可知,自适应增强卷积神经网络算法可以在很大程度上优化收敛效果,提高收敛速度和识别精度,收敛时在手写数字数据集上的误识率可降低20.93%,在手写字母和高光谱图像数据集上的误识率可降低11.82%和15.12%;与不同卷积神经网络优化算法对比,误识率比动态自适应池化算法和双重优化算法最多可降低58.29%和43.50%;基于不同梯度算法的优化,误识率最多可降低33.11%;与不同的图像识别算法对比,识别率也有较大程度提高。结论 实验结果表明,自适应增强卷积神经网络算法可以实现分类特征的自适应增强,对收敛性能和识别精度有较大的提高,对多种数据集有较强的泛化能力。这种自适应增强模型可以进一步推广到其他与卷积神经网络相关的深度学习算法中。     

基于混合的GA-PSO神经网络算法

粒子群优化(PSO)算法是一类随机全局优化的技术,它通过粒子间的相互作用发现复杂搜索空间中的最优区域。提出了一种基于GA和PSO混合的算法(GA-PSO)用于神经网络训练。算法在产生下一代时,结合了交叉、变异算子和粒子群算法中的速度—位移公式,充分利用了遗传算法的全局寻优和粒子群算法收敛速度快的优点。经GA-PSO训练的神经网络应用于三元奇偶问题和IRIS模式分类问题,与BP、GA和PSO算法相比,该算法在提高训练误差精度的同时加快收敛速度,并能有效避免早熟收敛。仿真结果表明,GA-PSO算法是有效的神经网络训练算法。     

数值优化改进的BP网络的模式分类对比

研究了共轭梯度算法、拟牛顿算法、LM算法三类常用的数值优化改进算法,基于这三类数值优化算法分别对BP神经网络进行改进,并构建了相应的BP神经网络分类模型,将构建的分类模型应用于二维向量模式的分类,并进行了泛化能力测试,将不同BP网络分类模型的分类结果进行对比. 仿真结果表明,对于中小规模的网络而言,LM数值优化算法改进的BP网络的分类结果最为精确,收敛速度最快,分类性能最优;共轭梯度数值优化算法改进的BP网络的分类结果误差最大,收敛速度最慢,分类性能最差;拟牛顿数值优化算法改进的BP网络的分类结果误差值、收敛速度及分类性能介于上述两种算法之间.     

基于改进的QPSO训练BP网络的网络流量预测*

为了提高网络流量预测的精度,采用一种改进的QPSO算法训练BP神经网络对网络流量数据的时间序列进行建模预测。针对标准的QPSO算法不可避免地出现早熟的不足,提出一种新的基于参数自适应的QPSO算法,较好地避免了粒子群的早熟,提高了算法的全局收敛性能。仿真实验结果表明,与PSO训练的BP网络、QPSO训练的BP网络作为预测模型相比,该模型具有更高的预测精度及很好的稳定性。     

基于粒子群优化神经网络的语音情感识别

提出了一种基于粒子群优化算法的人工神经网络,并把它应用到语音情感识别系统中。依据情感的维度空间模型,分别提取了韵律特征与音质特征,研究了谐波噪声比特征随情感类别的变化。利用粒子群优化算法(PSO)训练随机产生的初始数据,优化神经网络的连接权值和阈值,快速地实现网络的收敛。在实验中比较了BP神经网络、RBF神经网络与PSO神经网络分别用于语音情感识别的识别率,PSO神经网络的平均识别率高于BP神经网络6.7%,高于RBF神经网络5.4%。结果显示,粒子群优化神经网络用于语音情感识别提高了识别性能。     

基于粒子群算法和神经网络的人脸识别分类器研究

针对BP神经网络作为人脸识别分类器具有的收敛速度慢、易陷入局部极小等缺点,提出利用改进的粒子群优化算法(PSO)改善BP网络训练的方法,建立种基于改进的PSO-BP神经网络,更合理有效地确定神经网络的连接权值和阈值,将其应用到人脸识别系统中的分类环节中,并与单独使用BP神经网络分类的结果相比较,实验表明,该方法识别速度...     

基于RBF网络的断路器电流自适应保护研究

针对传统断路器电流保护方法存在受系统运行方式影响、整定困难、智能化低等问题,提出了基于RBF的断路器电流自适应保护算法,并给出了算法的模型;该算法融合了RBF神经网络的故障检测和电流自适应保护;首先通过RBF网络检测负载线路的电流故障,然后用电流自适应算法进行保护;在对神经网络进行训练时,利用PSO算法对RBF神经网络的参数进行优化以此来提高网络的泛化能力和学习能力;然后采用优化后的PSO-RBF神经网络对电流故障进行诊断;实验表明,该算法较大地提高了断路器智能化管理水平。     

粒子群优化RBF神经网络的短时交通流量预测

根据交通流量数据具有非周期性、非线性和随机性等特点,为了更准确地对交通流量进行预测,实现交通智能控制和规划是主要问题.交通流量预测中存在容易陷入局部极小值、收敛速度慢,泛化能力差等问题,影响了交通流量预测的实用性和准确性.提出基于粒子群(PSO)优化RBF神经网络的交通流量预测方法.利用PSO算法操作简单、容易实现等特点及其深刻的智能背景,对RBF神经网络的参数(中心和宽度)、连接权重进行优化,并用经PSO算法优化的RBF神经网络对短时交通流量进行仿真预测,仿真结果表明,PSO算法优化的RBF神经网络具有较高的预测精度,比RBF预测模型精度高、收敛快.PSO算法优化的RBF神经网络,适用于短时交通流量预测,预测精度较高,具有推广应用价值.     

基于PSO和BP复合算法的模糊神经网络控制器

为了克服单独应用粒子群算法（PSO）或BP算法训练模糊神经网络控制器参数时存在的缺陷,提出了一种训练模糊神经网络参数的PSO＋BP算法。该算法将二者相结合,即在PSO算法中加入一个BP算子,以充分利用PSO算法的全局寻优能力和BP算法的局部搜索能力,从而更有效地提高其收敛速度、训练效率和提高该模糊神经网络控制器的控制效果。最后的仿真实验结果验证了该基于PSO＋BP复合算法的模糊神经网络控制器的有效性和可行性。     

基于复合适应度微粒群算法的神经网络训练

为提高神经网络的泛化能力,针对以均方误差为适应度的PSO算法在训练神经网络时会产生一定的过拟合问题,提出对均方误差和误差分布均匀度进行信息融合,构成复合适应度作为训练指标.实验结果表明,该方法可使网络的泛化能力得到明显的改善.     

基于多种群协同进化微粒群算法的径向基神经网络设计

神经网络结构和权值的联合设计一直是神经网络进化设计的一个研究方向.本文根据基本微粒群算法的特点,借鉴递阶编码的思想,构造出一种多种群协同进化微粒群算法.该算法具有种群内个体微粒自由运动特征分量与种群运动特征分量分层递阶进化的特征,克服了标准微粒群算法在多峰函数寻优时出现的微粒“早熟”现象.应用该算法进行径向基神经网络隐层结构和径向基函数参数联合自适应设计,在非线性系统辨识中显示了比较好的收敛性和训练精度,同时也使网络的泛化能力和逼近精度这一对矛盾得到了比较好的协调统一.     

基于PSO-BP神经网络的图像压缩算法

本文阐述了使用BP神经网络压缩图像的方法和粒子群算法(PSO)的原理.为提高BP算法的训练速度和图像重建质量,本文设计了一种利用PSO-BP网络进行图像压缩的算法,该算法结合了PSO算法和BP算法的优点,将BP网络的训练过程分为两个阶段.实验表明,利用该算法压缩图像,不仅速度较快,而且重建后的图像质量有明显提高.     

改进PSO-BP神经网络对储层参数的动态预测研究

为提高BP神经网络的收敛速度和泛化能力,防止其陷入局部最优值,在前人工作基础上对传统粒子群算法进行了改进,具体包括：设定最大限制速度、改变惯性权重因子和改进适应度函数,并把改进粒子群算法应用于BP神经网络权值和阈值的优化。之后利用改进粒子群算法优化的BP神经网络实现对储层参数的动态预测,具体步骤为：确定神经网络的输入、输出神经元,定量化时间参数[T],利用训练样本构建神经网络模型并进行检验。最后通过平均训练误差对仿真过程进行分析,结果表明改进PSO-BP算法的收敛性与泛化能力均优于BP算法和PSO-BP算法。     

粒子群优化神经网络在动态手势识别中的应用

为了提高动态手势学习训练速度和识别准确率,本文提出一种基于粒子群优化BP神经网络的动态手势识别方法。首先基于自然人机交互需要,定义一套基于机器视觉的动态手势模型;在获取指尖运动轨迹的基础上,提取动态手势的特征向量作为神经网络的输入;利用改进的PSO算法训练BP神经网络,得到神经网络的权值和阈值;最后利用训练过的神经网络识别基于机器视觉的动态手势。测试结果表明:改进的PSO算法能够提高神经网络训练速度和精度,进而提高动态手势识别准确率。     

微粒群神经网络在绩效评价系统中的应用

绩效评价系统是人力资源系统3P模型中的重要一环,是定期考察和评价个人或小组工作业绩的一种正式制度。利用微粒群算法对神经网络进行训练,再将此网络模型应用到人力资源管理系统中的绩效评价系统。最后通过在各级评价标准内按随机均匀分布方式生成的训练样本和测试样本来检测该微粒群神经网络。结果表明微粒群神经网络具有较强的泛化能力,应用在绩效评价系统中具有很高的评价准确率。     

一种改进PSO优化RBF神经网络的新方法

为了克服神经网络模型结构和参数难以设置的缺点,提出了一种改进粒子群优化的径向基函数(RBF)神经网络的新方法.首先将最近邻聚类用于RBF神经网络隐层中心向量的确定,同时对引入适应度值择优选取的原则对基本粒子群算法进行改进,采用改进粒子群(IMPSO)算法对最近邻聚类的聚类半径进行优化,合理的确定了RBF神经网络的隐层结构.将改进PSO优化的RBF神经网络应用于非线性函数逼近和混沌时间序列预测,经实验仿真验证.与基本粒子群(PSO)算法,收缩因子粒子群(CFA PSO)算法优化的RBF神经网络相比较,其在识别精度和收敛速度上都有了显著的提高.