CMAC 算法收敛性分析及泛化能力研究

利用矩阵理论和线性方程组迭代收敛的一般性原理,在不附加特殊条件折情况下,证明了CMAC算法在批量和增量两种学习方式下的收敛定理,对在关联矩阵正定条件下得出的结论进行推广和改进。在此基础上提出了一种学习率自寻优的CMAC改进算法,并提出一种简单可行的评价CMAC网络整体泛化性能的指标,通过计算仿真验证了收敛定量的正确性和改进算法的优越性,并研究得出了CMAC网络各个参数对其泛化性能影响的相关结论。     

基于广义基函数的CMAC学习算法的改进及收敛性分析

基于广义基函数的CMAC(Cerebeliar Model Articulation Controller)学习算法(称 C-L算法)收敛条件依赖于基函数和学习样本,很难同时满足学习快速性与收敛性.提出了一 种改进学习算法,并证明改进算法是收敛的,而且收敛条件不依赖于基函数和学习样本.仿真 结果表明改进算法优于C—L算法和标准的Albus算法.     

一种深度学习批规范化改进算法

现实中采集的数据由于需要适应实际工程需求以及数据细粒度信息的分类形式多样,样本数据间很难保持完全的独立同分布.而非独立同分布数据会严重降低深度神经网络模型训练的鲁棒性以及特定任务上的泛化性能.为了降低非独立同分布数据在模型训练和推断过程中的不良影响,提出一种批规范化的改进算法.该算法在神经网络模型训练开始前从数据集中取出一小批量数据做批规范化,求解出的均值与方差作为参考值用来更新训练时的其他批量数据.实验结果表明,该改进算法一定程度上能够加快神经网络模型训练收敛,相对于BN算法,分类错误率降低了0.3%,提高了神经网络模型训练的鲁棒性.在目标检测和实例分割任务上,应用该改进算法的预训练模型能够有效提高某些检测算法的泛化性能.     

一种改进的BP神经网络算法及其应用

BP算法是目前应用最为广泛的神经网络学习算法,但原始算法收敛速率慢,训练过程易陷入局部极小值以及隐层节点数选择困难.针对这些问题提出了不少改进措施,文中提出了一种改进的BP神经网络算法,在BP算法基础上,从训练算法着手,通过误差的变化趋势,动态调整权值以提高网络的收敛速率;通过数学推导,从理论上验证了该算法的有效性.用MATLAB软件对文中的改进算法进行仿真,并且与其它方法进行比较,结果表明,改进后的算法在收敛速率和抑制噪声等方面有很好的效果,从实验上验证了该算法的有效性.     

一种改进的基于梯度动力学的协同神经网络学习算法

本文在研究协同神经网络梯度动力学过程的基础上,针对学习过程收敛速度缓慢的缺点,提出了一种改进的基于梯度动力学的协同神经网络学习算法.该算法分析了非平衡注意参数对学习过程的影响,简化了初始伴随向量的选取;并引入最优化理论,将该问题归结为求解非线性最优化问题,用共轭梯度法代替梯度下降法,加快了学习过程的收敛.通过对汉字图象库和人脸图象库的图象识别实验表明该算法较之其他学习算法有较高的识别率,并能较快的收敛到极小值.     

一种放大误差信号的BP算法

针对BP神经网络学习算法收敛速度慢、易陷入假饱和状态的问题,提出了一种快速收敛的BP算法。该算法通过修改激励函数的导数,放大误差信号来提高收敛性。给出了改进算法的收敛性分析并在实验仿真中将改进算法同时与标准BP算法和NG等人的改进算法进行比较。仿真结果表明,该算法在收敛速度方面大大优于另外两种算法,有效地提高了BP算法的全局收敛能力。     

一种改进的BP算法及其MatLab仿真

基于最优化理论,提出了基于新拟牛顿方程的改进拟牛顿算法训练BP神经网络.改进算法使用了一组新型的Hesse矩阵校正方程,使得改进拟牛顿算法具有全局收敛性和局部超线性收敛性.该文将改进的拟牛顿算法与BP神经网络权值的训练结合,得到一种新的BP神经网络权值的训练算法.与传统的神经网络权值学习的拟牛顿算法比较而言,采用改进算法的神经网络的收敛速度明显加快.改进算法能有效解决BP神经网络收敛速度慢的缺陷,显著提高了BP神经网络的学习训练收敛速度和学习精度.     

一种改进的粒子群优化算法及其仿真

为了提高粒子群算法的性能,针对粒子群算法的早熟收敛和收敛速度问题,提出了一种改进的粒子群优化算法.在分析了粒子群算法不足的基础上,提出了两个提高算法性能的改进途径.该算法对动态惯性权重策略进行了扩展,并引入随机扰动策略,从两个方面同时改进以提高算法的收敛速度和克服局部极值的能力.函数测试的结果表明,该算法能显著提高收敛速度,并能有效克服局部极值.     

新的全局-局部最优最小值粒子群优化算法

为了提高粒子群优化算法的收敛速度,克服陷入局部最优的缺点,在全局-局部最优粒子群优化算法的基础上,提出了一种新的改进粒子群优化算法——全局-局部最优最小值粒子群优化算法.该算法把惯性权重和学习因子分别通过结合全局和局部最优最小值来进行改写,速度更新公式也做了相应的简化.仿真实验表明该算法在收敛速度和寻优质量上都优于基于LDIW策略改进的粒子群算法和全局-局部最优粒子群算法.     

基于拟牛顿法的前向神经元网络学习算法

针对前向神经网络现有BP学习算法的不足,结合非线性最优化方法,提出一种基于拟牛顿法的神经元网络学习算法。该算法有效地改进了神经元网络的学习收敛速度,取得了比常规BP算法更好的收敛性能和学习速度。     

改进BP算法在入侵检测系统中的应用

提出一种改进的BP算法,该算法中学习速率 不是凭经验给出的固定值,而是在学习过程中计算出的最优值αk。实验结果表明,与传统的BP算法相比,该算法可以减少学习时间,提高学习速度和网络入侵检测系统(NIDS)的检测率,可以解决当前NIDS普遍存在的虚警率过高问题。     

改进灰狼优化算法在WSN节点部署中的应用

根据无线传感网络节点在随机部署时存在聚集程度高导致覆盖率低的问题,提出了一种改进的灰狼优化算法,并将其应用于无线传感网络节点的优化覆盖.首先,利用混沌算法进行算法种群的初始化,以提高种群多样性;其次,在灰狼算法的基础上改进其收敛因子,平衡全局和局部搜索能力,提高算法中后期的优化能力;最后,对δ狼进行融合变异以改善局部极值问题.仿真实验表明,将改进后的灰狼优化算法应用于WSN节点部署优化中,与标准灰狼优化算法相比加快了优化速度,网络覆盖率提高了3％.     

用于模式识别的ART-2神经网络算法的改进

针对模式识别中模式有序输出的要求,对ＡＲＴ－２神经网络的算法进行了改进和调整,提出了ＡＲＴ－２神经网络的改进算法,通过对改进算法与原算法的识别试验结果进行比较,表明该改进算法对模式的有序输出是可行的和有效的。     

针对复杂多环网络拓扑的路由改进算法

网络运营商为用户提供的光纤接入主干网大多以环型网络的方式提供服务,然而目前对于大规模、环数众多、连接方式多样化的复杂多环网络缺乏性能优良的路由算法。为解决传统环网结构网络延迟高和传输效率低的问题,提出一种针对复杂多环网络拓扑的路由改进算法,将多环网络中的复杂路由问题转化为单环网中的简单路由问题。在此基础上,通过设计源溯节点还原以及路径还原算法,将单一环网改进为增强环网网络结构,使同一环内通信节点间的路径还原为完整最短路径,并从理论上证明该算法得到的最优路径是无差错的。实验结果表明,相比于现有的优化Dijkstra算法,该算法的搜索空间比提升约13%,具有更好的改进效果,且算法运行时间缩短79%,更适合复杂多环网络的路由计算。     

RBF神经网络在转炉提钒预报中的应用

该文用RBF神经网络建立了转炉提钒冷却剂预报模型。RBF网络的中心的选取采用了可以在线学习的最近邻聚类算法。为了进一步优化网络中心，提出了基于密度排名的最近邻聚类算法。该算法聚类前先将样本按其在样本空间的密度进行了排序，聚类过程始于样本空间最密集处。实践证明，该算法应用于提钒冷却剂预报模型的建立是合理的，可行的。     

BP算法的改进及其在Matlab上的实现

针对BP算法这种当前前馈神经网络训练中应用最多的算法,在介绍BP神经网络的基础上,对标准的BP网络训练算法存在的收敛速度慢、易陷入局部极值的严重缺点,提出了几种学习算法上的改进;进而介绍了改进蹬算法在Matlab神经网络工具箱中的函数实现。最后应用实例利用Matlab神经网络工具箱对标准BP算法及改进的算法进行语言编程、仿真。仿真结果显示,改进后的算法在极值、收敛速度上得到了很大的改善。     

基于遗传BP网络的快速分类算法的构建

为获取能快速分类的智能算法,在分析BP算法原理与缺陷的基础上,首先对标准的BP算法进行了改进,然后利用已改进的BPX算法优化遗传算法选优过程,提出了GA＆BP混合算法,该算法兼顾了GA算法的全局收敛特性和BP算法快速的局部收敛能力,使算法既有较快的收敛速度又不易陷入局部解。仿真结果表明GA＆BP混合算法的收敛速度、误差精度等主要性能指标有明显改善。     

结合遗传算法优化BP神经网络的结构和参数

本文提出了一种改进的遗传算法，并用其实现BP神经网络的拓扑结构和参数的优化。改进的遗传算法采用了一种新的编码方式，并对遗传操作进行了改进。仿真试验的结果表明，这种算法能够有效地提高BP神经网络结构和参数的优化效率。     

基于BtW的和声搜索算法在BP网络优化中的应用

针对和声搜索算法参数影响其优化BP神经网络的性能问题,提出了一种可有效提高BP神经网络收敛速度和准确度的基于BtW参数动态变化的改进和声算法,同时用于BP网络优化。算法根据和声搜索参数的特点,采用以BtW为自变量的非线性函数变换方法,对微调概率PAR和微调幅度BW进行动态调整,利用改进的和声搜索算法对BP神经网络的连接权和偏置值进行优化。实验结果表明,该算法有效改善了和声搜索算法在BP神经网络优化中的性能,提高了BP网络的训练速度和预测的准确度。     

一种改进的基于神经网络模式的PID控制研究

基于神经网络模式的PID控制是PID控制规律与神经网络的动态结合,本文分析了此控制的局限性,并提出了改进算法,扩大了此控制的适用范围。用Matlab软件对改进的算法进行仿真,结果证明改进的算法有很好的收敛效果,从实验上验证了算法的有效性。