基于梯度的深度网络剪枝算法

深度神经网络模型通常存在大量冗余的权重参数,计算深度网络模型需要占用大量的计算资源和存储空间,导致深度网络模型难以部署在一些边缘设备和嵌入式设备上。针对这一问题,提出了一种基于梯度的深度网络剪枝(GDP)算法。GDP算法核心思想是以梯度作为评判权值重要性的依据。首先,通过自适应的方法找出阈值进行权值参数的筛选;然后,剔除那些小于阈值的梯度所对应的权值;最后,重新训练剪枝后的深度网络模型来恢复网络精度。实验结果表明:在CIFAR-10数据集上,GDP算法在精度仅下降0.14个百分点的情况下,计算量减少了35.3个百分点;与当前流行的PFEC算法相比,GDP算法使网络模型精度提高了0.13个百分点,计算量下降了1.1个百分点,具有更优越的深度网络压缩与加速性能。     

一种改进的基于神经网络的WSN数据融合算法

为降低无线传感网络的能量消耗,提出了一种基于神经网络的数据融合改进算法(NBPNA),该算法将无线传感网络的分簇路由协议与BP神经网络结合起来,通过神经网络方法对簇内节点采集到的信息进行数据拟合,提取训练拟合好的权值与阈值,把其作为信息融合值传输;同时再通过将上一次拟合好的权值与阈值赋予下一次网络训练来减少神经网络的训练步数,减少网络训练所需的耗能;通过实验验证,该算法可有效减少网络通信量,降低节点能耗,延长网络寿命,同时还验证了本算法在环境监测等方面的可行性和有效性。     

基于PSO的BP神经网络学习算法

针对标准反向传播(BP)算法收敛速度慢和易陷入局部极值等缺陷,提出一种基于粒子群优化的BP神经网络学习算法。采用标准BP梯度下降法调整权值,利用粒子群优化算法进行网络权值及阈值的修正。将该算法与标准BP算法及传统基于粒子群优化BP网络算法进行仿真比较。实验结果表明,该算法能够克服标准BP算法的缺点,性能优于其他2个BP网络优化模型。     

基于GA-BP优化算法的BP网络及其在汽油调合辛烷值建模中应用

本文中对一种改进的BP网络——GA-BP网络,分析了相关理论,并列出了详细的GA-BP训练网络权值阈值的算法,编制了MATLAB的程序来实现这个算法的功能;同时将其用用到了汽油调合辛烷值建模中,获得满意的效果。     

基于聚合系数的拓扑抽象算法

针对大规模网络模拟资源消耗较高的问题,提出一种基于聚合系数的拓扑抽象算法。根据最短路径对网络拓扑中所有节点赋予权值,结合聚合系数定义权值阈值,并进行树形抽象和权值估算抽象。树形抽象将孩子节点抽象至根节点,权值估算抽象对低于权值阈值的节点进行抽象。实验结果表明,在最短路径不发生改变的情况下,该算法可抽象70%以上的节点。     

支持向量回归的一种网络优化策略

提出一种用于支持向量回归的网络优化策略．学习策略分为两个阶段：首先训练支持向量机,得到支持向量回归的初始结构和参数,构造一个无阈值的支持向量回归网络;然后通过带有遗忘因子的递归最小二乘算法,优化计算支持向量回归网络的权值,以达到更好的函数拟合精度．与支持向量回归相比,这种策略可以得到最优的权值和阈值．仿真结果表明,该网络性能优良,具有在线应用的潜力．     

自适应差分进化算法优化BP网络的炼焦能耗模型

为了解决炼焦生产过程中炼焦能耗难以实时监测的问题,基于面向实际建立的输入输出指标体系,依据焦化厂实际炼焦生产过程中的历史数据,建立了BP网络的炼焦能耗预测模型.为了提高模型的预测精度,利用自适应差分进化算法(ADE)对复杂函数的优化能力,对BP网络权值阈值随机产生易陷入局部极小值的缺点进行优化,找出了BP网络的最佳连接权值和阈值,建立了自适应差分进化算法(ADE)优化BP网络的炼焦能耗模型.仿真结果表明,自适应差分进化算法(ADE)优化BP网络的炼焦能耗模型的预测值与实际值的接近程度达90％以上.该研究为炼焦生产过程中炼焦能耗难以实时监测的难题提供了一种新思路,可为炼焦行业高效低耗生产提供理论依据.     

基于遗传BP网络的智能型电力负荷预测技术

为避免BP算法易陷入局部极小的缺陷,根据遗传算法具有全局寻优的特点,将二者结合起来形成GA-BP混合算法。以GA优化BP网络的初始权值和阈值,按负梯度方向修正网络权值及阈值,对网络进行训练。用matlab编写GA-BP计算程序,以多组数据进行测试,并与纯BP算法进行分析比较,结果表明该方法可以有效、准确的应用于短期电力负荷预测。     

自适应变异粒子群算法优化BP神经网络在音乐分类中的应用

自适应变异粒子群算法具备了基本粒子群算法和遗传算法优点,用此算法寻找BP网络较好的网络权值和阈值,使得BP网络的全局误差最小化,不仅可以克服基本BP算法收敛速度慢和易陷入局部极值的局限,而且模型的精度高。仿真实验结果表明,本算法与传统的分类方法相比,具有更高的正确率．验证了自适应变异粒子群算法优化BP神经网络是一种有效的分类方法。     

基于自适应花授粉算法的BP神经网络结构优化

传统的BP神经网络通过梯度下降法来调整网络的权值和阈值,使网络存在易陷入局部最优且收敛速度慢等缺陷,在很大程度上限制了BP神经网络的应用。针对BP网络存在的不足,提出利用自适应花授粉算法来优化BP网络的权值和阈值。对花授粉算法（FPA）中的转换概率做自适应调整,并引入自适应的变异因子,提出了自适应的花授粉算法（SFPA）;通过两种不同的结合方式将SFPA与BP神经网络进行融合,从而提出了SFPA1-BP神经网络和SFPA2-BP神经网络;通过函数逼近实验和数据集分类实验对新网络的性能进行验证。结果表明,SFPA1-BP和SFPA2-BP在函数逼近和分类方面都优于标准BP网络,且SFPA1-BP具有更高的泛化能力及学习能力。