城市物流效率分析自适应DBN算法研究

深入研究了城市物流效率分析的研究现状,结合深度学习相关理论,针对具体问题构建三隐层连续型深度信念网络（DBN）,对网络知识集进行了定义,提出了自适应DBN算法,分析了算法的收敛性。利用Iris数据集和Wine数据集验证了网络及算法的模式分类能力,分类精度高于双隐层深度信念网络与深度误差反向传播网络。根据新丝绸之路经济带沿线城市物流特点,以物流效率为评估目标,选取4个维度的13项指标建立评价指标体系,以20个核心节点城市为研究对象,利用自适应DBN算法和社会网络分析法（SNA）进行聚类分析,结果表明自适应DBN算法相对更为合理有效。研究结果为确定新丝绸之路经济带沿线城市物流发展策略、促进国内物流业未来的协作与发展奠定了研究基础。     

基于深度置信网络的高分辨率雷达距离像识别

为提高雷达目标识别准确率,提出了一种基于深度置信网络（DBN）的高分辨率雷达距离像（HRRP）识别方法。首先利用受限玻尔兹曼机（RBM）对HRRP数据进行逐层无监督训练,根据对比散度（CD）算法更新网络参数,通过误差重构设计DBN深度;而后利用反向传播（BP）机制对DBN模型参数进行有监督的微调;最后基于该模型实现了HRRP的分类与识别。实验结果表明,与传统神经网络相比,基于深度置信网络的识别准确率及噪声鲁棒性显著提高,识别准确率可提高8.5%。     

人工神经网络BP算法的改进及其在无损检测中的应用

采用多层感知器（MLP）与误差反向传播算法（er-ror back-propagation algorithm)构造与监督训练人工祖辈 经网络,采用了改进的非线性激励函数与学习率的误差反向传播算法,超声无损检测的计算机模拟与实验结果表明,改进的BP算法收敛速度较之BP算法明显加快。     

基于优化数据处理的深度信念网络模型的入侵检测方法

针对目前网络中存在的对已知攻击类型的入侵检测具有较高的检测率,但对新出现的攻击类型难以识别的缺陷问题,提出了一种基于优化数据处理的深度信念网络（DBN）模型的入侵检测方法。该方法在不破坏已学习过的知识和不严重影响检测实时性的基础上,分别对数据处理和方法模型进行改进,以解决上述问题。首先,将经过概率质量函数（PMF）编码和MaxMin归一化处理的数据应用于DBN模型中;然后,通过固定其他参数不变而变化一种参数和交叉验证的方式选择相对最优的DBN结构对未知攻击类型进行检测;最后,在NSL-KDD数据集上进行了验证。实验结果表明,数据的优化处理能够使DBN模型提高分类精度,基于DBN的入侵检测方法具有良好的自适应性,对未知样本具有较高的识别能力。在检测实时性上,所提方法与支持向量机（SVM）算法和反向传播（BP）网络算法相当。     

基于条件对数似然的BP神经网络多类分类器

BP神经网络分类器存在收敛速度慢的缺陷,为了提高分类器性能,针对这一缺陷对BP算法进行改进. 提出将条件对数似然（CLL）准则融入到监督性BP神经网络多类型分类过程中,利用CLL的可分解性优势,计算测试样本的条件概率,在误差反向传播时利用条件概率对权值进行相应的加权降权操作,简化误差反馈过程中的计算量. 在实验中对改进算法的收敛速度和准确率进行了测试,说明了该算法的有效性及实用性.     

雷达目标检测深层自编码器自适应优化算法

研究了现阶段雷达低小慢目标探测技术的难点与方法。分析了深层自编码器基本模型与算法，通过引入自适应学习理论，提出了基于Rumelhart函数的深层自编码器自适应算法（RDAAA），并证明了算法的收敛性。优化算法避免了网络训练过程中出现惩罚过度的现象，克服了学习速率过高导致网络振荡发散，或学习速率过小降低网络收敛速度等缺陷。利用两种数据集对RDAAA、基于交叉熵函数的深层自编码器学习算法（CDAA）与误差反向传播算法（BPA）进行模式识别能力分析，结果表明在确定限定误差与选取最佳学习速率的情况下，RDAAA相对于CDAA与BPA收敛速度最快，正确识别率更高。围绕雷达目标检测与深度学习理论，分析了低小慢目标特性，将目标检测问题转化为模式分类问题，利用上述三种算法进行目标检测仿真实验，结果表明RDAAA与CDAA的性能明显优于BPA，且RDAAA的检测率更高，特别是处于低信噪比阶段，仍可保持较高的发现概率。     

Spark下BP神经网络并行化算法研究

BP算法(反向传播算法)以其良好的非线性逼近能力、泛化能力以及实用性成为了人工神经网络训练算法中应用最为广泛的算法.但同时使用BP算法又存在收敛速度较慢、易陷入局部极小值等问题.为了将BP算法用于大规模数据分类问题,采用MapReduce思想,将大数据集切分成若干小的数据集来并行加速处理,同时引入Bagging算法的思想来综合并行结果,提高分类的准确率.通过在各个节点上根据子数据集独立地训练各个BP神经网络,直至各网络收敛,再将各节点上的网络收集起来进行集成,形成最终的分类器.基于Spark平台的实验表明,本文提出的算法具有良好的并行加速性能,且具有较高的分类准确率.     

基于改进最小分类误差准则算法的深度学习研究——以台风卫星云图为例

针对传统基于最小分类误差准则（MCE）建立的目标函数存在样本错分类时网络出现的梯度反向问题,引入最小分类误差准则,定义带修正项的FMCE目标函数。以较高精度的交叉熵作为基函数,将FMCE作为修正函数,提出改进交叉熵目标函数CE-FMCE,使得网络在反向传播过程中提升标签类输出的概率。CE-FMCE不仅克服了传统MCE目标函数的梯度反向问题,还弥补了交叉熵函数对非标签集梯度不作区分处理的不足。分别在自建台风云图数据集和通用数据集MNIST上对CE-FMCE和MSE、交叉熵、MCE、M3CE进行对比实验,实验结果表明CE-FMCE优于其他目标函数。     

基于矩阵分解的卷积神经网络改进方法

针对传统卷积神经网络（CNN）在训练过程中优化难度高的问题,提出基于矩阵分解的CNN改进方法。首先,通过矩阵分解将模型卷积层在训练期间的卷积核参数张量转换为多个参数矩阵的乘积,形成过参数化;其次,将这些额外的线性参数加入网络的反向传播,并与模型的其他参数同步更新,以改善梯度下降的优化过程;完成训练后,将矩阵乘积重新还原为标准卷积核参数,从而使推理期间前向传播的计算复杂度与改进前保持一致。选用简化QR分解和简化奇异值分解（SVD）,在CIFAR-10数据集上进行分类效果实验,并用不同的图像分类数据集和初始化方式作进一步的泛化实验。实验结果表明,基于矩阵分解的VGG和残差网络（ResNet）对7个不同深度模型的分类准确率均高于原网络模型,可见矩阵分解方法可以让CNN更快地达到较高的分类准确率,最终收敛得到更好的局部最优。     

基于脉冲神经网络的迁移学习算法与软件框架

使用脉冲序列进行数据处理的脉冲神经网络具有优异的低功耗特性,但由于学习算法不成熟,多层网络训练存在收敛困难的问题。利用反向传播网络具有学习算法成熟和训练速度快的特点,设计一种迁移学习算法。基于反向传播网络完成训练过程,并通过脉冲编码规则和自适应的权值映射关系,将训练结果迁移至脉冲神经网络。实验结果表明,在多层脉冲神经网络中,迁移学习算法能够有效解决训练过程中收敛困难的问题,在MNIST数据集和CIFAR-10数据集上的识别准确率分别达到98.56%和56.00%,且具有微瓦级别的低功耗特性。     

基于多隐层Gibbs采样的深度信念网络训练方法

深度信念网络（Deep belief network，DBN）作为一类非常重要的概率生成模型，在多个领域都有着广泛的用途.现有深度信念网的训练分为两个阶段，首先是对受限玻尔兹曼机（Restricted Boltzmann machine，RBM）层自底向上逐层进行的贪婪预训练，使得每层的重构误差最小，这个阶段是无监督的；随后再对整体的权值使用有监督的反向传播方法进行精调.本文提出了一种新的DBN训练方法，通过多隐层的Gibbs采样，将局部RBM层组合，并在原有的逐层预训练和整体精调之间进行额外的预训练，有效地提高了DBN的精度.本文同时比较了多种隐层的组合方式，在MNIST和ShapeSet以及Cifar10数据集上的实验表明，使用两两嵌套组合方式比传统的方法错误率更低.新的训练方法可以在更少的神经元上获得比以往的训练方法更好的准确度，有着更高的算法效率.     

自适应增强卷积神经网络图像识别

目的 为了进一步提高卷积神经网络的收敛性能和识别精度,增强泛化能力,提出一种自适应增强卷积神经网络图像识别算法。方法 构建自适应增强模型,分析卷积神经网络分类识别过程中误差产生的原因和误差反馈模式,针对分类误差进行有目的地训练,实现分类特征基于迭代次数和识别结果的自适应增强以及卷积神经网络权值的优化调整。自适应增强卷积神经网络与多种算法在收敛速度和识别精度等性能上进行对比,并在多种数据集上检测自适应卷积神经网络的泛化能力。结果 通过对比实验可知,自适应增强卷积神经网络算法可以在很大程度上优化收敛效果,提高收敛速度和识别精度,收敛时在手写数字数据集上的误识率可降低20.93%,在手写字母和高光谱图像数据集上的误识率可降低11.82%和15.12%;与不同卷积神经网络优化算法对比,误识率比动态自适应池化算法和双重优化算法最多可降低58.29%和43.50%;基于不同梯度算法的优化,误识率最多可降低33.11%;与不同的图像识别算法对比,识别率也有较大程度提高。结论 实验结果表明,自适应增强卷积神经网络算法可以实现分类特征的自适应增强,对收敛性能和识别精度有较大的提高,对多种数据集有较强的泛化能力。这种自适应增强模型可以进一步推广到其他与卷积神经网络相关的深度学习算法中。     

一种基于误差放大的快速BP学习算法

针对目前使用梯度下降原则的BP学习算法，受饱和区域影响容易出现收敛速度趋缓的问题，提出一种新的基于误差放大的快速BP学习算法以消除饱和区域对后期训练的影响．该算法通过对权值修正函数中误差项的自适应放大，使权值的修正过程不会因饱和区域的影响而趋于停滞，从而使BP学习算法能很快地收敛到期望的精度值．对3-parity问题和Soybean分类问题的仿真实验表明，与目前常用的Delta-bar-Delta方法、加入动量项方法、Prime Offset等方法相比，该方法在不增加算法的复杂度和额外的CPU机时的情况下能更快地收敛到目标精度值．     

基于熵误差函数的BP算法及其应用

BP算法现在已成为目前最广泛的神经网络学习算法之一,但存在收敛速度较慢和学习不稳定的问题.为了加快收敛,用熵作为误差函数来对BP算法进行改进,在训练过程中加入动量项,并且对样本作归一化处理.通过对函数逼近和异或问题实例的仿真,与通常改进的BP算法所得的结果进行比较,仿真结果表明熵作为误差函数的改进BP算法比通常改进的BP算法有更好的收敛性和稳定性.最后,通过改进的BP神经网络实现对矩形波导匹配负载的结构设计,结果表明网络能很好地达到工程的要求.     

模糊逻辑系统的GA+BP混合学习算法

提出一种在GA中融入BP算法的混合学习算法以实现模糊逻辑系统的自学习,利用遗传算法的全局最优性在大范围内搜索可能的极值,而用BP算法的误差梯度下降特性在极值点附近的快速搜索,从而达到了全局最优与快速搜索的有机结合,仿真结果表明,这种混合算法的学习效率无论是相对于GA还是BP均有显著提高。     

基于PSO算法和BP神经网络的PID控制研究

针对PID控制中的参数整定的难点及基本BP算法收敛速度慢、易陷入局部极值的问题,提出利用PSO算法的全局寻优能力和较强的收敛性来改进BP网络的权值调整新方法,从而对PID控制的比例、积分、微分进行优化控制。该方法是在基本BP算法的误差反向传播的基础上,使粒子位置的更新对应BP网络的权值和阈值的调整,既充分利用了PSO算法的全局寻优性又较好地保持了BP算法本身的反向传播特点。仿真结果表明基于PSO算法的BP神经网络的PID优化控制具有较好的性能和自学习、自适应性。     

基于反传混沌粒子群训练的前馈神经网络研究

为了解决前馈神经网络训练收敛速度慢、易陷入局部极值及对初始权值依赖性强等缺点, 提出了一种基于反传的无限折叠迭代混沌粒子群优化(ICMICPSO)算法训练前馈神经网络(FNNs)参数。该方法在充分利用BP算法的误差反传信息和梯度信息的基础上, 引入了ICMIC混沌粒子群的概念, 将ICMIC粒子群(ICMICPS)作为全局搜索器, 梯度下降信息作为局部搜索器来调整网络的权值和阈值, 使得粒子能够在全局寻优的基础上对整个空间进行搜索。通过仿真实验与多种算法进行对比, 结果表明在训练和泛化能力上ICMICPSO-BPNN方法明显优于其他算法。     

An accelerated learning algorithm for multilayer perceptronnetworks

An accelerated learning algorithm (ABP-adaptive back propagation) is proposed for the supervised training of multilayer perceptron networks. The learning algorithm is inspired from the principle of "forced dynamics" for the total error functional. The algorithm updates the weights in the direction of steepest descent, but with a learning rate a specific function of the error and of the error gradient norm. This specific form of this function is chosen such as to accelerate convergence. Furthermore, ABP introduces no additional "tuning" parameters found in variants of the backpropagation algorithm. Simulation results indicate a superior convergence speed for analog problems only, as compared to other competing methods, as well as reduced sensitivity to algorithm step size parameter variations.     

一种放大误差信号的BP算法

针对BP神经网络学习算法收敛速度慢、易陷入假饱和状态的问题,提出了一种快速收敛的BP算法。该算法通过修改激励函数的导数,放大误差信号来提高收敛性。给出了改进算法的收敛性分析并在实验仿真中将改进算法同时与标准BP算法和NG等人的改进算法进行比较。仿真结果表明,该算法在收敛速度方面大大优于另外两种算法,有效地提高了BP算法的全局收敛能力。     

QPSO算法的改进及其在DBN参数优化中应用

为了提升标准量子粒子群算法（Quantum Particle Swarm Optimization,QPSO）的收敛精度,提出了基于粒子势阱长度变化率的粒子平均最优位置权重计算方法,通过平均最优位置的调节,来提升粒子的寻优能力,并将改进后的QPSO算法应用于深度置信网络（Depth Belief Network,DBN）模型的学习率参数寻优中,以便找到最优的DBN模型参数,来提升DBN模型的识别准确率。将通过改进后QPSO算法进行参数寻优的DBN网络（LQ_DBN）应用于蛋黄形状检测中,与现有典型的DBN网络模型对比表明,LQ_DBN模型在蛋黄形状检测实验中的识别准确率比CC-PSO-DBN、PSO_MDBN和标准DBN模型都要高,且检测识别准确率的稳定性也是四种对比模型中最高的,表明基于改进的QPSO算法的DBN网络模型取得了较好的优化效果。