一种改进的神经网络相关性剪枝算法

神经网络的剪枝有利于网络结构的简化,而作为剪枝算法中的比较重要的相关性剪枝算法,在计算了隐层节点输出的线性相关性和方差后,对于如何根据线性相关值和方差值删除节点并没有给出明确的界限。文章通过研究神经网络的相关性剪枝算法,给出一种以网络的误差传递为思想,根据方差值删除节点的方法,并通过实验证明,该方法不仅能够有效的简化网络结构,保证网络精度,而且计算简单。     

基于GA-BP神经网络的矿用刮板输送机故障诊断

针对矿用刮板输送机的故障诊断问题,提出一种基于GA-BP神经网络的故障诊断方法。为了避免BP神经网络易陷入局部最小值、隐含层节点数难确定等问题,这里首先根据经验公式缩小隐含层节点数范围,在小范围里寻找最优的隐含层节点数;进而根据遗传算法具有全局寻优的特点,用遗传算法优化BP神经网络训练的初始权值阈值。研究表明经经验公式寻找最优隐含层节点数后,再将遗传算法与BP神经网络结合可以有效地解决神经网络收敛速度慢,易陷入局部最小等问题,提高了刮板输送机传动部的故障诊断精度。通过仿真实验验证了文中方法的有效性。     

近邻传播聚类算法的RBF隐含层节点优化

传统的RBF神经网络预测精度会由于随机选取隐含层中心节点不合适而导致算法效率低下和数值病态,为了提高RBF神经网络的效率,提出了一种用近邻传播AP聚类算法改进RBF神经网络的方法,并介绍了该方法的原理及建模步骤。由于采用的AP聚类算法属于自适应聚类学习算法,无需事先给定隐含层中心节点的个数,能够适用于不具有先验信息的预测。首先,利用AP算法根据训练样本的信息进行聚类迭代,从而确定RBF神经网络中隐含层的中心节点和节点数值,解决了RBF网络的中心取值问题。然后,把所有输入数据代入基于AP聚类算法优化的RBF神经网络中进行预测。由于AP算法无需预先指定聚类数目,所提方案能提高网络的学习精度和训练速度,利用所提优化方案对正弦函数进行逼近的仿真实验,结果表明该方案的逼近误差仅为0.005 5,在0.3噪声下能保持较好的预测精度。     

一种神经网络快速修剪算法

 通过分析非线性函数各输入参数对函数值的影响,发现当输入参数间无相互作用时,表征其灵敏度的傅立叶振幅主要集中在基频上。基于该发现,提出一种基于扩展傅立叶振幅灵敏度方法的神经网络隐含层神经元快速修剪算法。其实质是通过计算神经网络隐含层各神经元输出的指定基频上的傅立叶振幅,求取隐含层神经元对神经网络输出的灵敏度。根据各神经元的灵敏度,按照一定的准则削减冗余神经元,获得紧凑的神经网络结构。将提出的神经网络结构修剪算法用于污水水质参数化学需氧量(COD)的软测量过程中,实验结果与扩展傅里叶振幅灵敏度算法相比,在修剪效果相同的情况下,其运行时间得到明显减小。     

量子衍生神经网络的设计与实现

当使用神经网络解决问题时, 得到的结果与神经网络的逼近能力有很大关系。如何提高神经网络的逼近能力目前还没有较为理想的解决方法。本文提出了一种利用多位量子受控非门来构造神经网络模型的新方法。该模型为三层结构,隐层为量子神经元,输出层为普通神经元。量子神经元由量子旋转门和多位受控非门组成,利用多位受控非门中目标量子位的输出向输入端的反馈,实现对输入序列的整体记忆,利用多位受控非门的受控关系获得量子神经元的输出。基于量子计算原理设计了该模型的L M学习算法。该模型可从宽度和深度两方面获取输入序列的特征。纸牌预测的实验结果表明,当输入节点数和序列长度比较接近时,该模型对训练集的识别率比普通神经网络有大约8%的提高,从而揭示了量子计算机制对提高网络逼近能力的有效性。      

基于熵的前馈网络修剪算法

剪枝算法是一种通过简化网络结构来避免过拟合的有效方法之一。文章依据Shannon熵原理定义了神经网络隐层节点输出的拟熵,该熵与Shannon熵对不确定性的描述具有相同的效果,但克服了Shannon熵中无定义和零值的缺点。将交叉熵和隐节点输出拟熵作为目标函数,并采用熵周期的策略对网络参数进行寻优,通过删除合并隐层神经元达到简化网络结构的目的。仿真结果表明,此方法简单易行,对BP网络的泛化性能有较好的改善。     

一种动态筛选样本的前向神经网络快速学习算法

从理论上讨论了一类隐含层激励函数满足Mercer条件的前向神经网络学习问题,分析了提高网络学习速度的途径,提出了一种动态筛选样本的前向神经网络快速学习算法。它大大提高了网络学习速度,克服了传统的基于梯度下降的网络学习方法存在的诸多弊端。算法还具有动态确定隐含层神经元数的自构性优点。文中通过具体数值试验验证了上述算法的可行性和优越性。     

一种RBF神经网络的自适应学习算法

建立了一种RBF神经网络的自适应学习模型。该模型事先不需要确定隐层节点的中心位置和数量,而是在学习过程中,根据相应的添加策略和删除策略,自适应地增加或减少隐层节点的数量。最终形成的网络不仅结构简单,精度高,而且具有较好的泛化能力。     

卷积神经网络模型分析

随着深度学习概念的提出,深层神经网络成为机器学习的一个研究方向。在众多的神经网络模型中,卷积神经网络由于具有权值共享、局部感受野、降维等特点,取得了较好的应用成果。卷积神经网络结构包括输入层、卷积层、下采样层、全连接层、输出层,当前层的输出经过激活函数作用后成为下一层的输入。文章对卷积网络的数学模型进行详细推理,采用Python编码实现了深层卷积网络,分别在MNIST和CIFAR-10数据集上进行了测试。实验结果表明,无论是灰度图像还是彩色图像,卷积神经网络都具有较好的识别效果。     

自组织模糊神经网络的气动参数辨识算法

导弹气动参数一般通过理论计算或风洞试验数据来获取,由于受诸多因素限制而难以获得精确值。为了提高导弹动力学模型的精确度,利用神经网络能够逼近任意非线性函数的特点,对各实际工作点的气动参数进行辨识。采用反向传播神经网络的结构模型,通过加入模糊推理算法进行神经元权值修正的聚类训练,并动态地调节隐层节点数目,由此提出了一种能够精确跟踪非线性函数的网络模型。网络中若不存在能代表某些输入的聚类中心的神经元时,增加隐层节点数即相当于增加相应的模糊规则,它体现了该网络的自组织特点。仿真结果验证了模型对气动参数辨识的有效性,该方法对于自动驾驶仪气动参数的修正具有良好应用前景。     

一种量子衍生神经网络模型算法及应用

为提高神经网络的逼近和预测能力，提出一种各维输入为离散序列的量子衍生神经网络模型及算法。该模型为三层结构，隐层为量子衍生神经元，输出层为普通神经元。量子衍生神经元由量子旋转门和多位受控旋转门组成，利用多位受控旋转门中目标量子位的输出向输入端的反馈，实现对输入序列的整体记忆，利用受控旋转门输出中多位量子比特的纠缠获得量子衍生神经元的输出。基于量子计算理论设计了该模型的学习算法。该模型可从宽度和深度两方面获取输入序列的特征。仿真结果表明，当输入节点数和序列长度满足一定关系时，该模型明显优于普通神经网络。     

小波神经网络在短时交通流量预测中的应用

随着交通基础设施建设和智能运输系统的发展,交通规划和交通诱导成为交通领域的研究热点,对交通规划和交通诱导而言,准确的交通流量预测是其实现的前提和关键。短时交通流量预测是一个时间序列预测问题,文中应用小波神经网络对短时交通流量进行了预测。首先,对神经网络、小波分析等相关理论进行了简要介绍。在此基础上,采用5-7-1小波神经网络结构,以Morlet小波基函数作为隐含层节点的传递函数,将车流量数据输入该模型中,以训练小波神经网络,并用训练好的神经网络来预测短时交通流量。从预测结果来看,小波神经网络的预测结果较为准确,网络预测值接近期望值,效果较好。     

使用多层神经网络的脉冲雷达探测技术

本文提出了一种采用多层前馈神经网络的雷达探测技术即脉冲压缩方法,并且采用巴克码进行说明。这个网络拥有13个输入单元、3个隐含单元和1个输出单元。应用逆向传播的学习方法来训练网络,运用这种方法可以很容易地达到40dB的峰值信噪比,而且其处理时间比那些采用相关器和失配滤波器的方法要更快。     

一种新型动力学神经网络的理论算法研究

静态神经网络缺乏动力学行为,动态神经网络由微分方程描述,神经元具有反馈环,更适合描述动态系统.以前的研究中所提出的一些改进的递归网络中引入的都是输入层到关联层的反馈或是输出层到输入层的反馈,但是这些反馈系数是常数,是不可调的,限制了网络反映动态性能的能力.为此,提出了一种由带有积分器和可调反馈系数的神经元构成的动力学神经网络,并利用梯度下降法得到了网络的学习算法.     

基于自组织特征映射神经网络的聚类分析

在深入研究自组织特征映射（Self-organizing Feature Mapping,SOFM）神经网络的结构和聚类算法的基础上,阐述了SOFM网络的建立方法.以随机二维向量的聚类为例,利用所建立的SOFM网络模型对输入的随机二维向量进行聚类,并着重研究了输出层神经元拓扑结构、训练步数对聚类结果的影响以及在相同拓扑结构条件下,SOFM网络模型的权值向量的调整过程.仿真结果表明：在输出层神经元节点形式为六边型条件下,输出层神经元的个数越多,SOFM网络模型的聚类结果就越准确;在相同的拓扑结构条件下,训练步数越大,SOFM网络聚类结果越准确,但过大的训练步数对于聚类结果的影响甚微.     

混沌直扩信号扩频序列盲估计

与传统直扩序列相比,混沌扩频序列具有非线性复杂度较高的优点,该优点同时也是盲估计混沌扩频序列的难点。针对这个难点,该文提出了非线性弹性反传神经网络盲估计方法,充分利用非线性神经网络能逼近任意非线性函数的特性,无须搜索信息码和扩频序列之间的同步点,能在较低的信噪比下准确盲估计混沌扩频序列。传统的神经网络使用中,神经网络的有用信息是网络的输出,而该文中则是输出层的权系数。侦察截获的混沌直扩信号同时用作神经网络的输入和期望输出,神经网络收敛后的输出层权系数就是混沌扩频序列的估计值。仿真结果证明了该方法的有效性。     

自学习稀疏密集连接卷积神经网络图像分类方法

通道剪枝是深度模型压缩的主要方法之一。针对密集连接卷积神经网络中,每一层都接收其前部所有卷积层的输出特征图作为输入,但并非每个后部层都需要所有先前层的特征,网络中存在很大冗余的缺点。本文提出一种自学习剪枝密集连接网络中冗余通道的方法,得到稀疏密集连接卷积神经网络。首先,提出了一种衡量每个卷积层中每个输入特征图对输出特征图贡献度大小的方法,贡献度小的输入特征图即为冗余特征图;其次,介绍了通过自学习,网络分阶段剪枝冗余通道的训练过程,得到了稀疏密集连接卷积神经网络,该网络剪枝了密集连接网络中的冗余通道,减少了网络参数,降低了存储和计算量;最后,为了验证本文方法的有效性,在图像分类数据集CIFAR-10/100上进行了实验,在不牺牲准确率的前提下减小了模型冗余。      

基于混合结构神经网络的自适应背景模型

本文提出一种基于神经网络的视频中运动目标检测自适应背景模型.对每个像素点(或局部区域)建立一个混合结构的神经网络背景模型,模型由一个4层前馈神经网络组成,输入层接受像素HSV特征,特征层实现特征提取功能,模式层以概率神经网络的方式完成像素属于背景概率的计算,输出层以赢者取胜的方式完成前景背景分类和模式层激活节点选择功能...     

径向基函数神经网络的一种有效的在线学习方法

本文提出了一种径向基函数神经网络的有效在线学习方法。该学习方法不仅能根据输入信息的增加而动态地分配网络资源,而且能有效回收网络的冗余资源。在学习过程中网络的参数可以自适应地序贯进行调整。文中详细论述了这种神经网络的学习准则、动态增减隐节点算法和参数调整算法。同时通过分析和实验说明网络具有较强的映射能力和预测性能。     

强调原始创新,突出成果转化——贺《军医进修学院学报》创刊30周年

针对某型捷联惯导系统中光纤陀螺仪的输出信号随温度漂移严重的问题,使用径向基函数(RBF)神经网络建立温度补偿模型.神经网络的结构为输入层和输出层各有一个节点,中间隐层含有4个节点,隐层节点的聚类中心均匀分布在温度的变化范围之内.实验结果表明,该方法可有效地将光纤陀螺仪中的温漂误差减小1个数量级以上,补偿效果明显.