前馈型神经网络中隐藏层神经元的研究

本文采用前馈型神经网络及BP算法对3种飞机模型的复合畸变不变性识别进行了研究。结合以前用级联神经网络及聚类编码方法对同一问题的研究结果,对神经网络的隐藏层神经元的个数及其对识别率及权重训练的影响进行了研究,提出了减少隐藏层神经元的一种方法,以简化识别网络的结构。     

Circle BP Algorithm for MLP Neural Network

A simple new BP algorithm named circle BP algorithm is introduced.With this algorithm,local minimums can be completely got rid of and learning speed can improve dramatically.It can be easily designed into the circuitry and advance further the application of MLP neural network.     

一种神经网络快速修剪算法

 通过分析非线性函数各输入参数对函数值的影响,发现当输入参数间无相互作用时,表征其灵敏度的傅立叶振幅主要集中在基频上。基于该发现,提出一种基于扩展傅立叶振幅灵敏度方法的神经网络隐含层神经元快速修剪算法。其实质是通过计算神经网络隐含层各神经元输出的指定基频上的傅立叶振幅,求取隐含层神经元对神经网络输出的灵敏度。根据各神经元的灵敏度,按照一定的准则削减冗余神经元,获得紧凑的神经网络结构。将提出的神经网络结构修剪算法用于污水水质参数化学需氧量(COD)的软测量过程中,实验结果与扩展傅里叶振幅灵敏度算法相比,在修剪效果相同的情况下,其运行时间得到明显减小。     

SAR图像舰船检测的神经网络关联剪枝方法

合成孔径雷达（Synthetic Aperture Radar, SAR）由于其具备全天时、全天候的工作特点,使其在海洋环境监测、海洋资源调查和海洋防灾减灾等领域得到了广泛的应用。其中,基于SAR图像的舰船目标检测是SAR图像处理中的重要部分,其在军用和民用领域均具有重要的意义。本文针对基于深度学习实现的SAR图像目标检测算法参数计算量大、内存占用率高的问题提出了关联剪枝方法。该方法通过对网络进行改进,将相关联的卷积同时进行剪枝,并在训练结束后统一映射到低维度上以实现剪枝操作。通过在SSDD、SAR?Ship?Data?set和HRSID上进行实验,可以在保证平均精度（AP50）下降小于2%的前提下,针对FCOS网络实现70%以上的剪枝率,验证了所提方法的有效性。     

基于熵的前馈网络修剪算法

剪枝算法是一种通过简化网络结构来避免过拟合的有效方法之一。文章依据Shannon熵原理定义了神经网络隐层节点输出的拟熵,该熵与Shannon熵对不确定性的描述具有相同的效果,但克服了Shannon熵中无定义和零值的缺点。将交叉熵和隐节点输出拟熵作为目标函数,并采用熵周期的策略对网络参数进行寻优,通过删除合并隐层神经元达到简化网络结构的目的。仿真结果表明,此方法简单易行,对BP网络的泛化性能有较好的改善。     

船舶辐射噪声分类卷积神经网络的可视化分析和卷积核剪枝

当前基于深度神经网络的船舶辐射噪声分类研究主要关注分类性能,对模型的解释性关注较少。本文首先采用导向反向传播和输入空间优化,基于DeepShip数据集,构建以对数谱为输入的船舶辐射噪声分类卷积神经网络(CNN),提出了一种船舶辐射噪声分类CNN的可视化分析方法。结果显示,多帧特征对齐算法改进了可视化效果,深层卷积核检测线谱和背景两类特征。其次,基于线谱是船舶分类的稳健特征这一知识,提出了一种卷积核剪枝方法,不仅提升了CNN分类性能,且训练过程更加稳定。导向反向传播可视化结果表明,卷积核剪枝后的CNN更加关注线谱信息。     

神经网络与HMM构成的混合网络在语音识别中应用的研究

隐马尔可夫模型（ＨＭＭ）技术是语音识别中应用较为成功的算法，但它的缺点影响了其精度、速度、硬件实现和推广应用。神经网络（ＮＮ）具有并行性、强的分类能力和易于硬件实现等优点。将ＮＮ与ＨＭＭ相结合构成混合网络，能克服ＨＭＭ与ＮＮ的缺点，保留双方的优点。本文详细评述了目前在语音识别中应用的由ＨＭＭ和ＮＮ构成的四种混合网络。通过对其结构、识别性能和特点的分析，可以看出ＨＭＭ和ＮＮ构成的混合网的性能明显优于     

带状线电路中十字交越不连续性的具有知识神经元的神经网络模型

本文采用一种新型的三层神经网络 ,即隐蔽层具有知识神经元的神经网络 (NNKBN)模拟带状线电路中的十字交越不连续性。NNKBN模型由一组全波时域有限差分法产生的仿真数据进行训练而建立。数值实验表明NNKBN模型在许多方面优于传统的多层感知器模型。     

压缩深层神经网络隐藏层维度对其分类性能的影响

为了使深层神经网络具有更好的泛化能力、少量训练时间的性能。文中汲取压缩神经网络的思想,通过将深层神经网络的输入层与隐藏层按照不同的比例将隐藏层的维度进行压缩,并在传统压缩深层神经网络的基础上,在其顶层添加一个分类层,使深层神经网络拥有分类的能力。实验将构建的深层神经网络应用于MNIST手写数据集的分类测试,结果表明,经过适当压缩的深层神经网络比未被压缩的深层神经网络具有更好的分类效果,而且节省了大量的训练时间。     

神经网络原理用于控制机动伺服平台

随着雷达技术的日益发展,要求伺服系统控制和管理的对象和控制步骤也日益增多,伺服系统测量的内容和测量精度也日益增多和提高。随之而来的难题是程序控制的关联性和判定条件的辨证性日趋复杂,而且测量对象的动态特性受外界随机性突发干扰的情况时有发生。分析和控制机动伺服平台,一般采用人工神经网络原理。原因是利用神经网络具有处理多模及复杂状态、自适应、联想、容错、记忆、自学习等优点,可以达到优化控制程序、提高装备的使用性、提高可靠性、提高自动化操作的程度。     

Training a Hidden Markov Model with a Bayesian Spiking Neural Network

It is of some interest to understand how statistically based mechanisms for signal processing might be integrated with biologically motivated mechanisms such as neural networks. This paper explores a novel hybrid approach for classifying segments of sequential data, such as individual spoken works. The approach combines a hidden Markov model (HMM) with a spiking neural network (SNN). The HMM, consisting of states and transitions, forms a fixed backbone with nonadaptive transition probabilities. The SNN, however, implements a biologically based Bayesian computation that derives from the spike timing-dependent plasticity (STDP) learning rule. The emission (observation) probabilities of the HMM are represented in the SNN and trained with the STDP rule. A separate SNN, each with the same architecture, is associated with each of the states of the HMM. Because of the STDP training, each SNN implements an expectation maximization algorithm to learn the emission probabilities for one HMM state. The model was studied on synthesized spike-train data and also on spoken word data. Preliminary results suggest its performance compares favorably with other biologically motivated approaches. Because of the model’s uniqueness and initial promise, it warrants further study. It provides some new ideas on how the brain might implement the equivalent of an HMM in a neural circuit.     

前馈神经网络隐层结点设计的一个学习算法

考虑三层前馈神经网络隐结点学习问题．在分析同类与不同类训练样本在隐层输出上体现的差异的基础上，提出了一种在权值学习过程中动态地用除网络隐结点数的学习算法．数值结果表明本文算法是可行的．     

BP神经网络在教学质量评价中的应用

结合BP神经网络的特点,探讨了基于BP神经网络的教学质量评价方法.利用BP神经网络方法建立高校教学质量评价系统的模型,将教学评价指标概念量化成确定的数据作为其输入,教学效果作为输出,并利用MATLAB系统加以实现.     

基于HMM和PNN的混合语音识别模型

基于隐马尔可夫模型(HMM)和改进后的概率神经网络(PNN)模型提出了一种用于语音识别的混合模型,该模型首先利用HMM生成最佳语音状态序列,然后对最佳状态序列进行时间规整,最后通过PNN神经网络进行分类识别。给出了HMM参数训练及时间规整的算法。实验结果表明这种模型比HMM具有更好的识别效果。     

用于步进电机细分控制的知识人工神经网络

步进电机细分控制中电机绕组电流与电机角度输出是一种非线性函数,其精确拟合是步进电机细分控制中的一个重要课题,应用神经网络对其模拟是一种新尝试。针对前馈神经网络的反向传播（BP）学习算法在逼近非线性函数时收敛速度慢,没有先验知识的缺点,提出利用基于知识的人工神经网络（KBANN）来确定步进电机的最佳细分电流数据。仿真结果表明,KBANN具有精度高、速度快的特点,能够实现步进电机均匀步距的细分控制。     

BP神经网络参数改进方法综述

BP神经网络具有结构简单,技术成熟的优点、在很多领域都有广泛的应用,然而它的两个突出问题——收敛速度慢,易陷入局部极小点,制约了它的应用,本文总结了一些针对此问题的BP网络参数改进方法,包括主要通过改进学习率的方法来改善收敛速度,从选择合适的初始权值,调整网络权值修改量η和动量项α,以及改变网络结构,增加训练数据三个方面来克服局部极小点问题,这些方法对改善网络性能起到了一定的作用。     

BP神经网络参数改进方法综述

BP神经网络具有结构简单、技术成熟的优点,在很多领域都有广泛的应用.然而它的两个突出问题--收敛速度慢、易陷入局部极小点,制约了它的应用.针对此问题文中提出的BP网络参数改进方法:①主要通过改进学习率的方法来改善收敛速度;②从选择合适的初始权值,调整网络权值修改量η和动量项α以及改变网络结构、增加训练数据三个方面来克服局部极小点问题.     

基于神经网络的计算机网络安全评价研究

由于计算机网络信息在传播时具有开放性,部分信息未经过严格的审核,导致计算机网络面临安全漏洞和病毒等方面的威胁。神经网络是目前应用最为广泛的网络模型之一,结合神经网络构建一套安全、可靠的计算机安全评价体系,对网络安全有一定的保障作用。将神经网络有效地应用于计算机网络,有利于降低网络安全风险。文章对神经网络和计算机网络安全进行了概述,通过BP神经网络构建可靠的计算机网络安全评价体系,阐述了基于神经网络的计算机网络安全评价系统应用意义,弥补传统计算机网络安全中存在的诸多问题及不足。     

模拟电路故障诊断的神经网络优化方法综述

对故障诊断和模拟电路的特点做了简要介绍,分析了故障诊断的现状和相关研究方法。针对目前用于模拟电路故障诊断的神经网络,阐述了优化神经网络的方法--小波变换、遗传算法、模糊理论、粒子群算法和聚类算法等,并对未来的发展方向进行了展望。