一种改进的神经网络相关性剪枝算法

神经网络的剪枝有利于网络结构的简化,而作为剪枝算法中的比较重要的相关性剪枝算法,在计算了隐层节点输出的线性相关性和方差后,对于如何根据线性相关值和方差值删除节点并没有给出明确的界限。文章通过研究神经网络的相关性剪枝算法,给出一种以网络的误差传递为思想,根据方差值删除节点的方法,并通过实验证明,该方法不仅能够有效的简化网络结构,保证网络精度,而且计算简单。     

基于超网络理论的军事通信网络复杂性度量方法

针对军事通信网络的结构和功能特点,在建立军事通信超网络描述模型的基础上,定义了超网络邻接矩阵、节点分类连接矩阵、类型匹配指数、超网络模体、模体核和模体熵等概念;通过分析超网络模体的特点,提出使用超网络模体熵来度量网络复杂性,给出了具体的计算方法;最后以某舰艇编队通信网络为例,对比分析了已有网络结构复杂性指标和超网络模体熵所度量的网络特征,说明在网络结构确定的情况下,超网络模体熵可以度量网络的功能复杂性.     

基于节点行为特征分析的网络流量分类方法

针对基于加密分组数据的网络流量分类问题,该文提出两种基于行为特征的分析方法。结合流量矩阵和网络结构熵技术,定义了出入度熵指数等参数用于描述节点间的连接行为和数据传输特征,并利用多个周期和时间尺度下的熵指数分析不同流量特征。通过可视图建网方法将流量序列转化为连接网络,利用网络结构相关参数分析流量中蕴含的节点间交互行为的差异。实验表明不同业务流量矩阵的熵指数变化趋势差别较大,而流量序列对应连接网络的聚集系数等存在明显差异。两种方法对于不同业务流量具有较好的分类效果。     

小波网络参数初始化研究及应用

基于小波神经网络，文中提出了可变尺度小波神经网络，可减少隐层神经元数目，精简网络结构。为防止网络训练陷入局部最小点，提出使用熵函数作为网络的代价函数，并将基于熵函数的可变尺度小波神经网络应用于通信信道均衡。仿真实验表明所提方法比线性均衡器具有更好的抗非线性能力，与传统的小波神经网络相比可减少网络神经元个数和迭代次数，并能使网络收敛到全局最小点。     

前向网络隐空间分类超平面的构造

本文讨论单隐层前向网络输出神经元所对应的隐空间分类超平面的构造问题,它直接对应于网络隐层至输出层的连接仪的设计,研究结果表明,网络隐层至支的连接权可均取为＋１,输出神经元的阈值也仅可取为１／２加上几个有限的整数中的一个,从而可以以通过对网络输入层节点至隐节点的连接权的训练,获得有效解决两类问题的前向网络。     

基于分解的二维指数交叉熵图像阈值分割

尽管用对数定义的Shannon熵是测度信息不确定性的有效方法,但存在无定义值和零值的问题,且现有的二维Shannon交叉熵法其运行速度仍有提升空间。为此,提出了一维和二维指数交叉熵阈值分割算法。首先给出了指数交叉熵的定义,并导出了一维指数交叉熵阈值选取方法;然后将其推广提出了基于分解的二维指数交叉熵阈值分割算法。通过分别求原像素灰度级图像和邻域平均灰度级图像的一维指数交叉熵最佳阈值,并将其组合求解二维指数交叉熵最佳阈值,从而将二维运算转换到两个一维空间上,大大缩小了搜索空间,使计算复杂度由O(L4)降为O(L)。实验结果表明,与最近提出的二维Shannon交叉熵法及二维Tsallis交叉熵法相比,所提出的方法能够得到更为优越的分割效果,且运行时间大幅减少。      

分解的二维倒数交叉熵图像阈值选取

Shannon熵常用于表示信息平均不确定性,但因其定义基于对数函数故存在零点处无意义的缺陷,且二维交叉熵法中若能避免对数运算可使处理速度进一步提升。据此,本文提出了基于分解的二维倒数交叉熵图像阈值选取方法。首先定义了倒数交叉熵,依据分割前后图像之间的最小倒数交叉熵选取阈值;然后给出了二维倒数交叉熵定义及其阈值选取公式,提出了二维倒数交叉熵阈值选取的分解算法。通过求解两个一维倒数交叉熵的最佳阈值,再将其组合获得二维倒数交叉熵最佳阈值,由此将二维运算分解为两个一维运算,算法的计算复杂度从O(L4)降低到O(L)。大量实验结果表明,与基于粒子群优化(Particle Swarm Optimization, PSO)的二维最大Shannon熵法、基于粒子群优化的二维Shannon交叉熵法以及二维指数交叉熵法相比,本文方法的分割效果和运行速度均有优势。      

叠加相干态的Wehrl熵和Shannon熵

本文研究了叠加相干态的Wehrl熵和Shannon熵,并讨论了Shannon熵与广义坐标压缩性的关系。结果表明Wehrl熵和Shannon熵与叠加参数有关系，且叠加参数对Shannon熵的影响较大。     

最大倒数熵/倒数灰度熵多阈值选取

现有的基于Shannon熵的阈值选取方法存在无定义值和零值的缺陷,并且没有考虑目标和背景类内灰度的均匀性。为此,本文针对多目标（背景）图像分割问题,提出了基于最大倒数熵/倒数灰度熵和自适应双粒子群优化（Adaptive Chaotic Variation Particle Swarm Optimization, ACPSO）的多阈值选取方法。首先将最大倒数熵单阈值选取推广到多阈值选取;然后定义了倒数灰度熵,导出了基于最大倒数灰度熵的单阈值和多阈值选取公式;最后给出最大倒数熵/倒数灰度熵多阈值选取的ACPSO算法步骤,实现对多个阈值快速精确地寻优。实验结果表明,与现有的同类方法—基于最大Shannon熵和粒子群优化（Particle Swarms Optimization, PSO）的多阈值选取方法相比,本文提出的方法有明显的优势,已应用于红外弱小目标检测中的阈值分割和卫星云图识别中的数字云图分割,取得了极佳的分割效果。      

基于熵的复杂电网的脆弱性识别与评估

电力系统线路发生扰动时会出现潮流转移,电网中的一些脆弱对潮流转移很敏感并且对故障传播起着十分重要的作用,识别出电力系统中关键的线路和节点对于提高电网安全性抑制故障传播有重要意义。根据熵的基本理论,利用潮流熵反映系统的运行的不均一性。考虑线路的承载能力并且结合潮流转移和分布特性建立支路脆弱性模型,根据节点的网络结构和运行状态建立节点脆弱性模型。通过对IEEE39节点进行模拟计算,当节点的潮流分布熵越小时潮流分布越不均匀,节点越脆弱,支路潮流熵越大时,支路越稳定。通过与其他方法比较,本文结论得以验证。     

前向神经网络的神经元分层逐个线性优化快速学习算法

本文提出了一种新的前向神经网络快速分层学习算法.在此学习算法中,其优化策略为对输出层和隐层神经元的连接权值交替优化.对输出层权值优化算法采用基于广义逆的最小二乘递推算法,对隐层神经元的连接权值采取则对每个神经元逐个进行优化,而且采用正交变换加快每一步学习的计算速度和提高算法的数值稳定性.当学习过程停滞时采用随机扰动的方法摆脱过早收敛.数值实验表明,与BP动量因子法、牛顿型方法和现有的分层优化算法相比,新算法不仅学习速度快学习时间短,而且当网络规模增大时仍然比较有效.     

复数前馈神经网络的全局最优和快速学习算法

提出了一种新型复数前馈神经网络的学习算法。当输入层和隐层之间的权值计算出来后，就可以通过求解线性方程组得到隐层和输出层之间的权值。这些权值是全局最小点。另一方面，本文算法很容易确定全局最小点时隐层神经元的个数。本文算法具有很高的训练精度和学习速度。     

基于凸组合算法优化的前向神经网络观测器设计

本文利用凸组合算法对单隐藏层前向神经网络进行了优化,通过迭代来更新权值以调整隐藏层的信息.同时引入了一个新的误差函数来评价误差性能,该函数通过对权值进行解耦来求解优化参数,提高了参数的计算速度.在此基础上,提出了一种非线性系统的自适应神经网络状态观测器设计方法.最后通过仿真验证了该神经网络观测器能准确并快速地观测出系统的状态值.     

混合量子衍生神经网络模型及算法

为提高人工神经网络的逼近能力,该文从研究隐层神经元的映射机制入手,提出基于量子比特在Bloch球面的绕轴旋转构造神经网络模型的新思想。首先将样本线性变换为量子比特的相位,并使量子比特在Bloch球面上分别绕着3个坐标轴旋转,旋转角度即为网络参数。然后通过投影测量可以得到量子比特的球面坐标,将这些坐标值提交到隐层激励函数,可得隐层神经元的输出。输出层采用普通神经元。基于L-M(Levenberg-Marquardt)算法设计了该模型的学习算法。实验结果表明,该文提出的模型在逼近能力、泛化能力、鲁棒性能方面,均优于采用L-M算法的普通神经网络。     

基于模型输出敏感度分析的动态神经网络结构设计

神经网络的性能由其训练算法和拓扑结构共同确定。为了解决设计网络结构的动态调整问题,论文给出了一种神经网络结构动态设计方法。以隐含层神经元输出的贡献对模型输出敏感度进行分析,从而调整神经网络结构,对贡献太小的神经元予以删除,对贡献值太大的神经元利用最邻近法在其附近插入新的神经元。通过对非线性函数进行逼近和对非线性系统关键参数进行预测证明了该方法的有效性。     

Training binary node feedforward neural networks by back propagation of error

Despite the absence of derivatives, binary node neural networks having a hidden layer and multiple outputs can be trained using an algorithm which closely resembles conventional back propagation. The algorithm is based on the use of hidden unit activation functions which transform in the course of the training from analogue (sigmoid) to binary (step).<>     

基于逻辑输入样本的神经网络算法

本文对确定多层前向神经网络权提出了一种基于逻辑输入样本的直接算法。对于逻辑输入样本,该算法只需一个三层网络实现;否则,需在输入层和隐层间引入一个预处理层以完成输入样本向逻辑向量的转化。由于不引入误差能量函数,该算法避免了BP算法训练过程出现的收敛速度慢和误差陷入局部极小问题。本文还对该算法的正确性作了详细论证并以XOR问题解释其计算过程。     

基于PSO-RBF神经网络的模拟电路故障诊断研究

针对模拟电路故障诊断的难点和传统诊断方法的不足之处,提出了一种基于PSO算法优化的RBF神经网络模拟电路故障诊断方法。为了约简网络结构从而提高诊断效率,采用主成分分析方法对故障特征进行有效提取。针对RBF网络传统训练算法中隐层节点中心及基函数宽度选取困难问题,提出采用PSO算法来优化训练RBF网络,以提高网络的训练速度和泛化性能。最后,通过电路仿真对所提方法的有效性进行了验证。     

Intracranial Epileptic Seizures Detection Based on an Optimized Neural Network Classifier

Automatic identification of intracranial electroencephalogram (iEEG) signals has become more and more important in the field of medical diagnostics. In this paper, an optimized neural network classifier is proposed based on an improved feature extraction method for the identification of iEEG epileptic seizures. Four kinds of entropy, Sample entropy, Approximate entropy, Shannon entropy, Log energy entropy are extracted from the database as the feature vectors of Neural network (NN) during the identification process. Four kinds of classification tasks, namely Pre-ictal v Post-ictal (CD), Pre-ictal v Epileptic (CE), Post-ictal v Epileptic (DE), Pre-ictal v Post-ictal v Epileptic (CDE), are used to test the effect of our classification method. The experimental results show that our algorithm achieves higher performance in all tasks than previous algorithms. The effect of hidden layer nodes number is investigated by a constructive approach named growth method. We obtain the optimized number ranges of hidden layer nodes for the binary classification problems CD, CE, DE, and the multitask classification problem CDE, respectively.     

基于熵的RBF神经网络在软测量中的应用

为了更好地确定RBF神经网络中心向量,并且使得最终的RBF神经网络结构可以进一步调整。提出了一种使用熵聚类的算法来首先确定RBF神经网络隐节点的个数及其初始值,实现初始化的基础上使用常规算法调整RBF神经网络的中心和训练宽度,最后使用基于互信息的RBF神经网络修剪算法调整网络结构。并将上述算法应用于COD软测量问题中,仿真实验结果表明：改进的算法与常规的算法相比,提高了训练速度和逼近精度。