基于GA的模糊神经网络在故障诊断中的应用

将模糊神经网络与遗传算法结合起来用于电力电子电路的故障检测和诊断,阐述了基本设计思想和算法实现过程.由于模糊神经网络不需要对象的准确模型,利用网络的拓朴结构和权值分布实现非线性映射,并且使网络中的权值有了明显的意义.对权值的学习采用遗传算法,可避免原有BP算法极易陷入局部最优的缺点,利用遗传算法获得全局最优解.应用结果表明了该方法的有效性,漏检率和误检率达到预定要求.     

基于SFLA优化BP神经网络的语音信号分类

BP神经网络是一种多层前馈网络,数据经过网络的输入层、隐含层逐层处理后,由输出层进行输出,通过和期望输出的对比进行反向传播,调整网络参数使输出不断逼近期望输出;在使用BP神经网络对语音特征信号进行分类的过程中,会出现BP神经网络易陷入局部最优解、学习收敛速度慢的问题;针对此问题提出一种基于SFLA优化BP神经网络权值和阀值的方法,引入SFLA算法优化网络权值和阀值,利用SFLA优化后的BP网络模型进行语音特征信号分类;仿真结果表明,经SFLA优化后的BP神经网络与未优化的神经网络相比,不仅训练速度快, 而且误差小,语音特征信号分类的正确率平均提高1.31%。     

一种用于特征层融合识别的回弹全局自适应动量BP算法

针对特征层融合识别中全局自适应BP算法存在的收敛速度慢、学习不稳定等问题,基于对动量BP算法的详细分析,提出了一种新的全局自适应BP算法——回弹全局自适应动量BP算法(RGMOBP),该算法具有在误差增大时进行权值回弹并减小学习步长以保证权值的调节功能、使误差减小的特点。仿真结果表明:RGMOBP在学习性能上优于其它已有经典全局算法,是一种简单有效的神经网络特征层融合识别算法。     

基函数神经网络逼近能力探讨及全局收敛性分析

构建一类新型基函数神经网络.依据梯度下降法思想,给出该神经网络的权值迭代公式,证明迭代序列能全局收敛到网络的最优权值,并由此推导出基于伪逆的最优权值一步计算公式--简称为权值直接确定法.理论分析表明,该新型神经网络具有最佳均方逼近能力和全局收敛性质,其权值直接确定法避免了冗长迭代计算、易陷于局部极小点、学习丰难选取等传统BP神经网络难以解决的难题,仿真验证显示其相时BP神经网络的各种改进算法具有运算速度快、计算精度高等优势,且对于噪声有良好的滤除特性.     

一种基于误差放大的快速BP学习算法

针对目前使用梯度下降原则的BP学习算法，受饱和区域影响容易出现收敛速度趋缓的问题，提出一种新的基于误差放大的快速BP学习算法以消除饱和区域对后期训练的影响．该算法通过对权值修正函数中误差项的自适应放大，使权值的修正过程不会因饱和区域的影响而趋于停滞，从而使BP学习算法能很快地收敛到期望的精度值．对3-parity问题和Soybean分类问题的仿真实验表明，与目前常用的Delta-bar-Delta方法、加入动量项方法、Prime Offset等方法相比，该方法在不增加算法的复杂度和额外的CPU机时的情况下能更快地收敛到目标精度值．     

基于网格模式搜索的支持向量机模型选择

支持向量机的模型选择问题就是对于一个给定的核函数,调节核参数和惩罚因子C。分析了网格搜索算法和模式搜索算法,通过结合上述两种算法的优点提出了网格模式搜索算法。其核心原理是先用网格算法在全局范围内进行快速搜索,找到最优解的最小区间,再在这个最小区间内用模式搜索算法找到最优解。实验证明,网格模式搜索具有学习精度高和速度快的优点。     

切比雪夫神经网络权值与结构确定及其分类应用

本文提出一种可用于模式分类的新型的单输出切比雪夫(Single-Output Chebyshev-Polynomial)神经网络(简称SOCP网络)。基于SOCP网络,本文进而提出另一种可用于模式分类的多输出切比雪夫(Multi-Output Chebyshev-Polynomial)神经网络(简称MOCP网络)。为避免冗长的迭代学习过程,本文采用权值直接确定法一步获得网络的最优权值。另外,为使网络同时具备较好的拟合和泛化能力,本文提出四折交叉验证法用于确定网络适当的隐层神经元数目。结合权值直接确定法和四折交叉验证法,本文最终提出SOCP网络和MOCP网络相对应的权值与结构确定法。数值实验结果验证了所提出的SOCP网络、MOCP网络以及相对应权值与结构确定法的有效性,并且由该算法所确定的网络在模式分类的应用中具有很高的准确率和很强的鲁棒性。     

基于布谷鸟搜索和深度信念网络的肺部肿瘤图像识别算法

针对深度信念网络（DBN）权值随机初始化易使网络陷入局部最优的问题,在传统DBN模型中引入布谷鸟搜索（CS）算法,提出一种基于CS-DBN的肺部肿瘤图像识别算法。首先,利用CS的全局寻优能力对DBN的初始权值进行优化,并在此基础上进行DBN的逐层预训练;然后,利用反向传播（BP）算法对整个网络进行微调,从而使网络权值达到最优;最后,将CS-DBN应用于肺部肿瘤图像的识别,实验从受限玻尔兹曼机（RBM）训练次数、训练批次大小、DBN隐层层数和隐层节点数四个角度将CS-DBN与传统DBN进行比较,以验证该算法的可行性和有效性。实验结果表明,CS-DBN的识别精度明显高于传统DBN,在不同RBM训练次数、训练批次大小、DBN隐层层数和隐层节点数条件下,CS-DBN较传统DBN识别率提高百分点的范围分别是1.13~4.33、2.00~3.34、1.07~3.34和1.40~3.34。CS-DBN能够在一定程度上提高肺部肿瘤的识别精度,从而提高肺部肿瘤计算机辅助诊断性能。     

基于认知的联想记忆仿真研究

在对联想记忆神经网络的研究中,为提高现有联想记忆网络的存储能力以及相似模式和多值模式的联想成功率,提出了一种新的联想记忆网络。样本模式信息存储在动态权值矩阵中,网络根据不同的输入模式可自适应地调节当前权值矩阵。与传统联想网络相比,输入模式的信息不仅给出了联想记忆的初值,且在联想记忆过程中起到启发式搜索的作用,使网络的存储能力和联想成功率得到较好的改善。尤其可以有效地实现相似模式以及多值模式的联想记忆功能。仿真结果验证了方法的有效性。     

遗传算法同步选择特征和支持向量机参数的网络入侵检测

针对入侵检测系统产生的高维数据和支持向量机参数优化问题,提出一种遗传算法同步选择特征和支持向量机参数的网络入侵检测模型。首先将特征子集和支持向量机参数编码成染色体,将网络入侵检测的分类准确率作为种群个体的适应度值,然后通过遗传算法的全局搜索能力,同步找到对分类算法最有影响的特征组合和支持向量机最优参数,最后采用KDD99数据集进行仿真实验。结果表明,该模型可以快速找到最优特征子集和支持向量机参数,提高了网络入侵检测正确率,是一种较好的网络入侵检测算法。     

极限学习机在机场旅客吞吐量预测中的应用

极限学习机(ELM)是一种新型单馈层神经网络算法,在训练过程中只需要设置合适的隐藏层节点个数,随机赋值输入权值和隐藏层偏差,一次完成无需迭代.结合遗传算法在预测模型参数寻优方面的优势,找到极限学习机的最优参数取值,建立成都双流国际机场旅客吞吐量预测模型,通过对比支持向量机、BP神经网络,分析遗传-极限学习机算法在旅客吞吐量预测中的可行性和优势.仿真结果表明遗传-极限学习机算法不仅可行,并且与原始极限学习机算法相比,在预测精度和训练速度上具有比较明显的优势.     

Massively Parallel Probabilistic Reasoning with Boltzmann Machines

We present a method for mapping a given Bayesian network to a Boltzmann machine architecture, in the sense that the the updating process of the resulting Boltzmann machine model probably converges to a state which can be mapped back to a maximum a posteriori (MAP) probability state in the probability distribution represented by the Bayesian network. The Boltzmann machine model can be implemented efficiently on massively parallel hardware, since the resulting structure can be divided into two separate clusters where all the nodes in one cluster can be updated simultaneously. This means that the proposed mapping can be used for providing Bayesian network models with a massively parallel probabilistic reasoning module, capable of finding the MAP states in a computationally efficient manner. From the neural network point of view, the mapping from a Bayesian network to a Boltzmann machine can be seen as a method for automatically determining the structure and the connection weights of a Boltzmann machine by incorporating high-level, probabilistic information directly into the neural network architecture, without recourse to a time-consuming and unreliable learning process.     

Training Reinforcement Neurocontrollers Using the Polytope Algorithm

A new training algorithm is presented for delayed reinforcement learning problems that does not assume the existence of a critic model and employs the polytope optimization algorithm to adjust the weights of the action network so that a simple direct measure of the training performance is maximized. Experimental results from the application of the method to the pole balancing problem indicate improved training performance compared with critic-based and genetic reinforcement approaches.     

深度学习在农作物图像识别中的应用研究

深度学习在语音识别、视觉识别以及其他领域都引起了很多研究者越来越多的关注.在图像处理领域,采用深度学习方法可以获得较高的识别率.本文以玻尔兹曼机和卷积神经网络作为深度学习的研究模型应用于农业方面,从病虫破坏农作物图像识别的角度,结合上述研究模型,并分别结合不同应用场景对模型进行改进.针对病虫破坏农作物的图像识别采用玻尔...     

基于权值动量的RBM加速学习算法研究

动量算法理论上可以加速受限玻尔兹曼机（Restricted Boltzmann machine,RBM）网络的训练速度.本文通过对现有动量算法进行仿真研究,发现现有动量算法在受限玻尔兹曼机网络训练中加速效果较差,且在训练后期逐渐失去了加速性能.针对以上问题,本文首先基于Gibbs采样收敛性定理对现有动量算法进行了理论分析,证明了现有动量算法的加速效果是以牺牲网络权值为代价的;然后,本文进一步对网络权值进行研究,发现网络权值中包含大量真实梯度的方向信息,这些方向信息可以用来对网络进行训练;基于此,本文提出了基于网络权值的权值动量算法,最后给出了仿真实验.实验结果表明,本文提出的动量算法具有更好的加速效果,并且在训练后期仍然能够保持较好的加速性能,可以很好地弥补现有动量算法的不足.     

基于D H N N 网络的玻尔兹曼机权值计算研究

In recent years, the theory of deep learning is booming again. It is widely used in machine learning, visual recognition and auditory recognition. Boltzmann machine is a typical deep learning neural network. There are many training algorithms for its net- work weights, such as contrast dispersion (CD) algorithm, which is classical. However, the current algorithm cannot accurately ob- tain the expected value of network thermal equilibrium state. Only approximate gradient values can be calculated. At the same time, the algorithm has a large amount of computation and a long running time. In this paper, a method of RBM weight calculation is pro- posed. Firstly, RBM is equivalent to Hopfield network. Then the weight matrix is designed by DHNN weight design method. Final- ly, the RBM weight solving problem is transformed into the eigenvalue and eigenvector problem of DHNN weight matrix. An exam- ple is given to illustrate the calculation process and the correctness of the algorithm is verified by the data.     

正负模糊规则系统、极限学习机与图像分类

传统的图像分类一般只利用了图像的正规则,忽略了负规则在图像分类中的作用。Nguyen将负规则引入图像分类,提出将正负模糊规则相结合形成正负模糊规则系统,并将其用于遥感图像和自然图像的分类。实验证明,其在图像分类过程中取得了很好的效果。他们提出的前馈神经网络模型在调整权值时利用了梯度下降法,由于步长选择不合理或陷入局部最优从而使训练速度受到了限制。极限学习机（ELM）是一种单隐层前馈神经网络（SLFN）学习算法,具有学习速度快,泛化性能好的优点。本文证明了极限学习机与正负模糊规则系统的实质是等价的,遂将其用于图像分类。实验结果说明了极限学习机能很好的利用正负模糊规则相结合的方法对图像进行分类,实验结果较为理想。     

一种基于神经网络的模糊方法研究

模糊系统设计中,模糊规则的建立是系统设计的瓶颈问题。针对这一问题,该文提出了一种用于监督神经网络自动生成模糊规则并实现模糊推理的方法。网络训练分为两个阶段,首先是结构学习,确定系统的规则总数和前提的有关参数;其次是参数学习,即调整权值,使系统输出接近理想输出。仿真实例证明使用该方法建立模糊系统具有较好的效果。     

Study on IAC networks models: learning and stability

This paper presents a methodology that uses evolutionary learning in training ‘A’ model networks, a topology based on Interactive Activation and Competition (IAC) neural networks. IAC networks show local knowledge and processing units clustered in pools. The connections among units may assume only 1, 0 or −1. On the other hand, ‘A’ model network uses values in interval [−1, 1]. This feature provides a wider range of applications for this network, including problems which do not show mutually exclusive concepts. However, there is no algorithm to adjust the network weights and still preserve the desired characteristics of the original network. Accordingly, we propose the use of genetic algorithms in a new methodology to obtain the correct weight set for this network. Two examples are used to illustrate the proposed method. Findings are considered consistent and generic enough to allow further applications on similar classes of problems suitable for ‘A’ model IAC Networks.     

改进粒子群算法对BP神经网络的优化

介绍一种基于改进粒子群算法优化BP网络的权值调整综合方法。该算法在传统BP算法的误差反传调整权值的基础上,引入粒子群算法的权值修正,并且在训练神经网络权值的同时优化其连接结构,删除冗余连接,从而建立了基于粒子群算法优化的BP网络新模型。结果表明,改进算法不仅可以克服传统BP算法收敛速度慢和易陷入局部权值的局限,而且很大程度地提高了结果精度和BP网络学习能力。