循环自构形算法及其在设备故障诊断中的应用

基于随机度和分治思想,提出并实现了前向反馈神经网络中的循环自构形算法,该算法能有效解决自构形算法的收敛不一致问题,将网络收敛到一致的最精简的结构。通过MATLAB实验表明,循环自构形算法可将网络隐层节点数从15和20一致精简到6。将该算法应用于风机的故障诊断中,实践表明该方法具有更有效的故障知识表达性能,能更好地解决故障诊断问题。     

基于互信息的RBF神经网络结构优化设计

以设计最小RBF网络结构为着眼点,提出了一种基于互信息的RBF神经网络结构优化算法.该算法用k近邻统计法估计隐节点输出矩阵与输出节点输出矩阵之间的互信息,获得每个隐节点与输出节点之间的相关性度量,删除相关性最小的隐节点,进而达到优化网络结构的目的.该算法具有自恢复机制,在简化网络结构的同时能有效保证网络的信息处理能力.在人工数据集和真实基准数据集上的仿真实验验证了该算法的有效性与稳定性.     

熵在BP 神经网络修剪算法中的应用

提出了一种基于熵理论的BP 神经网络结构设计修剪算法．其实质是依据Shannon 熵原理,定义神经 网络隐层节点输出的拟熵,该熵与Shannon 熵对不确定性的描述具有相同的效果,但克服了Shannon 熵固有的缺 点．将神经网络实际输出与期望输出的交叉熵和隐节点输出拟熵作为代价函数,并采用熵周期的策略对网络参数进 行寻优,最后通过删除合并隐层神经元达到简化神经网络结构的目的．通过逼近典型非线性函数进行仿真实验,结 果表明,该修剪算法在保证其逼近性能的同时,可以简化BP 神经网络结构．     

自适应前馈神经网络结构优化设计

针对多数前馈神经网络结构设计算法采取贪婪搜索策略而易陷入局部最优结构的问题,提出一种自适应前馈神经网络结构设计算法.该算法在网络训练过程中采取自适应寻优策略合并和分裂隐节点,达到设计最优神经网络结构的目的.在合并操作中,以互信息为准则对输出线性相关的隐节点进行合并;在分裂操作中,引入变异系数,有助于跳出局部最优网络结构.算法将合并和分裂操作之后的权值调整与网络对样本的学习过程结合,减少了网络对样本的学习次数,提高了网络的学习速度,增强了网络的泛化性能.非线性函数逼近结果表明,所提算法能得到更小的检测误差,最终网络结构紧凑.     

ELM网络结构自适应正交搜索算法

由于具有灵活的非线性建模能力和良好的模式识别能力,单隐藏层前馈神经网络(Single Hidden Layer Feedforward Neural Network,SLFN)一直是机器学习和数据挖掘领域关注的焦点.众所周知,网络结构是影响SLFN泛化能力的重要因素之一.给定一个具体应用,如何在训练过程中自动选取最优的隐节点个数,仍是一大挑战.极限学习机(Extreme Learning Machine,ELM)通过随机生成隐藏层节点参数,并利用最小二乘法求解输出层权值的方式来训练SLFN,在一定程度上克服了传统的基于梯度类学习方法收敛速度慢、容易陷入局部最小值等问题.然而,ELM仍需要人为确定隐节点个数,不仅过程繁琐,而且无法保证得到最优或者次优的网络结构.在不影响泛化能力的前提下,为了进一步降低网络的复杂度,本文对ELM进行了改进,通过将网络结构学习转化为子集模型选择,提出了一种隐节点自适应正交搜索方法.首先,利用标准ELM构建隐节点候选池.然后,采用正交前向选择算法选择与网络期望输出相关度最大的候选隐节点加入到模型中.同时,每向前引入一个新的隐节点,就要向后对已选入的隐节点进行逐个检查,将变得不重要的隐节点从网络中删除.最后,设计了一种增强的向后移除策略来纠正前面步骤中所犯的错误,进一步剔除模型内残留的冗余隐节点.本文方法充分考虑了隐节点间的内在联系和相互影响,实验结果表明,该方法不仅具有良好的泛化性能,而且能够产生比较紧凑的网络结构.     

基于敏感度方差重要性的RBF 神经网络结构优化算法

针对RBF 神经网络的结构设计问题, 提出一种基于输出敏感度方差重要性的结构优化算法. 首先, 检验网络隐层节点的输出敏感度在样本集上的方差是否与零有显著差异, 以此作为依据增加或删除相应的隐层节点; 然后,对调整后的网络参数进行修正, 使网络具有更好的拟合精度和收敛性; 最后, 对所提出的优化算法进行仿真实验, 结果表明, 所提出的算法可根据研究对象自适应地调整RBF 的网络结构, 具有良好的逼近能力和泛化能力.

     

基于灰关联和灵敏度的BP网络隐含层结构优化

在优化BP神经网络隐含层结构时,采用灰关联剪枝法是每次删除灰关联度小于灰关联阈值的隐节点,该方法学习时间短,但由于灰关联阈值的选取具有一定的主观性,可能会导致误删节点或不能完全删除冗余节点;而采用灵敏度剪枝法是每次只删除灵敏度最小的一个隐节点,放学习时间较长;因此,提出一种基于灰关联——灵敏度的BP神经网络隐含层结构调整算法;首先在网络前期学习过程中,采用灰关联法对隐含层节点进行"粗删",直到剩余隐节点的灰关联度都大于动态灰关联闽值,然后在网络后期学习过程中,采用灵敏度剪枝法对隐含层节点进行"细删",直到删除后的学习误差增大,则保留该节点,并结束学习;文章将结构优化后的神经网络应用于风电功率预测,仿真结果表明,该方法在满足学习误差要求的同时,不仅精简了神经网络结构,而且避免了灰关联剪枝法中灰关联阈值精确选取困难所带来的问题。     

基于惩罚函数泛化的神经网络剪枝算法研究

神经网络的隐层数和隐层节点数决定了网络规模,并对网络性能造成较大影响。在满足网络所需最少隐层节点数的前提下,利用剪枝算法删除某些冗余节点,减少隐层节点数,得到更加精简的网络结构。基于惩罚函数的剪枝算法是在目标函数后加入一个惩罚函数项,该惩罚函数项是一个变量为网络权值的函数。由于惩罚函数中的网络权值变量可以附加一个可调参数,将单一惩罚函数项泛化为一类随参数规律变化的新的惩罚函数,初始惩罚函数可看作泛化后惩罚函数的参数取定值的特殊情况。实验利用基于标准BP神经网络的XOR数据进行测试,得到隐层节点剪枝效果和网络权值随惩罚函数的泛化而发生变化,并从数据分析中得出具有更好剪枝效果及更优网络结构的惩罚函数泛化参数。     

基于改进自构形学习算法的RBF网络结构优化

RBF网络中的隐层神经元的数目直接影响着整个网络的性能和效率,因而对RBF网络的结构优化是一个非常必要的环节。本文先采用分步式训练构造初始RBF网络,然后利用改进的神经网络自构形学习算法对所构造的RBF网络的隐层进行优化,最后通过实验结果的分析与对比,验证改进的神经网络自构形学习算法对RBF网络优化的有效性。     

粗糙集约简的WNN隐层节点优化方法

在确保网络性能的前提下,如何确定最佳隐层节点,获得最简网络结构是小波神经网络(WNN)应用推广的关键.对此,引入粗糙集理论,提出了基于信息熵的卡方离散化算法和启发式的属性约简递归算法,利用粗糙集约简过程对WNN隐层节点进行精简,并将其应用于飞行器气动力建模.仿真结果表明,采用改进的粗糙集方法设计WNN,不仅能够简化网络结构,而且与未经结构优化的WNN相比,其模型精度和训练速度都得到了实质性改善.     

基于LMBP改进算法的神经网络结构优化

提出了一种基于增长法的神经网络结构优化算法。在函数逼近的BP神经网络中引入一种改进的BP算法(LMBP算法),通过二次误差下降与梯度下降,利用误差变化规律分析网络结构的优化程度,自适应地增加隐层神经元或网络层次,从而得到一个合适的网络结构。进行了仿真实验及该算法与RAN算法用于逼近函数的对比实验,实验结果表明了该算法的有效性。     

基于快速确定隐层神经元数的BP神经网络算法

根据多项式理论构造一种以正交多项式作为隐层神经元激活函数的PP神经网络模型。针对该网络提出一种算法,即一种隐层的激励函数为正交多项式及其神经元数目可快速确定的算法。首先通过数学证明从理论上验证了该算法的有效性。然后利用计算机对该算法进行仿真与校验,并与传统的PP算法进行比较。结果表明该算法不仅突破了传统PP神经网络的局限性,如收敛速率慢、最佳隐神经元数难确定等,而且能够达到更高的工作精度,从而从实验上验证了该算法的有效性。     

基于半监督学习的动态神经网络结构设计

针对神经网络初始结构的设定依赖于工作者的经验、自适应能力较差等问题,提出一种基于半监督学习(SSL)算法的动态神经网络结构设计方法。该方法采用半监督学习方法利用已标记样例和无标记样例对神经网络进行训练,得到一个性能较为完善的初始网络结构,之后采用全局敏感度分析法(GSA)对网络隐层神经元输出权值进行分析,判断隐层神经元对网络输出的影响程度,即其敏感度值大小,适时地删减敏感度值很小的神经元或增加敏感度值较大的神经元,实现动态神经网络结构的优化设计,并给出了网络结构变化过程中收敛性的证明。理论分析和Matlab仿真实验表明,基于SSL算法的神经网络隐层神经元会随训练时间而改变,实现了网络结构动态设计。在液压厚度自动控制(AGC)系统应用中,大约在160 s时系统输出达到稳定,输出误差大约为0.03 mm,与监督学习(SL)方法和无监督学习(USL)方法相比,输出误差分别减小了0.03 mm和0.02 mm,这表明基于SSL算法的动态网络在实际应用中能有效提高系统输出的准确性。     

基于神经网络的自动售货机销量预测

采用神经网络理论对罐装饮料自动售货机销售额的预测进行了数学建模,采用BP神经网络实现了罐装饮料自动售货机销售额的预测,并通过隐层神经元和输入层神经元个数的确定以及训练算法性能对比验证了所设计模型和方法的可行性和有效性,为罐装饮料自动售货机的管理工作提供了一种新的方法.     

基于粗糙集遗传神经网络的柴油机故障诊断

提出一种基于粗糙集和遗传算法的BP神经网络故障诊断方法,解决基本BP网络收敛速度慢、精度低、易陷入局部极小值问题.运用粗糙集理论对训练样本进行属性约简,简化BP网络输入维数.设计2次遗传算法训练BP网络,第一次优化神经网络隐含层节点个数,第二次在神经网络结构确定的情况下,优化网络连接权值.以柴油机进、排气阀故障为例,应用提出的方法进行仿真,仿真结果证明了该方法能够优化神经网络结构,提高故障诊断速度和准确率.     

基于LM算法的神经网络语音识别

由于语音识别中朵用标准BP算法存在的训练速度慢、容易陷入局部极小等问题，提出一种基于稳定、快速的Levenberg-Marquardt算法的神经网络语音识别方法，主要包括语音信号预处理、特征提取、网络结构优化设计、网络学习训练和语音识别等过程。其中网络隐含层节点数的选取采用黄金分割优选法。试验仿真表明，LM算法明显提高了网络训练速度，减少了训练时间，其效果优越于标准BP算法。     

二阶神经网络映射能力的研究

本文讨论了二阶神经网络的映射能力。主要内容包括：（１）从理论上严格地证明了二阶神经网络能以任意精度逼近任意连续函数。（２）给出二阶神经网络的ＢＰ算法。（３）模拟实验结果。模拟实验表明：在中间隐层单元数目相同的条件下，二阶神经网络的误差函数比一阶神经网络下降得快；在误差精度相同的条件下，二阶神经网络的隐层单元数目远比一阶神经网络少。     

基于快速密度聚类的RBF神经网络设计

针对径向基函数（radial basis function,RBF）神经网络隐含层结构难以确定的问题,提出一种基于快速密度聚类的网络结构设计算法。该算法将快速密度聚类算法良好的聚类特性用于RBF神经网络结构设计中,通过寻找密度最大的点并将其作为隐含层神经元,进而确定隐含层神经元个数和初始参数;同时,引入高斯函数的特性,保证了每个隐含层神经元的活性;最后,用一种改进的二阶算法对神经网络进行训练,提高了神经网络的收敛速度和泛化能力。利用典型非线性函数逼近和非线性动态系统辨识实验进行仿真验证,结果表明,基于快速密度聚类设计的RBF神经网络具有紧凑的网络结构、快速的学习能力和良好的泛化能力。     

基于权值与结构确定法的单极Sigmoid神经网络分类器

构造了以单极Sigmoid函数作为隐层神经元激励函数的神经网络分类器,网络中输入层到隐层的权值和隐层神经元的阈值均为随机生成。同时,结合利用伪逆思想一步计算出隐层和输出层神经元之间连接权值的权值直接确定(WDD)法,进一步提出了具有边增边删和二次删除策略的网络结构自确定法,用来确定神经网络最优权值和结构。数值实验结果表明,该算法能够快速有效地确定单极Sigmoid激励函数神经网络分类器的最优网络结构; 分类器的分类性能良好。