一种新的对角回归神经网络快速学习算法

提出一种新的动态对角回归神经网络学习算法－局部动态误差反传算法（LDBP），该算法定义了一种新的局部均方差函数，并为回归单元建立一种新的学习结构。如果估计出各层的期望输出值，多层回归网络便可分解成一组自适应单元（Adaline），而每个单元可通过二次优化方法进行训练。采用可在有限步人找出全局最优解的共轭梯度法（CG）进行寻优。由于学习过程采用超线性搜索，大大减少了循环步数和计算时间。     

基于FP算法的AVE局部模型划分

局部模型的划分是简化敏捷虚拟企业（Agile Virtual Enterprise，AVE）决策问题的重要方法，划分结果可能直接影响到敏捷虚拟企业的建立方式、AVE模型的优化以及合作伙伴的选择等。为了很好地完成AVE局部模型的划分问题，提出一种基于多层反馈神经网络的局部模型划分方法。该方法采用三层网络结构，各层完成指定的任务，第一层完成各输入向量的相似度是否大于给定值的判别；第二层则将相似度大于给定值的输入向量映射到同一类值，从而完成预分类；再利用反馈网络的反馈作用完成最后的分类。其结构清晰、分类灵活、学习的复杂性最低且网络的性能良好。     

利用人工神经网络SNC进行最优励磁控制

BP神经网络是一种多层结构的映射网络。由于它计算简单、存储量小，并具有分布并行处理特性，所以是目前应用最广的一种模型。本文设计了一种BP神经网络的监督学习控制器（SNC），在线性最优励磁控制的基础上，利用3层BP神经网络对柴油发电机的控制过程进行监督学习。通过对网络的训练，使其能达到实时控制的目的。仿真结果表明，所设计的SNC在系统运行方式较大的变化范围内，都能提供很好的控制性能。     

基于事例的推理中相似事例选择的神经网络方法

在基于事例的推理（CBR）系统中，为解决采用最相邻近法选择相似事例时属性权值不易确定的问题，提出事例的前提相似度和结论相似度的概念，并采用一种人工神经网络结构进行属性权值的学习． 该方法从事例库中自动获取属性权值，并用最相邻近法和学习到的属性权值进行相似事例选择．最后，在光动力治疗（PDT）鲜红斑痣（PWS）的临床病例库中应用该方法进行了试验．     

多层前馈式神经网络的HJPS训练算法

根据优化理论中的Hooke—Jeeves模式搜索（pattern search）法提出了多层前馈式神经网络快速训练算法HJPS．该算法由“探测搜索”和“模式移动”两个步骤交替进行．其基本思想是探测搜索依次沿各个坐标轴进行,用以确定新的基点和有利于网络误差函数值下降的方向．模式移动沿相邻两个基点的连线方向前进,从而进一步减小误差函数值,达到更快收敛．实验结果表明,同BP算法以及其他几种快速算法相比,HJPS算法在收敛速度和运算时间上都有非常显著的提高．同时HIPS算法的泛化能力很强．     

多层前馈神经网络的学习和综合算法

本文提出多层前馈网络的一种新的学习和综合算法──ＦＰ算法，并证明由此算法得到的网络作为通用联想记忆器时，具有如下优点：（１）每个样本都是吸引中心；（２）每个样本的吸引半径达到最大值；（３）网络没有假吸引中心；（４）网络具有最少的元件个数；（５）学习的复杂性达到最优（就其复杂性的阶而言）．故此网络在性能、结构、计算复杂性等方面均达到很好状态．     

多层前向网络的随机学习新算法及其工业应用

多层前向网络的随机学习新算法及其工业应用戴连奎马龙华李晓东（浙江大学工业控制技术研究所杭州３１００２７）关键词多层前向网络，学习算法，催化裂化装置．收稿日期１９９５－０３－３１１引言许多复杂的工业过程建模问题，如系统辨识、参数估计与函数逼近等，都可转...     

一种基于MRⅡ算法的三层二值双向联想记忆网络

传统的两层二值双向联想记忆(BAM)网络因其结构的限制存在着存储容量有限、区分小差别模式和存储非正交模式能力不足的缺陷,结构上将其扩展至三层网络是一个有效的解决思路,但是三层二值BAM网络的学习是一个难题,而三层连续型BAM网络又存在处理二值问题不方便的问题。为了解决这些问题,提出一种三层结构的二值双向联想记忆网络,创新之处是采用了二值多层前向网络的MRⅡ算法实现了三层二值BAM网络的学习。实验结果表明,基于MRⅡ算法的三层二值BAM网络极大地提高了网络的存储容量和模式区分能力,同时保留了二值网络特定的优势,具有较高的理论与实用价值。     

多变量自适应PID型神经网络控制器及其设计方法

提出一种PID型神经网络控制器（PID-like Neural Network Controller，PIDNNC）及其设计方法．基于PID的简单结构和良好性能优势以及神经网络的自调节和自适应的特长，创建一种具有PID结构的多变量自适应的PID型神经网络控制器．该网络控制器的隐含层由带有输出反馈和激活反馈的混合局部连接递归网络组成．通过定义误差函数作为设计目标，采用弹性BP算法，并用变化率以及弹性BP算法中的符号法来处理某些求导关系，获得适于实时在线调整网络权值的修正公式．根据李亚普诺夫稳定性定理推导出确保控制系统稳定的学习速率的取值范围．最后通过实例进一步说明所提出网络控制器的优越性．     

一种适用于B-HIVE多机系统的并行排序算法

本文提出了一种将M个单一分布的元素在B一HIVE多机系统上进行排序的算法。B一HIVE多机系统是一个以ALPHA结构为互连网络的, 由N个处理机构成的多机系统。该算法是上升算法与顺序排序算法的综合应用,其时间复杂度为:将该算法同应用在以CCC（Cube-connected lgcles）为互连网的多机系统上的, 与所谓最有效的排序算法相比, 本文所提出的算法具有较好的时间复杂度。     

多层前向神经网络的快速学习算法及其应用

针对目前多层前向神经网络学习算法存在的不足，提出一种多层前向神经网络的快速学习算法，它不仅符合生物神经网络的基本特征，而且算法简单，学习收敛速度快，具有线性，非线性逼近精度高等特性，以二杆机构手逆运动学建模作为应用实例，仿真结果表明该方法是有效的，其算法与收敛速度更优于BP网络。     

语音增强与检测的多任务学习方法研究

在许多语音信号处理的实际应用中，都要求系统能够低延迟地实时处理多个任务，并且对噪声要有很强的鲁棒性。针对上述问题，提出了一种语音增强和语音活动检测（Voice Activity Detection，VAD）的多任务深度学习模型。该模型通过引入长短时记忆（Long Short-Term Memory，LSTM）网络，构建了一个适合于实时在线处理的因果系统。基于语音增强和VAD的强相关性，该模型以硬参数共享的方式连接了两个任务的输出层，不仅减少了计算量，还通过多任务学习提高了任务的泛化能力。实验结果表明，相较串行处理两个任务的基线模型，多任务模型在语音增强结果非常相近、VAD结果更优的情况下，其速度快了44.2%，这对于深度学习模型的实际应用和部署将具有重要的意义。     

半监督属性网络表示学习方法

网络表示学习是一个重要的研究课题,其目的是将高维的属性网络表示为低维稠密的向量,为下一步任务提供有效特征表示。最近提出的属性网络表示学习模型SNE（Social Network Embedding）同时使用网络结构与属性信息学习网络节点表示,但该模型属于无监督模型,不能充分利用一些容易获取的先验信息来提高所学特征表示的质量。基于上述考虑提出了一种半监督属性网络表示学习方法SSNE（Semi-supervised Social Network Embedding）,该方法以属性网络和少量节点先验作为前馈神经网络输入,经过多个隐层非线性变换,在输出层通过保持网络链接结构和少量节点先验,学习最优化的节点表示。在四个真实属性网络和两个人工属性网络上,同现有主流方法进行对比,结果表明本方法学到的表示,在聚类和分类任务上具有较好的性能。     

采用同伦BP算法进行多层前向网络的训练

本文把同伦论中零点路径跟踪的概念推广到多层前向网络能量函数极小点路径的跟踪，从而提出多层前向网络一种新的训练方法－同伦ＢＰ算法（包括教师同伦和输入同伦），并且分析了其收敛性性质。结合异或问题和由部分信息重建完整信号所作仿真计算，证明此方法在收速度和避免陷入局部极小的能力上均明显地优于常规ＢＰ算法，体现了人类认识事物时所遵循的由简到繁、循序渐进的原则。     

自组织前向神经网络与非线性动态系统模化

将自组织学习过程引入到前向网络的训练中,提出了一种新的三层前向神经网络的训练方法,训练过程首先利用自组织分族算法确定隐含层结点的数目以及权值,然后通过求解线性最小二乘问题估计输出层权值,自组织过程产生的激活权值对输入数据具有一种特征变换的功能,利用该方法训练的网络可以称之为自组织前向网络（ＳＯＦＮ）。文中通过实际非线性动态系统建模的例子,说明了ＳＯＦＮ网络具有良好性能。     

CNN-BiGRU网络中引入注意力机制的中文文本情感分析

传统卷积神经网络（CNN）中同层神经元之间信息不能互传，无法充分利用同一层次上的特征信息，缺乏句子体系特征的表示，从而限制了模型的特征学习能力，影响文本分类效果。针对这个问题，提出基于CNN-BiGRU联合网络引入注意力机制的模型，采用CNN-BiGRU联合网络进行特征学习。首先利用CNN提取深层次短语特征，然后利用双向门限循环神经网络（BiGRU）进行序列化信息学习以得到句子体系的特征和加强CNN池化层特征的联系，最后通过增加注意力机制对隐藏状态加权计算以完成有效特征筛选。在数据集上进行的多组对比实验结果表明，该方法取得了91.93%的F1值，有效地提高了文本分类的准确率，时间代价小，具有很好的应用能力。     

切比雪夫神经网络权值与结构确定及其分类应用

本文提出一种可用于模式分类的新型的单输出切比雪夫(Single-Output Chebyshev-Polynomial)神经网络(简称SOCP网络)。基于SOCP网络,本文进而提出另一种可用于模式分类的多输出切比雪夫(Multi-Output Chebyshev-Polynomial)神经网络(简称MOCP网络)。为避免冗长的迭代学习过程,本文采用权值直接确定法一步获得网络的最优权值。另外,为使网络同时具备较好的拟合和泛化能力,本文提出四折交叉验证法用于确定网络适当的隐层神经元数目。结合权值直接确定法和四折交叉验证法,本文最终提出SOCP网络和MOCP网络相对应的权值与结构确定法。数值实验结果验证了所提出的SOCP网络、MOCP网络以及相对应权值与结构确定法的有效性,并且由该算法所确定的网络在模式分类的应用中具有很高的准确率和很强的鲁棒性。     

增量型极限学习机改进算法

增量型极限学习机（incremental extreme learning machine,I-ELM）在训练过程中,由于输入权值及隐层神经元阈值的随机获取,造成部分隐层神经元的输出权值过小,使其对网络输出贡献小,从而成为无效神经元．这个问题不但使网络变得更加复杂,而且降低了网络的稳定性．针对此问题,本文提出了一种给I-ELM隐层输出加上偏置的改进方法（即Ⅱ-ELM）,并分析证明了该偏置的存在性．最后对I-ELM方法在分类和回归问题上进行仿真对比,验证Ⅱ-ELM的有效性.     

自适应RBF-LBF串联神经网络结构与参数优化方法

研究了前向单层径基函数(RBF)网络和前向单层线性基本函数(LBF)网络的分类机理，提出了RBF的中心和宽度应通过学习自动确定，在学习过程中根据错分样本被错分入的类别自动生成新的核函数这一观点．如果两个或两个以上核函数属于同一类，在输入空间相距较近且未被其它类别的样本分隔开来的情况下，则应考虑将之合并，或者使它们的作用区域部分重叠．从理论上阐明了采用Sigmoid活化函数的单层感知器的分类阈值为0．5，进而提出了由单层RBF网络和单层感知器组成的串联RBF—LBF神经网络．文中详细给出了确定该串联RBF—LBF神经网络结构、核函数个数、位置与宽度的优化算法．一般来说，该算法的计算复杂性比前向单隐层感知器采用的误差反传算法要小或至少相当．对几个经典的模式分类难题的处理结果表明，与一般RBF网络和前向单隐层感知器网络相比，该串联RBF—LBF网络及其自适应学习算法具有收敛速度快，分类精度高，易于得到最小结构，在学习过程中不易陷入局部极小点等优点，有利于实现实时分析．实验结果同时也验证了单层LBF网络对提高RBF—LBF网络分类正确率的重要性．     

基于IRBF神经网络在高压断路器故障诊断中的研究

提出一种基于免疫算法的改进学习算法（IRBY）。该算法将输入数据作为抗原,网络的隐层中心点作为抗体,运用免疫算法得到多样性的抗体记忆集合即为隐层网络的中心点,避免网络隐层中心点难求的问题．然后采用梯度下降法确定权值,用训练好的网络进行高压断路器机械故障诊断。仿真结果表明,该方法对高压断路器的机械振动信号的分析,有很好的应用价值。