快速和高精度的前馈网络学习算法

本文针对三层前馈网络提出一种全新的学习算法,该法克服了传统ＢＰ算法因用梯度下降和误差逆向传播而拖慢收敛速度及易陷于局部极小的缺点。所提出的算法是代数型的,计算复杂度为多项式阶。文中给出的一个非线笥时间序列训练算例表明：新算法较ＢＰ算法在计算精度和速度方面均有大幅度提高,在网络规模变大时此算法的优点尤为明显。     

前馈型神经网络容错性研究的现状和展望

本文首先明确具体地给出了前馈型神经网络容错性的基本概念及其研究内容，进而系统地对前馈网络容错性研究的各种分析和设计方法进行了简要的介绍和评述，最后提出了前馈网络容错性有待进一步研究的若干主要问题。     

通用前馈网络及排序学习前向掩蔽模型在模式识别中的应用

本文讨论了不分层的通用前馈网络，并提出了一种作为模式分类器的排序学习前向掩蔽模型及其算法。     

基于改进共轭梯度法的前馈网络快速监督学习算法

为了提高多层前馈神经网络的权参数的学习效率,通过引入改进的求解大规模线性方程组的共轭梯度法,提出一种新的基于LM的前馈网络学习算法.该算法不仅具有LM优化学习方法的快速收敛特性,而且降低了LM法的计算复杂度,可获得比其它标准算法更好的学习精度和推广预测能力.文中通过仿真结果证明了新算法在函数逼近和时间序列预测等问题环境下的有效性.     

前馈型神经网络容错性研究的现状和展望

本文首先明确具体地给出了前馈型神经网络(以下简称前馈网络)容错性的基本概念及其研究内容,进而系统地对前馈网络容错性研究的各种分析和设计方法进行了简要的介绍和评述。最后提出了前馈网络容错性有待进一步研究的若干主要问题。     

一种前馈神经网络的快速学习算法

本文提出一种前馈神经网络的快速学习算法。与传统的BP方法相比,本算法有两个改进之处,一是同时将网络的非线性输出误差与线性输出误差作为待优化的目标函数,二是改进了学习过程中误差的反向传播因子。仿真结果表明,使用本文的算法训练前馈神经网络,计算复杂度略高于BP算法,但学习速度却有显著的提高。     

基于深度前馈网络的深度学习模型在XOR函数中的应用

文章首先介绍了前馈网络的基本原理。然后通过一个XOR小例子讨论部署一个前馈网络所需的每个设计决策。最后去面对那些只出现在前馈网络中的设计决策。     

前馈神经网络的一种有效学习算法

本文提出了基于混合ＧＮ－ＢＦＧＳ法进行前馈神经网络学习的新算法，该算法结合ＧＮ法与ＢＦＧＳ法的特点，既利用了问题本身的特殊结构，又能取得超线性甚至二次渐近收敛率。与ＢＰ算法相比，这种算法可取得更快和更可靠的学习特性，在学习过程中利用该方法能够区分非零残量和零残量问题的特点，提出了自动调整隐单元数的方法，从而可以保证网络学习与归纳能力，示例系统的结果表明了所提方法的有效性。     

前馈型神经网络中隐藏层神经元的研究

本文采用前馈型神经网络及BP算法对3种飞机模型的复合畸变不变性识别进行了研究。结合以前用级联神经网络及聚类编码方法对同一问题的研究结果,对神经网络的隐藏层神经元的个数及其对识别率及权重训练的影响进行了研究,提出了减少隐藏层神经元的一种方法,以简化识别网络的结构。     

关于外监督学习前馈网络全局优化的理论

本文研究了批方式和序贯方式训练的外监督前馈网络的全局最小条件。对于序贯训练方式,我们证明在其对应误差表面上总是存在Ｎ（训练样本个数）个局部最小点;对于批处理训练方式,我们证明网络获得零代价全局最小解的充要条件的充分条件是,隐节数Ｍ大于或等于非吻合的样本数Ｎ。并且证明,在满足上面充要（分）条件下,所定义的误差代价函数对应的误差表面上不存在除零代价以外的任何局部最小值。进一步推知,若Ｃ≤Ｍ〈Ｎ（Ｃ为输     

一种动态筛选样本的前向神经网络快速学习算法

从理论上讨论了一类隐含层激励函数满足Mercer条件的前向神经网络学习问题,分析了提高网络学习速度的途径,提出了一种动态筛选样本的前向神经网络快速学习算法。它大大提高了网络学习速度,克服了传统的基于梯度下降的网络学习方法存在的诸多弊端。算法还具有动态确定隐含层神经元数的自构性优点。文中通过具体数值试验验证了上述算法的可行性和优越性。     

前馈神经网络的代价函数全局最小值分析

本文首次从理论上给出了三层前馈神经网络代价函数全局最小值的计算公式.这一计算公式在网络训练之前就可根据已知的目标样本和隐层神经元个数来确定网络代价函数的全局最小值.并指出代价函数全局最小值髓隐层神经元个数的增加而单调减小.当隐层神经元个数不小于样本个数时,网络的代价函数全局最小值将等于零.     

Analog VLSI Implementation of Artificial Neural Networks with Supervised On-Chip Learning

Analog VLSI on-chip learning Neural Networks represent a mature technology for a large number of applications involving industrial as well as consumer appliances. This is particularly the case when low power consumption, small size and/or very high speed are required. This approach exploits the computational features of Neural Networks, the implementation efficiency of analog VLSI circuits and the adaptation capabilities of the on-chip learning feedback schema.Many experimental chips and microelectronic implementations have been reported in the literature based on the research carried out over the last few years by several research groups. The author presents and discusses the motivations, the system and circuit issues, the design methodology as well as the limitations of this kind of approach. Attention is focused on supervised learning algorithms because of their reliability and popularity within the neural network research community. In particular, the Back Propagation and Weight Perturbation learning algorithms are introduced and reviewed with respect to their analog VLSI implementation.Finally, the author also reviews and compares the main results reported in the literature, highlighting the efficiency and the reliability of the on-chip implementation of these algorithms.     

一种基于逐维扩展的前向网络训练方法

前向网络的快速训练问题是前向网络研究的一个非常重要的课题。本文针对一类n-维超立方体的分类问题（当为二分类问题时，这实际上是一个n-维Boole函数的神经网络实现问题），提出了一种基于逐维扩展的前向网络快速训练方法，将一个n个输入的大网络的各权训练问题转化为小网络逐维递归的扩展部分的参数训练问题，提高了网络训练的速度，实验结果表明了这种训练方法的有效性和可行性。     

关于前馈网络分类器隐层单元变换特性的研究

本文研究了线性与非线性前馈网络隐层单元的变换特性,深刻揭示了线性怀非线性网络用于信息表示的机理,证明线性网络的隐输出模式是相关的,而非线性网络的隐输出模式是不相关的,并就非线性网络突破性网络的“瓶颈”行为,给出一个定理,最后,以三元奇偶问题为偶,给出有关实验结果。     

脉冲神经网络的监督学习算法研究综述

脉冲神经网络是进行复杂时空信息处理的有效工具,但由于其内在的不连续和非线性机制,构建高效的脉冲神经网络监督学习算法非常困难,同时也是该研究领域的重要问题.本文介绍了脉冲神经网络监督学习算法的基本框架,以及性能评价原则,包括脉冲序列学习能力、离线与在线处理性能、学习规则的局部特性和对神经网络结构的适用性.此外,对脉冲神经网络监督学习算法的梯度下降学习规则、突触可塑性学习规则和脉冲序列卷积学习规则进行了详细的讨论,通过对比分析指出现有算法存在的优缺点,并展望了该领域未来的研究方向.     

基于非监督权值预学习加速网络的训练

本文提出一种基于非监督学习的Ｏｊａ规则和有监督学习的ｄｅｌｔａ规则的快速学习算法．用改进后的结构和学习方法初始化前馈神经网络的权值；使该算法性能显著提高．最后本文通过仿真实例验证了该方法．     

基于有监督主题模型的排序学习算法

文档表示是排序学习的关键,目前的排序学习算法多采用词袋法表示文档与查询,该方法假设词袋中的词相互独立,忽略了词之间的关系.为了表示文档中词之间的依赖关系,本研究利用文档与查询的主题特征构建排序学习模型,我们将排序函数定义为文档与查询之间的主题关系,提出了基于有监督主题模型的排序学习算法自动学习排序函数.为了评价模型的排序精度,我们在三个标准数据集(OHSUMED,MQ2007,MQ2008)上进行了实验.实验表明基于主题的排序学习算法能够发现文档与查询之间内在的语义关联,并改善排序模型的排序精度.