前向网络学习算法：学习速率矩阵法

本文针对前向网络ＢＰ算法存在的收敛工慢，数值稳定性较差，网络学习困难等主要缺陷，提出用非线性优化理论中的ＢＦＧＳ方法的构造学习速率阵，以替代原来的学习速率常数，并且输入一组样本改变一次权值向量。从而使网络训练时收敛速度极快，数值稳定性好且算法易并行化。文中对ＬＲＭ，ＢＰ，改进ＢＰ算法的收敛性，数值稳定性，计算复杂度等进行了讨论。对异或（ＸＯＲ）问题和六位进制数对称性判别问题进行了仿真比较，结果表明     

粒子群优化算法在训练前向神经网络中的应用

笔者对用PSO训练前向神经网络做了研究,提出了用PSO算法训练前向神经网络的新方法,并通过算例和BP算法做了比较,实验结果说明了本文算法的有效性.     

一种前向神经网络训练算法的改进

针对前向神经网络（FNN）现有BP学习算法的缺点──收敛速度缓慢、容易陷入局部极小,提出一种快速、全局优化、简单通用的前向神经网络训练算法。这种方法将改进BP算法中的动量项由常量改换为一类关于常量的非线性函数。利用非线性特性,优化过程中能遍历局部极小,同时又具有突跳特性。结合升温策略,该算法在优化精度和网络训练速度两方面均有较大改善。通过对典型算例──异或问题的仿真,验证了算法的有效性和可行性。     

基于变尺度法的前向神经网络混沌学习算法

混沌神经网络是近来发展起来的一门新的学科,由于具有混沌特性的人工神经网络具有十分复杂的动力学特性,获得了广泛的研究,针对BP学习算法的不足,将混沌映射与变尺度法相结合,给出多层前馈神经网络的一种混沌学习算法.仿真结果表明,算法效果良好.     

一种三层前向网络参数的解析计算方法

介绍了用解析法计算三层前向网络参数的方法，给出了一个三层前向网络准确记忆给定样本所需隐层节点个数的充分条件，也可用解析法计算的参数作为ＢＰ等算法的训练初值，仿真结果说明这种方法是有效的。     

多层神经网络学习算法的研究

在样本的学习过程中引入了求解复杂优化问题比较有效的多级优化技术，将一个复杂的多层神经网络权值优化问题分解成多个相对简单的优化子问题，然后利用迭代的策略进行求解，并提出了一种改进的ＢＰ算法，提高了学习效率。     

基于PID神经网络的控制器研究

提出了一种基于PID神经网络的控制方法，给出了控制器的结构形式，分析了网络中采用附加动量项的BP学习算法，并利用MATLAB软件对带时滞的一阶对象进行了仿真，其仿真结果表明，该方法具有响应快，超调小，无静差等特点。     

一种避免前向网络学习算法局部极小问题的方法

现有前向网络学习算法不可避免地存在局部极小问题，本文提出了一种避免局部极小问题的方法．这一方法从寻找全局极小点的思路出发，将全局优化方法运用于前向网络学习算法，只需在原来学习算法中加入一个由全局优化方法形成的初值点选择模块，以选择好的初始权使，从而自动地避免了局部极小问题的发生．文中用二种确定型方法和一种随机型方法对六位二进制码对称性判别问题进行了仿真实验，结果表明，确定型方法在权向量的维数低时效果优于随机型方法；但当权向量的维数较高时，随机型方法由于可采用并行算法以及该方法的自身特点，所以是有效的，而确定型方法却无效．     

前向神经网络在图论码译码中的应用

构造了两个分别用于图论码的硬判决译码和软判决译码的前向神经网络,并证明所构造的前向神经网络能够实现图论码的最小汉明距离译码和最小软距离译码。最后给出采用所构造的前向神经网络进行一个图论码的硬判决译码和软判译码的计算机模拟结果。     

一种BP神经网络的学习算法及其改进

本文详细推导了典型ＢＰ神经网络学习算法,并给出了一种基于动量和学习速率自适应调整的虎法。仿真结果表明,改进算法的学习速度和收敛性得到了明显的提高。     

一种高效二进前馈神经网络学习算法

为解决二进前馈神经网络(BFNN)缺乏高效实用学习算法的问题,提出一种新的融合自适应调节结构和权值的BFNN学习算法.该算法借鉴并改进了极限学习机(ELM)方法,可以高效地训练单隐层的BFNN来解决分类问题.为了满足网络的训练精度,算法可以自动增加隐层神经元个数和调节网络隐层及输出层神经元权值;同时为了提高网络的泛化精度,算法通过建立二进神经元敏感性作为度量隐层神经元重要性的尺度,自动地裁剪重要性小的神经元,并对裁剪损失的信息进行补偿.实验结果验证了该算法在处理离散分类问题时的可行性和有效性.     

提高前馈神经网络学习效率的学习算法探讨

简要分析了最速下降法（Ｓｔｅｅｐｅｓｔ Ｄｅｓｃｅｎｔ Ａｌｇｏｒｉｔｈｍ ,即ＳＤＡ 法）和正交校正共轭梯度法（ＣＧＭ－ＯＣ法）的优缺点,提出了一种进行多层前馈神经网络学习的新算法,即ＳＤ－ＣＧＭ－ＯＣ算法．该算法结合最速下降法与正交校正共轭梯度法的特点,在文中所述实际问题构造模型的基础上,论证了ＳＤ－ＣＧＭ－ＯＣ算法比传统的ＢＰ算法具有更高的学习效率和二次收敛率．实验结果验证了该学习算法的有效性．     

Fuzzy logic systems are equivalent to feedforward neural networks

Fuzzy logic systems and feedforward neural networks are equivalent in essence. First, interpolation representations of fuzzy logic systems are introduced and several important conclusions are given. Then three important kinds of neural networks are defined, i.e. linear neural networks, rectangle wave neural networks and nonlinear neural networks. Then it is proved that nonlinear neural networks can be represented by rectangle wave neural networks. Based on the results mentioned above, the equivalence between fuzzy logic systems and feedforward neural networks is proved, which will be very useful for theoretical research or applications on fuzzy logic systems or neural networks by means of combining fuzzy logic systems with neural networks.     

前馈式神经网络的最小二乘学习算法

通过对 Sigmoid 函数求逆,把非线性极值问题转化为线性方程组来处理,巧妙地避开了梯度,从而可以克服 BP 算法的一些缺点,提高了算法的收敛速度.同时采用最小二乘法来求解方程组,进一步提高了收敛速度.算法的计算过程为每次处理一个节点的所有前一层连接权,轮换处理,直到收敛到最小点.     

前馈式神经网络的最小二乘学习算法

通过对Sigmoid函数求逆，把非线性极值问题转化为线性方程组来处理，巧妙地避开了梯度，从而可以克服BP算法的一些缺点，提高了算法的收敛速度．同时采用最小二乘法来求解方程组，进一步提高了收敛速度．算法的计算过程为每次处理一个节点的所有前一层连接权，轮换处理，直到收敛到最小点．     

一种快速有效的神经网络新算法

基于输出层函数为线性函数的层前馈神经网络,结合自适应步长和动量解耦的伪牛顿算法及迭代最小二乘法导出了一种混合算法。伪真证明该混合算法自适应能力强,计算量小,收敛速度快,是一种有效的工程实用算法。     

用于模式识别的前馈式神经网络区域映射模型

提出了一种新的用于模式识别问题的前馈式神经网络模型－区域映射模型。该模型将输出空间每一类的特征参数区域映射成输出空间中对应的一个区域。模型具有训练和实际应用中分类标准相一致的性质,使模式识别分类更为合理和自然,相应的误差函数的改变可以加快网络的训练速度。     

基于遗传-BP神经网络预测单桩竖向承载力

在遗传算法改进BP神经网络的基础上,利用遗传算法的全局优化能力和BP神经网络的较强的高次非线性能力和自学习能力,建立预测单桩竖向承载力的遗传—BP神经网络模型。通过利用济南地区现场试桩资料对该模型进行训练和检验,证明本文所建立的遗传—BP神经网络预测模型预测精度高,适用性强,可以作为桩基工程设计和理论研究的参考计算工具。     

油漆调色系统的改进算法

根据现有CAID系统中色彩设计和色彩生产难以协调统一的问题以及油漆厂的实际需求，在原有的“基于神经网络的油漆调色系统”基础上，创建了BP网络样本数据库，找到了一种适用于实际应用的有效的BP改进算法。研究测试的结果表明，BP改进算法能够弥补原有算法精度速度不够理想的不足，解决了电脑调色的问题。     

正交投影神经网络的BP和GS杂交学习算法

主要讨论具有单隐层的正交投影神经网络的权值和阈值的学习问题,提出了一种新的将BP算法和GS算法相结合的杂交学习算法,其中GS算法对隐层到输出层的权值和阈值进行学习,BP算法用于输入层到隐层权值的学习,并给出一种最佳的隐层节点数的选取方法．仿真实验表明,该杂交学习算法具有学习速度快且能获得全局最优解的特点,并可有效地对学习过程中出现的病态情况进行求解,具有良好的普适性。