多层前向神经网络结构的研究进展*

本文综述了的牢来多层前向神经网络结构的研究进展，总结了多怪前向网络结构调整的各种方法，并对各种方法进行了比较分析，最后提出了若干研究的问题。     

多层前向网络的随机学习新算法及其工业应用

多层前向网络的随机学习新算法及其工业应用戴连奎马龙华李晓东（浙江大学工业控制技术研究所杭州３１００２７）关键词多层前向网络,学习算法,催化裂化装置．收稿日期１９９５－０３－３１１引言许多复杂的工业过程建模问题,如系统辨识、参数估计与函数逼近等,都可转...     

多层动态前向网络在油田系统预测中的应用

针对油田系统常规的建模和动态预测方法的局限性,采用多层动态前向网络作为油田系统的辨识模型,研究了多层动态前向网络预测模型与预测技术.分析了递推预报误差学习算法的不足之处,提出了改进方案,提高算法的性能,从而更新了油田系统建模和预测方法.新方案在油田开发动态指标预测应用中,取得了很好的效果,表明本文方法的有效性.     

多元多项式函数的三层前向神经网络逼近方法

该文首先用构造性方法证明:对任意r阶多元多项式,存在确定权值和确定隐元个数的三层前向神经网络.它能以任意精度逼近该多项式.其中权值由所给多元多项式的系数和激活函数确定,而隐元个数由r与输入变量维数确定.作者给出算法和算例,说明基于文中所构造的神经网络可非常高效地逼近多元多项式函数.具体化到一元多项式的情形,文中结果比曹飞龙等所提出的网络和算法更为简单、高效;所获结果对前向神经网络逼近多元多项式函数类的网络构造以及逼近等具有重要的理论与应用意义,为神经网络逼近任意函数的网络构造的理论与方法提供了一条途径.     

多层前向神经网络的新型二阶学习算法

提出了多层前向神经网络的新型二阶递推学习算法。该算法不仅能使用网络各层误差而且使二阶导数信息因子反向传播。证明了新算法等价于Ｎｅｗｔｏｎ迭代法并且有二阶收敛速度。它实现了Ｎｅｗｔｏｎ搜索方向和Ｈｅｓｓｉａｎ阵逆的递推运算,其计算量几乎与普通递推最小二乘法相当。由算法性能分析证明新算法优于Ｋａｒａｙｉａｎｎｉｓ等人的二阶学习算法。     

多层前向人工神经网络图像分类算法

传统人工神经网络的输入均为向量形式,而图像由矩阵形式表示,因此,在用人工神经网络进行图像处理时,图像将以向量形式输入至神经网络,这破坏了图像的结构信息,从而影响了图像处理的效果。为了提高网络对图像的处理能力,文中借鉴了深度学习的思想与方法,引进了具有矩阵输入的多层前向神经网络。同时,采用传统的反向传播训练算法(BP)训练该网络,给出了训练过程与训练算法,并在USPS手写数字数据集上进行了数值实验。实验结果表明,相对于单隐层矩阵输入前向神经网络(2D-BP),所提多层网络具有较好的分类效果。此外,对于彩色图片分类问题,利用所提出的2D-BP网络,给出了一个有效的可行方法。     

基于免疫遗传算法的多层前向神经网络设计

利用一种基于免疫功能的遗传算法,设计多层前向神经网络,用于实现多层前向神经网络结构的确定和权值空间的搜索。仿真实验结果显示该算法具有比遗传算法和动量BP算法更好的全局收敛性和快速学习网络权值的能力。     

多层前向神经网络的快速学习算法及其应用

针对目前多层前向神经网络学习算法存在的不足，提出一种多层前向神经网络的快速学习算法，它不仅符合生物神经网络的基本特征，而且算法简单，学习收敛速度快，具有线性，非线性逼近精度高等特性，以二杆机构手逆运动学建模作为应用实例，仿真结果表明该方法是有效的，其算法与收敛速度更优于BP网络。     

多层前向神经网络的快速学习算法及其应用

针对目前多层前向神经网络学习算法存在的不足,提出一种多层前向神经网络的快速学习算法,它不仅符合生物神经网络的基本特征,而且算法简单,学习收敛速度快,具有线性、非线性逼近精度高等特性.以二杆机械手逆运动学建模作为应用实例,仿真结果表明该方法是有效的,其算法与收敛速度更优于BP网络.     

多层前向小世界神经网络及其函数逼近

借鉴复杂网络的研究成果, 探讨一种在结构上处于规则和随机连接型神经网络之间的网络模型—-多层前向小世界神经网络. 首先对多层前向规则神经网络中的连接依重连概率p进行重连, 构建新的网络模型, 对其特征参数的分析表明, 当0 < p < 1时, 该网络在聚类系数上不同于Watts-Strogatz 模型; 其次用六元组模型对网络进行描述; 最后, 将不同p值下的小世界神经网络用于函数逼近, 仿真结果表明, 当p = 0:1时, 网络具有最优的逼近性能, 收敛性能对比试验也表明, 此时网络在收敛性能、逼近速度等指标上要优于同规模的规则网络和随机网络.