PID神经元网络之权值直接确定法研究

网络权值如何确定,是人工神经网络研究中的一个重要课题。传统PID神经元网络在该问题的研究上,大多数采用误差回传(BP)的思想,通过迭代训练而估算出该网络的连接权值。针对PID神经元网络,对其进行简单巧妙的转化,可提出一种基于矩阵伪逆表述的直接计算权值的方法,从而避免了冗长的迭代训练过程。计算机仿真结果表明,该权值直接确定方法不仅有更快的学习/计算速度,而且能达到更高的计算精度。     

基函数神经网络权值直接确定的图像复原

给出了基函数神经网络图像复原的模型,该神经网络模型是由三层构成的前向神经网络,以一组正交基为隐层神经元的激励函数。为了避免反复迭代权值修正的冗长BP训练过程,提出了一种权值直接确定的算法。实验结果表明,该种权值直接确定算法不仅能一步确定权值而获得更快的运算速度,而且能达到更高的精度。     

SIMO傅里叶三角基神经网络的权值直接确定法和结构自确定算法

根据傅里叶级数逼近理论,将正交三角函数系作为隐层神经元激励函数,合理选取这些激励函数的周期参数,构造单输入多输出(SIMO)傅里叶三角基神经网络模型.根据该网络的特点,推导出一种基于伪逆的权值直接确定法,从而1步计算出网络最优权值,并在此基础上设计出隐层结构自确定算法.仿真结果表明,与传统BP(反向传播)神经网络及基于最小二乘法的SIMO傅里叶神经网络模型相比,本网络模型具有更高的计算精度和更快的计算速度.     

切比雪夫正交基神经网络的权值直接确定法

经典的BP神经网络学习算法是基于误差回传的思想.而对于特定的网络模型,采用伪逆思想可以直接确定权值进而避免以往的反复迭代修正的过程.根据多项式插值和逼近理论构造一个切比雪夫正交基神经网络,其模型采用三层结构并以一组切比雪夫正交多项式函数作为隐层神经元的激励函数.依据误差回传(BP)思想可以推导出该网络模型的权值修正迭代公式,利用该公式迭代训练可得到网络的最优权值.区别于这种经典的做法,针对切比雪夫正交基神经网络模型,提出了一种基于伪逆的权值直接确定法,从而避免了传统方法通过反复迭代才能得到网络权值的冗长训练过程.仿真结果表明该方法具有更快的计算速度和至少相同的工作精度,从而验证了其优越性.     

复指数Fourier神经元网络隐神经元衍生算法

以平方可积空间上的复指数Fourier级数作为激励函数构造了新型Fourier神经元网络,并推导出采用加号逆表示的网络权值直接确定公式,克服了传统BP神经网络收敛速度慢、易陷于局部极小点、迭代学习易发生振荡等缺陷。并在此基础上构造了隐神经元衍生算法,克服了传统BP神经网络难以确定最优网络拓扑结构的缺点。理论分析及仿真实验表明,该复指数Fourier神经元网络能够一步计算网络最优权值且能自适应调整网络结构,对随机加性噪声具有抑制作用,并能高精度逼近非连续函数。     

一种权值直接确定及结构自适应的Chebyshev基函数神经网络

基于函数逼近理论,构造一种Chebyshev基函数神经网络模型.推导出该网络模型的权值直接确定方法,可一步计算出权值,克服了传统BP神经网络学习率选取困难、学习过程冗长和易陷入局部极小等缺点.在此基础上,设计了基于二分搜索的结构自适应算法,根据精度要求自动确定网络最优结构.理论分析及仿真验证均表明,该网络不仅能够快速地完成网络权值确定和结构自适应,且具有优异的学习与逼近能力,而且对随机加性噪声也具有较好的抑制作用.     

中心、方差及权值直接确定的RBF神经网络分类器

模式分类是径向基函数(RBF)神经网络应用的一个重要方面,目前大多数RBF网络都采用迭代学习的方法.区别于反复迭代训练而得到网络参数的惯常做法,重新探讨一种基于矩阵伪逆或逆的中心、方差及权值可直接确定的方法.并基于此方法构建一种模式识别分类器,对IRIS分类问题进行计算机仿真验证.结果表明,相对于迭代法,该直接确定方法具有更快的计算速度,构建的RBF神经网络分类器也具有良好的分类性能.     

基于多种正交基函数的模块化过程神经元网络

提出一类基于多种正交基函数的模块化过程神经元网络模型,它融入了多时变输入的空间聚合和作用域限制的时间累积,并采用多种正交基函数在较小网络规模的条件下保证系统各种输入输出的精度,应用混合隐含层综合考虑了系统多类型输入对系统的作用,并应用模块化级联的方式在一定程度上减小了网络的总体容量,从而提高了整个网络的学习速度。应用实例的训练及仿真结果证明了该模型的可行性和有效性。     

权值可直接算出的Legendre神经网络之隐节点数自动确定

隐神经元数目的确定在神经网络学习过程中有着重要的意义.然而,目前,还没有相应的确定性理论指导隐神经元数的设计.针对Legendre前向神经网络,在基于伪逆的权值直接确定法的基础上构造出一种神经网络隐节点数自动确定的算法.仿真结果显示该隐节点数自动确定算法能较快地找到最简化结构Legendre前向神经网络的隐节点数.     

过程神经元网络的研究与进展

过程神经元网络是一种适合于处理过程式信号输入的网络,其基本单元是过程神经元--一种新的神经元模型.本文介绍了过程神经元及其网络模型的基本理论及其特点,概述了一种基于梯度下降的学习算法及算法流程,总结了近几年来过程神经元网络及其算法的最新研究进展,并给出了一些已有的应用成果,讨论了一些具有前景的研究方向.     

基于最小二乘法的SIMO傅里叶神经网络研究

利用傅里叶级数的原理，构造单输入、多输出(SIMO)傅里叶神经网络，将非线性映射转化成为线性映射，将求解神经网络权值的方法由非线性优化方法转化成为线性优化方法，并采用最小二乘法计算网络的权值，从而大大提高了神经网络的收敛速度并避免了局部极小问题.而且，在训练输出样本受白噪声影响时，最小二乘法具有良好的降低噪声影响的功能．     

基于DFP校正拟牛顿法的傅里叶神经网络

针对傅里叶神经网络采用最速下降法导致局部极小、学习速度慢以及泛化能力差的问题,提出一种基于DFP校正拟牛顿法的新学习算法。该算法计算复杂度低,能保证网络具有良好的泛化能力和全局最优性。通过2个数值算例检验该算法,同时和BP神经网络以及另外2种傅里叶神经网络作比较。结果表明,该算法计算复杂度约为最速下降法的5%,为最小二乘学习算法的80%,具有较好的泛化 能力。     

一种基于傅里叶变换的RBF神经网络函数逼近方法

本文提出了一种基于傅里叶变换的RBF神经网络函数逼近方法。基于聚类算法的RBF网络中心与宽度确定方法侧重于考察信号在时空的分布规律。与之相比,本文通过分析信号所含谐波分量的幅度和相位随频率分布的情况,用前有限个频率的正弦波分量的频谱特征构造RBF网络,并采用单调指数法合并隐层节点,最后用增加微调节点的方法提高网络的局部逼近精度。一个应用实例表明,本文方法具有良好的函数逼近能力。     

前向傅立叶神经网络系统逼近理论及学习算法

定义了傅立叶神经元与傅立叶神经网络,将一组傅立叶基三角函数作为神经网络各隐层单元的激合函数,设计出一类单输入单输出三层前向傅立叶神经网络与双输入单输出四层前向傅立叶神经网络,以及奇、偶傅立叶神经网络,基于三角函数逼近论,讨论了前向傅立叶神经网络的三角插值机理及系统逼近理论,且有严格的数学理论基础,给出了前向傅立叶神经网络学习算法,通过学习,它们分别能逼近于给定的傅立叶函数到预定的精度。仿真实验表明,该学习算法效率高,具有极为重要的理论价值和应用背景。     

一种自适应构造神经网络的新方法

目前,神经网络在很多学科领域中得到广泛的应用,但是有些问题至今仍未能获得令人满意的解决方法,如何确定合适的网络结构便是其一。该文根据生物神经元状态变化导致人脑空间结构和状态变化这一原理,提出了一种自适应构造神经网络的新方法。该方法在学习过程中根据性能指标下降幅度来决定增加或减少隐含层节点数,从而起到结构优化的作用。仿真结果表明,该方法是可行的、有效的,为神经网络结构优化提供了一种新方法。     

Complex-Valued Neural Networks: A Comprehensive Survey

Complex-valued neural networks(CVNNs) have shown their excellent efficiency compared to their real counterparts in speech enhancement, image and signal processing.Researchers throughout the years have made many efforts to improve the learning algorithms and activation functions of CVNNs. Since CVNNs have proven to have better performance in handling the naturally complex-valued data and signals, this area of study will grow and expect the arrival of some effective improvements in the future. The...     

基于互补遗传算子的前馈神经网络三阶段学习方法

论文提出了一种新的基于互补遗传算子的前馈神经网络三阶段学习方法。该方法把神经网络的学习过程分为三个阶段。第一阶段为结构辨识阶段,采用遗传算法进行神经网络隐层节点数目的选择和初始参数的设定,并基于发现的遗传算子的互补效应设计高效互补遗传算子。第二阶段为参数辨识阶段,采用效率较高的神经网络算法如L-M算法进行神经网络参数的进一步学习。第三阶段为剪枝阶段,通过获得最小结构的神经网络以提高其泛化能力。在整个学习过程中,学习过程的可控性以及神经网络的逼近精度、复杂度和泛化能力之间得到了满意平衡。仿真试验结果证明了该方法的有效性。     

线性神经网络在周期信号傅立叶变换中的应用

提出一种利用线性神经网络进行周期信号傅立叶变换的方法.首先介绍傅立叶变换和线性神经网络的基本原理以及线性神经网络权值的确定方法;然后给出使用线性神经网络对周期信号进行分解的具体步骤.最后给出仿真实验结果.     

基于多Agent系统设计原理的神经网络结构设计

将多Agent系统设计原理引入到神经网络的结构设计中,提出了基于多Agent系统设计原理的网络结构设计算法(MANN,multi-Agent neural network)。该算法基于多Agent系统设计的原理,将较大神经网络的结构分解成一组结构较小的子神经网络,每一个子神经网络都具有相对较少的隐节点数。将这种网络结构应用到热工过程建模中,仿真结果表明MANN网络具有较高的泛化能力和运算速度。