基于样条插值函数的离散过程神经网络训练*

为解决过程神经元网络不能直接输入离散样本的问题,提出基于样条插值函数的离散过程神经网络训练算法。首先,将离散过程样本按采样点分段,在采样区间内分别构造样本和权值的分段样条函数;然后,计算样本函数和权函数的乘积在采样区间上的积分,并将此积分值提交给网络的隐层过程神经元;最后,在输出层计算网络输出。分别采用一次、二次、三次样条函数,设计了三种不同的算法。实验结果表明：一次样条计算效率高,逼近能力差;三次样条计算效率低,但逼近能力好;二次样条在计算效率和逼近能力两方面都比较理想。因此,二次样条函数是离散过程神经网络的较好选择。     

基于分段线性插值的过程神经网络训练

过程神经元网络的输入为时变连续函数,不能直接输入离散样本。针对该问题,提出一种基于分段线性插值函数的过程神经网络训练方法。将样本函数、过程神经元权函数的离散化数据插值为分段表示的线性函数,计算样本函数与权值函数乘积在给定采样区间上的积分,将此积分值提交给网络的隐层过程神经元,并计算网络输出。实验结果证明了该方法的有效性。     

基于基函数展开的双隐层过程神经元网络及其应用

提出一类基于基函数展开的双隐层过程神经元网络模型．过程神经元隐层完成对输入信息过程模式特征的提取和对时间的聚合运算，非时变一般神经元隐层用于提高网络对系统输入输出之间复杂关系的映射能力．在输入空问中引入一组函数正交基，将输入函数和网络权函数表示为该组正交基的展开形式，利用基函数的正交性简化过程神经元聚合运算．以旋转机械故障诊断和油藏开发过程采收率的模拟为例，验证了模型和算法的有效性。     

基于样条权函数神经网络的入侵检测*

通过分析当前运用较多的入侵检测模型的缺陷,提出了一种基于样条权函数神经网络的新型入侵检测系统模型。网络拓扑结构简单,网络训练所需要的神经元个数与样本个数无关。训练后的权函数由三次样条函数构成,而不是传统方法中的常数。该模型克服了传统入侵检测系统所存在的局部极小、收敛速度慢、初值敏感性等问题。     

基于傅立叶函数基变换的过程神经元网络学习算法

针对过程神经元网络训练涉及的时域聚合运算问题,提出了一种基于傅立叶正交函数基展开的过程神经元网络学习算法。在网络输入函数空间中引入傅立叶正交函数基,将输入函数和网络连接权函数表示为该组正交基的有限项展开形式,利用函数基的正交性,可简化过程神经元在时间聚合运算中的复杂性,提高网络学习效率。给出了具体的实现算法,仿真实验结果证明了算法的有效性。     

一种基于数值积分的过程神经元网络训练算法

针对过程神经元网络的训练问题,提出了一种基于数值积分的学习算法。直接采用数值积分进行网络中动态样本与连接权函数的时域加权聚合运算,采用梯度下降法实现连接权函数特征参数及网络性质参数的调整。设计了基于梯形积分、辛普森积分、柯特斯积分等3种过程神经元网络数值积分训练方法,以太阳黑子数据预测为例进行仿真实验,结果表明,基于数值积分的过程神经元网络训练算法是有效的,其中辛普森积分算法的性能最优。     

自组织过程神经网络及其应用研究

针对与时间过程有关的模式分类问题，提出了一种自组织过程神经元网络模型．网络由输入层和竞争层组成，其输入和连接权可为与时间有关的函数，输入层结点与竞争层结点实行全互连接．网络提取输入函数所隐含的过程式模式特征，并对其进行自组织，在竞争层将分类结果表现出来．为简化计算，在输入空间中引入函数正交基，将输入函数和网络权函数表示为正交基的展开形式，利用基函数的正交性，使网络权函数的调整非时变化．给出了竞争学习和有教师示教两种学习算法，并以石油地质中沉积微相识别问题为例证明了模型和算法的有效性．     

一类用于连续过程逼近的过程神经元网络及其应用

针对实际系统的输入输出是与时间有关的连续过程,提出了一类用于连续过程逼近的过程神经元网络模型.模型利用神经网络所具有的非线性映射能力,实现系统输入输出之间的连续映射关系.考虑过程神经网络计算的复杂性,在输入空间中选择一组函数正交基,将输入函数和网络权函数表示为该组正交基的展开形式,利用基函数的正交性,简化过程神经元计算.文中给出了学习算法,并以油藏开发三次采油过程模.     

一类反馈过程神经元网络模型及其学校算法

提出了一种基于权函数基展开的反馈过程神经元网络模型．该模型为三层结构，由输入层、过程神经元隐层和过程神经元输出层组成．输入层完成系统时变过程信号的输入及隐层过程神经元输出信号向系统的反馈；过程神经元隐层用于完成输入信号的空间加权聚合和激励运算，同时将输出信号传输到输出层并加权反馈到输入层；输出层完成隐层输出信号的空间加权聚集和对时间的聚合运算以及系统输出．文中给出了学习算法，并以旋转机械故障自动诊断问题为例验证了模型和算法的有效性．     

多层积分值三次样条拟插值

目的 在实际问题中,某些插值问题结点处的函数值往往是未知的,而仅仅知道一些连续等距区间上的积分值。为此提出了一种基于未知函数在连续等距区间上的积分值和多层样条拟插值技术来解决函数重构。该方法称之为多层积分值三次样条拟插值方法。方法 首先,利用积分值的线性组合来逼近结点处的函数值;然后,利用传统的三次B-样条拟插值和相应的误差函数来实现多层三次样条拟插值;最后,给出两层积分值三次样条拟插值算子的多项式再生性和误差估计。结果 选取无穷次可微函数对多层积分值三次样条拟插值方法和已有的积分值三次样条拟插值方法进行对比分析。数值实验印证了本文方法在逼近误差和数值收敛阶均稍占优。结论本文多层三次样条拟插值函数能够在整体上很好的逼近原始函数,一阶和二阶导函数。本文方法较之于已有的积分值三次样条拟插值方法具有更好的逼近误差和数值收敛阶。该方法对连续等距区间上积分值的函数重构具有普适性。     

基于连续沃尔什变换的过程神经元网络训练

为解决过程神经元网络训练涉及的时域聚合运算问题,提出了过程神经元网络的一种学习算法。对网络的过程式输入函数及时变的权函数,实施连续沃尔什变换,用变换后的数据训练网络。经过这种变换,能使网络输入的时域聚合运算大为简化,有效地避免了复杂的积分过程,使过程神经元网络的训练等同于普通网络的训练。     

一类反馈过程神经元网络模型及学习算法研究

提出了一种带有反馈输入的过程式神经元网络模型,模型为三层结构,其隐层和输出层均为过程神经元。输入层完成连续信号的输入,隐层完成输入信号的空间聚合和向输出层逐点映射,并将输出信号逐点反馈到输入层;输出层完成隐层输出信号的时、空聚合运算和系统输出。在对权函数实施正交基展开的基础上给出了该模型的学习算法。仿真实验证明了该模型的有效性和可行性。     

Probabilistic neural network training procedure based on Q(0)-learning algorithm in medical data classification

In this article, an iterative procedure is proposed for the training process of the probabilistic neural network (PNN). In each stage of this procedure, the Q(0)-learning algorithm is utilized for the adaptation of PNN smoothing parameter (σ). Four classes of PNN models are regarded in this study. In the case of the first, simplest model, the smoothing parameter takes the form of a scalar; for the second model, σ is a vector whose elements are computed with respect to the class index; the third considered model has the smoothing parameter vector for which all components are determined depending on each input attribute; finally, the last and the most complex of the analyzed networks, uses the matrix of smoothing parameters where each element is dependent on both class and input feature index. The main idea of the presented approach is based on the appropriate update of the smoothing parameter values according to the Q(0)-learning algorithm. The proposed procedure is verified on six repository data sets. The prediction ability of the algorithm is assessed by computing the test accuracy on 10 %, 20 %, 30 %, and 40 % of examples drawn randomly from each input data set. The results are compared with the test accuracy obtained by PNN trained using the conjugate gradient procedure, support vector machine algorithm, gene expression programming classifier, k–Means method, multilayer perceptron, radial basis function neural network and learning vector quantization neural network. It is shown that the presented procedure can be applied to the automatic adaptation of the smoothing parameter of each of the considered PNN models and that this is an alternative training method. PNN trained by the Q(0)-learning based approach constitutes a classifier which can be treated as one of the top models in data classification problems.     

一种基于Walsh变换的反馈过程神经网络模型及学习算法

提出了一种带有反馈输入的过程式神经元网络模型，模型为三层结构，其隐层和输出层均为过程神经元．输入层完成连续信号的输入，隐层完成输入信号的空间聚合和向输出层逐点映射，并将输出信号逐点反馈到输入层；输出层完成隐层输出信号的时、空聚合运算和系统输出．在对权函数实施Walsh变换的基础上给出了该模型的学习算法．仿真实验证明了模型和算法的有效性．     

Determining significance of input neurons for probabilistic neural network by sensitivity analysis procedure

In classical feedforward neural networks such as multilayer perceptron, radial basis function network, or counter‐propagation network, the neurons in the input layer correspond to features of the training patterns. The number of these features may be large, and their meaningfulness can be various. Therefore, the selection of appropriate input neurons should be regarded. The aim of this paper is to present a complete step‐by‐step algorithm for determining the significance of particular input neurons of the probabilistic neural network (PNN). It is based on the sensitivity analysis procedure applied to a trained PNN. The proposed algorithm is utilized in the task of reduction of the input layer of the considered network, which is achieved by removing appropriately indicated features from the data set. For comparison purposes, the PNN's input neuron significance is established by using the ReliefF and variable importance procedures that provide the relevance of the input features in the data set. The performance of the reduced PNN is verified against a full structure network in classification problems using real benchmark data sets from an available machine learning repository. The achieved results are also referred to the ones attained by entropy‐based algorithms. The prediction ability expressed in terms of misclassifications is obtained by means of a 10‐fold cross‐validation procedure. Received outcomes point out interesting properties of the proposed algorithm. It is shown that the efficiency determined by all tested reduction methods is comparable.