基函数神经网络逼近能力探讨及全局收敛性分析

构建一类新型基函数神经网络.依据梯度下降法思想,给出该神经网络的权值迭代公式,证明迭代序列能全局收敛到网络的最优权值,并由此推导出基于伪逆的最优权值一步计算公式--简称为权值直接确定法.理论分析表明,该新型神经网络具有最佳均方逼近能力和全局收敛性质,其权值直接确定法避免了冗长迭代计算、易陷于局部极小点、学习丰难选取等传统BP神经网络难以解决的难题,仿真验证显示其相时BP神经网络的各种改进算法具有运算速度快、计算精度高等优势,且对于噪声有良好的滤除特性.     

SIMO傅里叶三角基神经网络的权值直接确定法和结构自确定算法

根据傅里叶级数逼近理论,将正交三角函数系作为隐层神经元激励函数,合理选取这些激励函数的周期参数,构造单输入多输出(SIMO)傅里叶三角基神经网络模型.根据该网络的特点,推导出一种基于伪逆的权值直接确定法,从而1步计算出网络最优权值,并在此基础上设计出隐层结构自确定算法.仿真结果表明,与传统BP(反向传播)神经网络及基于最小二乘法的SIMO傅里叶神经网络模型相比,本网络模型具有更高的计算精度和更快的计算速度.     

一种基于动态权重的神经网络训练算法

提出一种基于动态粒子群算法的神经网络训练方法。神经网络权值选择是否合适直接关系到其非线性拟合能力,通过引入动态粒子群算法对神经网络进行训练,对神经网络各层连接权值进行优化。经过函数测试表明,相比粒子群算法,动态柱子群算法收敛速度更快且不易陷入局部,能更快更合理地训练神经网络从而优化网络连接权值。     

切比雪夫正交基神经网络的权值直接确定法

经典的BP神经网络学习算法是基于误差回传的思想.而对于特定的网络模型,采用伪逆思想可以直接确定权值进而避免以往的反复迭代修正的过程.根据多项式插值和逼近理论构造一个切比雪夫正交基神经网络,其模型采用三层结构并以一组切比雪夫正交多项式函数作为隐层神经元的激励函数.依据误差回传(BP)思想可以推导出该网络模型的权值修正迭代公式,利用该公式迭代训练可得到网络的最优权值.区别于这种经典的做法,针对切比雪夫正交基神经网络模型,提出了一种基于伪逆的权值直接确定法,从而避免了传统方法通过反复迭代才能得到网络权值的冗长训练过程.仿真结果表明该方法具有更快的计算速度和至少相同的工作精度,从而验证了其优越性.     

改造前向神经网络结构以求网络权值直接确定——Jacobi正交基神经网络实例

根据多项式插值与逼近理论,以一组零阀值特例Jacobi正交多项式(第二类Chebyshev正交多项式)作为隐层神经元的激励函数,构造一种基于Jacobi正交基的前向神经网络模型.该神经网络模型采用三层前向结构,其中输入、输出层神经元采用零阀值线性激励函数.为改进传统神经网络收敛速度较慢及其局部极小点问题,针对该Jacobi正交基前向神经网络模型,提出了一种基于伪逆的直接计算神经网络权值的方法(即,一步确定法),并利用该神经网络进行预测.计算机仿真结果表明,相对比传统的BP迭代训练方法,权值直接确定法计算速度更快、预测精度更高.     

基于QPSO—RBF NN的混沌时间序列预测*

提出一种基于量子粒子群优化算法训练径向基函数神经网络进行混沌时间序列预测的新方法.在确定径向基函数网络的隐层节点数后,将相应网络的参数,包括隐层基函数中心、扩展常数,以及输出权值和偏移编码成学习算法中的粒子个体,在全局空间中搜索具有最优适应值的参数向量.实例仿真证实了该方法的有效性.     

基于粒子群算法的RBF网络参数优化算法

针对神经网络的一些缺陷,研究神经网络基于粒子群优化的学习算法,将粒子群优化算法用于RBF神经网络的学习训练。提出了一种基于粒子群优化（PSO）算法的径向基（RBF）网络参数优化算法,首先利用减聚类算法确定网络径向基函数中心的个数,再用PSO算法优化径向基函数的中心及宽度,最后用PSO算法训练隐含层到输出层的网络权值,找到神经网络权值的最优解,以达到优化神经网络学习的目的。最后,通过一个实验与最小二乘法优化的神经网络进行了比较,验证了算法的有效性。     

基于权值与结构确定法的单极Sigmoid神经网络分类器

构造了以单极Sigmoid函数作为隐层神经元激励函数的神经网络分类器,网络中输入层到隐层的权值和隐层神经元的阈值均为随机生成。同时,结合利用伪逆思想一步计算出隐层和输出层神经元之间连接权值的权值直接确定(WDD)法,进一步提出了具有边增边删和二次删除策略的网络结构自确定法,用来确定神经网络最优权值和结构。数值实验结果表明,该算法能够快速有效地确定单极Sigmoid激励函数神经网络分类器的最优网络结构; 分类器的分类性能良好。     

全局优化径向基函数网络方法的设计及应用

针对径向基神经网络（RBFNN）中隐层单元中心及输出层权值向量难以有效确定的问题,论文提出了一种基于进化思想的解决方案.以进化算法中的模式定理为理论依据,运用分治策略思想,将隐层中心的最优化过程和输出层权值向量的最优化过程并行处理,提高了算法效率.最后将设计的整体进化径向基神经网络应用于数据的分类,以UCI数据库中的iris和wheat数据集为测试物料,采用该文提出的进化方案得到最优中心和权值向量,测试表明相对于RBFNN运用聚类办法确定中心和最小二乘确定权值的方法以及支持向量机其检出率能提高20％.     

Fourier三角基神经元网络的权值直接确定法

根据Fourier变换理论,本文构造出一类基于三角正交基的前向神经网络模型。该模型由输入层、隐层、输出层构成,其输入层和输出层采用线性激励函数,以一组三角正交基为其隐层神经元的激励函数。依据误差回传算法(即BP算法),推导了权值修正的迭代公式。针对BP迭代法收敛速度慢、逼近目标函数精度较低的缺点,进一步提出基于伪逆的权值直接确定法,该方法避免了权值反复迭代的冗长过程。仿真和预测结果表明,该方法比传统的BP迭代法具有更快的计算速度和更高的仿真与测试精度。     

Combined projection and kernel basis functions for classification in evolutionary neural networks

This paper proposes a hybrid neural network model using a possible combination of different transfer projection functions (sigmoidal unit, SU, product unit, PU) and kernel functions (radial basis function, RBF) in the hidden layer of a feed-forward neural network. An evolutionary algorithm is adapted to this model and applied for learning the architecture, weights and node typology. Three different combined basis function models are proposed with all the different pairs that can be obtained with SU, PU and RBF nodes: product–sigmoidal unit (PSU) neural networks, product–radial basis function (PRBF) neural networks, and sigmoidal–radial basis function (SRBF) neural networks; and these are compared to the corresponding pure models: product unit neural network (PUNN), multilayer perceptron (MLP) and the RBF neural network. The proposals are tested using ten benchmark classification problems from well known machine learning problems. Combined functions using projection and kernel functions are found to be better than pure basis functions for the task of classification in several datasets.     

一种基于神经网络算法的高精度拟合传感器温度特性曲线的方法

为了有效改善传感器温度补偿特性,提出了基于傅立叶基函数神经网络算法的温度特性曲线拟合模型.分析了算法的收敛性,为学习率的选择提供了理论依据.给出了对掺杂苯的SnO2纳米传感器的灵敏度-温度特性曲线进行拟合的实例.结果表明基于傅立叶基函数神经网络算法的传感器温度特性拟合曲线具有高的光滑性和高的拟合精度(10-6),因而是一种有效的温度特性曲线拟合方法.     

基于在线减法聚类的RBF神经网络结构设计

以设计最小径向基函数（RBF）神经网络结构为着眼点,提出一种在线RBF网络结构设计算法.该算法将在线减法聚类能实时跟踪工况的特性与RBF网络参数学习过程相结合,使得网络既能在线适应实时对象的变化又能维持紧凑的结构,有效地解决了RBF神经网络结构自组织问题.该算法只调整欧氏距离距实时工况最近的核函数,大大提高了网络的学习速度.通过对典型非线性函数逼近和混沌时间序列预测的仿真,表明所提出的算法具有良好的动态特性响应能力和逼近能力.     

一种复合算法在短期负荷预测中的应用

为提高电力系统短期负荷预测精度,文中提出一种基于改进遗传算法优化的径向基函数神经网络短期电力负荷预测模型,该模型采用改进的选择策略、自适应交叉和变异概率防止出现早熟现象;将自适应交叉和变异操作的改进遗传算法与梯度下降法混合交互运算,作为径向基函数神经网络的学习算法,将上述模型和算法应用于某地区电网的短期负荷预测,取得良好的预测效果.     

一种改进PSO优化RBF神经网络的新方法

为了克服神经网络模型结构和参数难以设置的缺点,提出了一种改进粒子群优化的径向基函数(RBF)神经网络的新方法.首先将最近邻聚类用于RBF神经网络隐层中心向量的确定,同时对引入适应度值择优选取的原则对基本粒子群算法进行改进,采用改进粒子群(IMPSO)算法对最近邻聚类的聚类半径进行优化,合理的确定了RBF神经网络的隐层结构.将改进PSO优化的RBF神经网络应用于非线性函数逼近和混沌时间序列预测,经实验仿真验证.与基本粒子群(PSO)算法,收缩因子粒子群(CFA PSO)算法优化的RBF神经网络相比较,其在识别精度和收敛速度上都有了显著的提高.     

一种优化的RBF神经网络模型用于网络流量预测

采用径向基RBF神经网络对网络流量数据的时间序列进行建模与预测。采用传统的学习算法对RBF网络训练时,对网络流量数据容易出现过拟合现象,提出了自适应量子粒子群优化AQPSO算法,用于训练RBF神经网络的基函数中心和宽度,并结合最小二乘法计算网络权值,改善了RBF神经网络的泛化能力。实验结果表明,采用AQPSO算法获得的RBF神经网络模型具有泛化能力强、稳定性良好的特点,在网络流量预测中有一定的实用价值。     

A modified hybrid neural network for pattern recognition and its application to SSW complex in EEG

In this study, a modified hybrid neural network with asymmetric basis functions is presented for feature extraction of spike and slow wave complexes in electroencephalography (EEG). Feature extraction process has a great importance in all pattern recognition and classification problems. A gradient descent algorithm, indeed a back propagation type, is adapted to the proposed artificial neural network. The performance of the proposed network is measured using a support vector machine classifier fed by features extracted using the proposed neural network. The results show that the proposed neural network model can effectively be used in pattern recognition tasks. In experiments, real EEG data are used.     

改进麻雀搜索算法的RBF神经网络水质预测

针对污水处理过程中化学需氧量(chemical oxygen demand, COD)难以在线测量的问题,提出了一种基于径向基函数(radial basis function, RBF)神经网络的软测量模型.首先,用污水处理厂实测数据挑选出与COD相关的过程变量作为输入变量;其次,基于RBF神经网络建立出水COD软测量模型,利用自适应遗传算法改进的麻雀搜索算法(adaptive genetic algorithm improved sparrow search algorithm, AGAISSA)优化RBF神经网络的中心值、宽度值以及权值,通过改进麻雀位置更新公式以及引入遗传算法中的自适应交叉和变异操作保证了软测量模型的精度;最后,将RBF神经网络的软测量模型应用于污水处理厂实测数据加以验证,结果表明:AGAISSA优化RBF神经网络模型能够对出水COD进行准确的预测,具有较高的预测精度.     

基于量子粒子群优化算法的新型正交基神经网络分数阶混沌时间序列单步预测

针对分数阶混沌时间序列预测精度低、速度慢的问题,提出了基于量子粒子群优化(QPSO)算法的新型正交基神经网络预测模型。首先,在Laguerre正交基函数的基础上提出一种新型正交基函数,并结合神经网络拓扑构成新型正交基神经网络;其次,利用QPSO算法优化新型正交基神经网络参数,将参数优化问题转化为多维空间上的函数优化问题;最后,根据已优化参数建立预测模型并进行预测分析。分别以分数阶Birkhoff-shaw和Jerk混沌系统为模型,利用Adams-Bashforth-Moulton预估-校正法产生混沌时间序列作为仿真对象,进行单步预测对比实验。仿真表明,与反向传播(BP)神经网络、径向基函数(RBF)神经网络及普通的新型正交基神经网络相比,基于QPSO算法的新型正交基神经网络的平均绝对值误差(MAE)、均方根误差(RMSE)明显减小,决定度系数(CD)更接近于1,平均建模时间(MMT)明显缩短。实验结果表明,基于QPSO算法的新型正交基神经网络提高了分数阶混沌时间序列预测的精度和速度,便于该预测模型的应用和推广。     

铂电阻Pt100特性数学模型

为了满足自动检测和智能仪表的需要,提出了一种基于余弦基神经网络的传感器特性建模算法,提出了该余弦基神经网络算法的收敛定理,并以铂电阻Pt100为例给出了传感器特性数学模型的建模步骤。计算机仿真结果表明了该算法在传感器特性建模过程中的有效性和优异性能。