基于惩罚函数泛化的神经网络剪枝算法研究

神经网络的隐层数和隐层节点数决定了网络规模,并对网络性能造成较大影响。在满足网络所需最少隐层节点数的前提下,利用剪枝算法删除某些冗余节点,减少隐层节点数,得到更加精简的网络结构。基于惩罚函数的剪枝算法是在目标函数后加入一个惩罚函数项,该惩罚函数项是一个变量为网络权值的函数。由于惩罚函数中的网络权值变量可以附加一个可调参数,将单一惩罚函数项泛化为一类随参数规律变化的新的惩罚函数,初始惩罚函数可看作泛化后惩罚函数的参数取定值的特殊情况。实验利用基于标准BP神经网络的XOR数据进行测试,得到隐层节点剪枝效果和网络权值随惩罚函数的泛化而发生变化,并从数据分析中得出具有更好剪枝效果及更优网络结构的惩罚函数泛化参数。     

一种通过反馈提高神经网络学习性能的新算法

为了有效提高前向神经网络的学习性能，需要从一个新的角度考虑神经网络的学习训练．基于此，提出了一种基于结果反馈的新算法——FBBP算法．将神经网络输入调整与通常的权值调整的反向传播算法结合起来，通过调整权值和输入矢量值的双重作用来最小化神经网络的误差函数．并通过几个函数逼近和模式分类问题的实例仿真，将FBBP算法与加动量项BP算法、最新的一种加快收敛的权值更新的算法进行了比较，来验证所提出的算法的有效性．实验结果表明，所提出的算法具有训练速度快和泛化能力高的双重优点，是一种非常有效的学习方法．     

改进的径向基函数神经网络预测模型

在提高网络传输性能的研究中,径向基函数神经网络(RBF网络)的基函数个数、中心及宽度的确定一直是难解决的问题,为提高RBF网络泛化能力是当前一个重要的研究问题.分析了传统RBF网络工作原理及不足,提出了改进.采用梯度下降法训练径向基函数中心和宽度,提高网络泛化性能.改进最优停止训练算法,使算法效率提高,且避免过拟合现象,最终使RBF网络获得更优的泛化能力.用改进的RBF网络对iris及wine数据集建立预测模型,进行仿真.结果表明,梯度下降方法训练出更优的基函数参数,改进的最优停止训练方法缩短了训练时间、提高预测精度,网络泛化能力有明显提高.     

基于聚类的RBF-LBF串联神经网络学习算法

为提高网络的泛化能力,研究了单层RBF神经网络和LBF网络组成的RBF-LBF串联神经网络,并提出了一种基于模式聚类的RBF-LBF串联神经网络的学习算法。该算法分别对单层RBF网络和LBF网络的输入进行模式聚类,以确定网络的初始结构,然后通过调整错分样本的类别,使之部分重叠或合并核函数。经双螺旋线问题仿真实验证明,该算法确具有很好的泛化能力且只需较短的训练时间。     

基于贝叶斯方法的神经网络非线性模型辨识

研究了基于贝叶斯推理的多层前向神经网络训练算法,以提高网络的泛化性能。在网络目标函数中引入表示网络结构复杂性的惩罚项,以便能够在训练优化过程中降低网络结构的复杂性,达到避免网络过拟合的目的。训练过程中使用显式的概率分布假设对模型进行分析和推断,根据融入先验分布的假设和依据,获取网络参数和正则化参数的后验条件概率,并基于后验分布的贝叶斯推理得出最优化参数。利用上述算法训练前向网络,对一个微型锅炉对象进行了模型辨识,通过测试,证明所辨识出的对象模型能够较好地表现出对象的动态行为,且具有较好的泛化性能。     

一种估计人工神经网络泛化误差的新方法

神经网络的结构学习就是要确定网络的拓扑,使之有较好的泛化能力,本文考虑了确定性前向网络,而其训练集合是随机点集的结构学习问题,文章定义了一种新的结构学习目标函数,给出了它与目前常用的目标函数比较的优越性,讨论了相关的学习算法,还给出了一个例子说明这种学习的效果。     

基于面向对象自适应粒子群算法的神经网络训练*

针对传统的神经网络训练算法收敛速度慢和泛化性能低的缺陷,提出一种新的基于面向对象的自适应粒子群优化算法(OAPSO)用于神经网络的训练。该算法通过改进PSO的编码方式和自适应搜索策略以提高网络的训练速度与泛化性能,并结合Iris和Ionosphere分类数据集进行测试。实验结果表明：基于OAPSO算法训练的神经网络在分类准确率上明显优于BP算法及标准PSO算法,极大地提高了网络泛化能力和优化效果,具有快速全局收敛的性能。     

应用递归神经网络学习周期运动吸引子轨迹

采用递归神经网络学习非线性周期运动的吸引子轨迹．网络的拓扑结构基于非线性系统的状态空间表达式,网络权值通过时序反向传播算法调整．探讨了不同样本轨迹和网络结构对递归神经网络预测性能的影响．神经网络的性能评估建立在多条测试样本轨迹的基础上,可以更为客观地评价递归神经网络预测性能．对van der Pol方程的仿真结果表明:网络的泛化能力对训练样本轨迹的依赖性较强,从不同训练轨迹上得到的递归神经网络性能差异较大;需要选择合适的递归神经网络结构参数以提高神经网络的泛化能力．     

基于特征聚合的假新闻内容检测模型

针对假新闻内容检测中分类算法模型的检测性能与泛化性能无法兼顾的问题,提出了一种基于特征聚合的假新闻检测模型CCNN。首先,通过双向长短时循环神经网络提取文本的全局时序特征,并采用卷积神经网络（CNN）提取窗口范围内的词语或词组特征;然后,在卷积神经网络池化层之后,采用基于双中心损失训练的特征聚合层;最后,将双向长短时记忆网络（Bi-LSTM）和CNN的特征数据按深度方向拼接成一个向量之后提供给全连接层,采用均匀损失函数uniform-sigmoid训练模型后输出最终的分类结果。实验结果表明,该模型的F1值为80.5%,在训练集和验证集上的差值为1.3个百分点;与传统的支持向量机（SVM）、朴素贝叶斯（NB）和随机森林（RF）模型相比,所提模型的F1值提升了9~14个百分点;与长短时记忆网络（LSTM）、快速文本分类（FastText）等神经网络模型相比,所提模型的泛化性能提升了1.3~2.5个百分点。由此可见,所提模型能够在提高分类性能的同时保证一定的泛化能力,提升整体性能。     

神经网络泛化性能的最优脑外科过程算法

在神经网络性能测试新方法的研究中,关于最优脑外科过程拥有较高的权值修剪准确率和节点压缩率的问题,但其训练和泛化优化的异步影响了算法的实际应用.把剪枝条件以约束项的形式纳入神经网络的训练日标函数中,借鉴信赖域的思路和正则化方法,设计了含约束项的最优脑外科过程.经验证,过程在理论上是收敛的.通过雷文博格-马括特(Leven-berg-Marquardt)方法实现了该过程,典型函数仿真实验验证了过程不仅提高了神经网络的泛化性能,实现了网络训练与最优脑外科剪枝的并行,也说明了信赖域的方法与雷文博格-马括特方法在理论上的一致性.     

神经网络的两种结构优化算法研究

提出了一种基于权值拟熵的“剪枝算法”与权值敏感度相结合的新方法，在“剪枝算法”中将权值拟熵作为惩罚项加入目标函数中，使多层前向神经网络在学习过程中自动约束权值分布，并以权值敏感度作为简化标准，避免了单纯依赖权值大小剪枝的随机性．同时，又针对剪枝算法在优化多输入多输出网络过程中计算量大、效率不高的问题，提出了一种在级联—相关(cascade correlation, CC)算法的基础上从适当的网络结构开始对网络进行构建的快速“构造算法”．仿真结果表明这种快速构造算法在收敛速度、运行效率乃至泛化性能上都更胜一筹．     

Radial Basis Function network learning using localized generalization error bound

Training a classifier with good generalization capability is a major issue for pattern classification problems. A novel training objective function for Radial Basis Function (RBF) network using a localized generalization error model (L-GEM) is proposed in this paper. The localized generalization error model provides a generalization error bound for unseen samples located within a neighborhood that contains all training samples. The assumption of the same width for all dimensions of a hidden neuron in L-GEM is relaxed in this work. The parameters of RBF network are selected via minimization of the proposed objective function to minimize its localized generalization error bound. The characteristics of the proposed objective function are compared with those for regularization methods. For weight selection, RBF networks trained by minimizing the proposed objective function consistently outperform RBF networks trained by minimizing the training error, Tikhonov Regularization, Weight Decay or Locality Regularization. The proposed objective function is also applied to select center, width and weight in RBF network simultaneously. RBF networks trained by minimizing the proposed objective function yield better testing accuracies when compared to those that minimizes training error only.     

改进人工蜂群优化BP神经网络的分类研究

针对BP神经网络对初始权重敏感,容易陷入局部最优,人工蜂群算法局部搜索能力和开发能力相对较弱等问题,提出一种基于改进人工蜂群和反向传播的神经网络训练方法。引进差分进化思想改进人工蜂群算法,并对跟随蜂的搜索行为进行更准确的描述。用改进的人工蜂群全局搜索神经网络的初始权重,防止神经网络陷入局部最优。用新的方法对神经网络训练进行分类。实验结果表明,该算法相对于标准的BP神经网络,有效提高了分类正确率,泛化能力较强。     

基于结构误差的图卷积网络

针对图卷积网络选取交叉熵作为损失函数在小样本数据集上可能导致模型训练过拟合、模型泛化能力不强等问题,提出了基于结构误差的图卷积网络。将改进的基于结构误差的支持向量机(support vector machine, SVM)作为图卷积网络的分类器,能够降低模型过拟合的风险。在SVM的泛化误差理论基础上,对SVM的损失函数进行改进,所提出的方法在最大化异类样本间隔的同时限制同类样本间的间隔,提升了模型的泛化能力。首先计算特征空间中特征向量到中心点的平均距离,由它近似替换最小包含球的半径,然后由新的损失函数指导模型的学习。在基于骨骼的行为识别领域的NTU RGB+D60和NTU RGB+D120数据集上的实验证明,相比于传统的图卷积网络模型,所提出的方法能够明显提升识别准确率并且具有更好的泛化性能。     

基于自适应动量优化算法的正则化极限学习机

针对极限学习机(extreme learning machine,ELM)隐节点不确定性导致的系统不稳定,以及对大型数据计算负担过重的问题,提出了基于自适应动量优化算法(adaptive and momentum method,AdaMom)的正则化极限学习机.算法主要思想是构造连续可微的目标函数,在梯度下降过程中计算自适应学习率,求自适应学习率与梯度乘积的指数加权平均值,通过迭代得到损失函数最小值对应的隐层输出权重矩阵.实验结果表明,在相同基准数据集的训练中,AdaMom-ELM算法具有非常良好的泛化性能和鲁棒性,提高了计算效率.     

A least third-order cumulants objective function

A novel Least Cumulants Method is proposed to tackle the problem of fitting to underlying function in small data sets with high noise level because higher-order statistics provide an unique feature of suppressing Gaussian noise processes of unknown spectral characteristics. The current backpropagation algorithm is actually the Least Square Method based algorithm which does not perform very well in noisy data set. Instead, the proposed method is more robust to the noise because a complete new objective function based on higher-order statistics is introduced. The proposed objective function was validated by applying to predict benchmark sunspot data and excellent results are obtained. The proposed objective function enables the network to provide a very low training error and excellent generalization property. Our results indicate that the network trained by the proposed objective function can, at most, provide 73% reduction of normalized test error in the benchmark test.     

基于SA-PSO的小波神经网络汽轮机故障诊断

针对传统小波神经网络的问题,提出了一种基于模拟退火粒子群算法优化小波神经网络并用于汽轮机故障诊断.先使用模拟退火粒子群算法对小波神经网络的参数进行初步优化,再用小波神经网络进行二次优化训练.实验结果表明,所提出的SA-PSO-WNN算法与WNN、PSO-WNN算法相比,网络的训练速度更快,全局搜索能力更强,网络的泛化能力更好,具有很好的实用价值.