基于因果发现的神经网络集成方法

现有的神经网络集成方法主要通过扰动训练数据来产生精确且差异度较大的个体网络,从而获得较强的泛化能力.利用因果发现技术,在取样结果中找出类别属性的祖先属性,然后使用仅包含这些属性的数据生成个体网络,从而有效地将扰动训练数据与扰动输入属性结合起来,以产生精确度高且差异度大的个体.实验结果表明,该方法的泛化能力与当前一些流行的集成方法相当或更好.     

低关联度的Boosting类集成算法研究

针对Boosting类算法生成的个体网络的迭代方式相关性较高,对某些不稳定学习算法的集成结果并不理想的情况,基于Local Boost算法局部误差调整样本权值的思想,提出了基于距离及其权值挑选邻居样本的方法,并通过局部误差产生训练样本种子,采用Lazy Bagging方法生成针对各样本种子的个体网络训练样本集来训练、生成新的个体网络,UCI数据集上实验结果表明,该算法得到的个体网络相关度较小,集成性能较为稳定.     

基于动态粗糙集约简的选择性支持向量机集成

支持向量机集成是提高支持向量机泛化性能的有效手段,个体支持向量机的泛化能力及其之间的差异性是影响集成性能的关键因素。为了进一步提升支持向量机整体泛化性能,提出利用动态粗糙集的选择性支持向量机集成算法。首先在利用Boosting算法对样本进行扰动基础上,采用遗传算法改进的粗糙集与重采样技术相结合的动态约简算法进行特征扰动,获得稳定、泛化能力较强的属性约简集,继而生成差异性较大的个体学习器;然后利用模糊核聚类根据个体学习器在验证集上的泛化误差来选择最优个体;并用支持向量机算法对最优个体进行非线性集成。通过在UCI数据集进行仿真,结果表明算法能明显提高支持向量机的泛化性能,具有较低的时、空复杂性,是一种高效、稳定的集成方法。     

基于集成神经网络的计算机病毒检测方法

在借鉴传统的特征扫描技术的基础上,提出了一种基于n-gram分析的计算机病毒自动检测方法。本文将基于信息增益的特征选择技术引入集成神经网络的构建中,结合Bagging算法,同时扰动训练数据和输入属性生成精确且差异度大的个体分类器,在此基础上以集成的 BP神经网络为模式分类器实现对病毒的检测。该法并不针对某一特定病毒,是一种通用的病毒检测器。实验表明提出的检测方法具有较强的泛化能力和较高的精确率。     

基于双重扰动的选择性支持向量机集成

为了进一步提升支持向量机泛化性能,提出一种基于双重扰动的选择性支持向量机集成算法。利用Boosting方法对训练集进行扰动基础上,采用基于相对核的粗糙集相对约简与重采样技术相结合的动态约简算法进行特征扰动以生成个体成员,然后基于负相关学习理论构造遗传个体适应度函数,利用加速遗传算法选择权重大于阈值的最优个体进行加权集成。实验结果表明,该算法具有较高的泛化性能和较低的时、空复杂性,是一种高效的集成方法。     

基于直觉模糊集的集成学习算法

为提高传统机器学习算法的分类精度和泛化能力,提出一种基于直觉模糊集的集成学习算法.根据传统分类器分类精度构建直觉模糊偏好关系矩阵,确定分类器权重,结合多属性群决策方法确定样本分类结果.在UCI中的7个数据集上进行测试,与目前流行的传统分类算法以及集成学习分类算法SVM,LR,NB,Boosting,Bagging相比,提出的算法分类平均精度分别提升了1.91％,3.89％,7.80％,3.66％,4.72％.该算法提高了传统分类方法的分类精度和泛化能力.     

基于交叉分组技术的集成算法研究

集成学习主要通过扰动训练数据集来产生较强泛化能力.研究者们提出了各种各样的方法来实现这一目标,但如何扰动训练数据集以达到最佳的泛化能力并没有被深入研究.本文中,提出了对训练数据集进行扰动的交叉分组(cross-grouping)方法,通过改变交叉因子以实现对训练数据集不同程度的扰动,从而实现当集成规模较小时,得到更强的泛化能力.实验表明,当选择合适的交叉因子时,GG-Bagging泛化能力要强于Bagging和Boosting,略优于Decorate和Random Forests.     

一种选择性SER-BagBoosting Trees集成学习研究

集成学习已成为机器学习研究的一大热点.提出了一种综合Bagging和Boosting技术特点,以分类回归树为基学习器构造一种新的相似度指标用于聚类并利用聚类技术和贪婪算法进行选择性集成学习的算法--SER-BagBoosting Trees算法.算法主要应用于回归问题.实验表明,该算法往往比其它算法具有更好的泛化性能和更高的运行效率.     

基于特征提取的选择性神经网络集成方法

针对现有神经网络集成研究方法在输入属性、集成方式和集成形式上的不足,提出一种基于特征提取的选择性神经网络集成模型-NsNNEIPCABag.该模型通过Bagging算法产生若干训练子集;利用改进的主成分分析(IPCA)提取主成分作为输入来训练个体网络;采用IPCA从所有个体网络中选择出部分线性无关的个体网络;采用神经网络对选择出来的个体网络进行非线性集成.为检验该模型的有效性,将其用于时间序列预测,结果表明本文提出的方法的泛化能力优于流行的其它集成方法.     

基于小生境技术的神经网络进化集成

针对目前神经网络集成方法中生成个体网络差异度小、集成泛化能力较差等缺点,提出一种基于小生境技术的神经网络进化集成方法。利用小生境技术在增加进化群体的多样性、提高进化局部搜索能力方面的良好性能,通过个体间相似程度的共享函数来调整神经网络集成中个体网络的适应度,再依据调整后的新适应度进行选择,以维护群体的多样性,得到多样性的个体网络。理论分析和实验结果表明,该方法能有效生成差异度较大的个体网络,提高神经网络集成系统的泛化能力与计算精度。     

Radial Basis Function network learning using localized generalization error bound

Training a classifier with good generalization capability is a major issue for pattern classification problems. A novel training objective function for Radial Basis Function (RBF) network using a localized generalization error model (L-GEM) is proposed in this paper. The localized generalization error model provides a generalization error bound for unseen samples located within a neighborhood that contains all training samples. The assumption of the same width for all dimensions of a hidden neuron in L-GEM is relaxed in this work. The parameters of RBF network are selected via minimization of the proposed objective function to minimize its localized generalization error bound. The characteristics of the proposed objective function are compared with those for regularization methods. For weight selection, RBF networks trained by minimizing the proposed objective function consistently outperform RBF networks trained by minimizing the training error, Tikhonov Regularization, Weight Decay or Locality Regularization. The proposed objective function is also applied to select center, width and weight in RBF network simultaneously. RBF networks trained by minimizing the proposed objective function yield better testing accuracies when compared to those that minimizes training error only.     

数据失衡下基于WGAN和GAPCNN的轴承故障诊断研究

针对轴承故障数据严重失衡导致所训练的模型诊断能力和泛化能力较差等问题,提出基于Wasserstein距离的生成对抗网络来平衡数据集的方法。该方法首先将少量故障样本进行对抗训练,待网络达到纳什均衡时,再将生成的故障样本添加到原始少量故障样本中起到平衡数据集的作用;提出基于全局平均池化卷积神经网络的诊断模型,将平衡后的数据集输入到诊断模型中进行训练,通过模型自适应地逐层提取特征,实现故障的精确分类诊断。实验结果表明,所提诊断方法优于其他算法和模型,同时拥有较强的泛化能力和鲁棒性。     

Assessing the Noise Immunity and Generalization of Radial Basis Function Networks

In previous work we have derived a magnitude termed the 'Mean Squared Sensitivity' (MSS) to predict the performance degradation of a MLP affected by perturbations in different parameters. The present Letter continues the same line of researching, applying a similar methodology to deal with RBF networks and to study the implications when they are affected by input noise. We obtain the corresponding analytical expression for MSS in RBF networks and validate it experimentally, using two different models for perturbations: an additive and a multiplicative model. We discuss the relationship between MSS and the generalization ability. MSS is proposed as a quantitative measurement to evaluate the noise immunity and generalization ability of a RBFN configuration, giving even more generalization to our approach.     

Self-paced hybrid dilated convolutional neural networks

Convolutional neural networks (CNNs) can learn the features of samples by supervised manner, and obtain outstanding achievements in many application fields. In order to improve the performance and generalization of CNNs, we propose a self-learning hybrid dilated convolution neural network (SPHDCNN), which can choose relatively reliable samples according to the current learning ability during training. In order to avoid the loss of useful feature map information caused by pooling, we introduce hybrid dilated convolution. In the proposed SPHDCNN, weight is applied to each sample to reflect the easiness of the sample. SPHDCNN employs easier samples for training first, and then adds more difficulty samples gradually according to the current learning ability. It gradually improves its performance by this learning mechanism. Experimental results show SPHDCNN has strong generalization ability, and it achieves more advanced performance compared to the baseline method.

     

Generalized RLS approach to the training of neural networks

Recursive least square (RLS) is an efficient approach to neural network training. However, in the classical RLS algorithm, there is no explicit decay in the energy function. This will lead to an unsatisfactory generalization ability for the trained networks. In this paper, we propose a generalized RLS (GRLS) model which includes a general decay term in the energy function for the training of feedforward neural networks. In particular, four different weight decay functions, namely, the quadratic weight decay, the constant weight decay and the newly proposed multimodal and quartic weight decay are discussed. By using the GRLS approach, not only the generalization ability of the trained networks is significantly improved but more unnecessary weights are pruned to obtain a compact network. Furthermore, the computational complexity of the GRLS remains the same as that of the standard RLS algorithm. The advantages and tradeoffs of using different decay functions are analyzed and then demonstrated with examples. Simulation results show that our approach is able to meet the design goals: improving the generalization ability of the trained network while getting a compact network.     

基于最近邻规则的神经网络训练样本选择方法

训练集中通常含有大量相似的样本, 会增加网络的训练时间并影响学习效果. 针对这一问题, 本文将最近邻法 (Nearest neighbor, NN) 简单快捷和神经网络高精度的特点相结合, 提出了一种基于最近邻规则的神经网络训练样本选择方法. 该方法考虑到训练样本对于神经网络性能的重要影响, 利用改进的最近邻规则选择最具有代表性的样本作为 神经网络的训练集. 实验结果表明, 所提出的方法能够有效去除训练集中的冗余信息, 以少量的样本获得更高的识别率, 减少网络的训练时间, 增强网络的泛化能力.     

基于样本个体差异性的深度神经网络训练方法

深度神经网络目前在许多任务中的表现已经达到甚至超越了人类的水平,但是其泛化能力和人类相比还是相去甚远.如何提高网络的泛化性,一直是重要的研究方向之一.围绕这个方向开展的大量卓有成效的研究,从扩展增强训练数据、通过正则化抑制模型复杂度、优化训练策略等角度,提出了很多行之有效的方法.这些方法对于训练数据集来说都是某种全局性质的策略,每一个样本数据都会被平等的对待.但是,每一个样本数据由于其携带的信息量、噪声等的不同,在训练过程中,对模型的拟合性能和泛化性能的影响也应该是有差异性的.针对是否一些样本在反复的迭代训练中更倾向于使得模型过度拟合,如何找到这些样本,是否可以通过对不同的样本采用差异化的抗过拟合策略使得模型获得更好的泛化性能等问题,提出了一种依据样本数据的差异性来训练深度神经网络的方法,首先使用预训练模型对每一个训练样本进行评估,判断每个样本对该模型的拟合效果;然后依据评估结果将训练集分为易使得模型过拟合的样本和普通的样本两个子集;最后,再使用两个子集的数据对模型进行交替训练,过程中对易使得模型过拟合的子集采用更强有力的抗过拟合策略.通过在不同的数据集上对多种深度模型进行的一系列实验...     

一种改进的选择神经网络集成方法

提出一种改进的选择神经网络集成方法,首先构造一批单个神经网络个体,分别利用Bootstrap算法产生若干个训练集并行进行训练;然后采用聚类算法计算训练好的个体网络之间的差异度和个体网络在验证集的预测精度;最后根据个体精度和个体差异度选择合适的个体网络加入集成.实验结果验证,该集成方法能较好地提高集成的预测精度和泛化能力.     

用于七段码识别的BP网络中虚拟样本的生成

针对BP网络用于工业仪表识别中的泛化能力较差问题,根据七段码数显仪表的特点,采用模拟七段码码段重叠的方法,构造虚拟样本,并研究了包含虚拟样本的新训练集和不包含虚拟样本的原始训练集下BP网络的识别效果和泛化能力,发现了新训练样本集训练得到的BP网络对仪表上的七段码识别率与原始训练集训练得到的BP网络相比,识别效果较好,且泛化能力提高了。实验结果表明了该虚拟样本的构造方法的有效性和合理性。