优化分类型神经网络线性集成

构造多神经网络集成系统,系统的输出由个体神经网络的输出线性加权产生.提出了一种度量个体神经网络在不同的权重下集成性能的判别函数,函数表示了由个体神经网络输出刻画的模式类内会聚性和类间散布性.应用遗传算法解决了求解最优个体网络集成权重问题.分析了该判别函数的合理性及其与Bayes决策规则的关系.用两个手写体汉字特征数据集和4个UCI数据库中的数据集比较了所提出的神经网络集成方法和其他几种神经网络集成方法的性能.     

小规模数据集的神经网络集成算法研究

研究了小样本数据集的神经网络分类器集成，提出了适合于小样本数据集的神经网络分类器集成方法Novel_NNE，通过生成差异数据提高神经网络集成中个体的差异性，从而提高集成学习的泛化性能；最后应用不同的融合技术针对UCI标准数据集进行了实验研究．结果表明，在集成算法Novel_NNE中，使用相对多数投票与贝叶斯融合方法的性能优于行为知识空间融合方法．     

基于目标数据修正的差异性神经网络集成方法

通过对目标数据修正的原理进行分析,提出了一种新颖的基于目标数据修正的差异性神经网络集成方法.该方法利用对个体网络期望输出的动态修正,将其作为新的训练集,引导个体网络实现差异性学习.将其应用于变压器故障诊断,实验结果表明,该方法的故障诊断准确率优于个体网络独立训练的神经网络集成方法;与ADL(active diverse learning)方法相比,大大减少了集成网络的通信成本,是一种更为高效的神经网络集成方法.     

一种主动学习神经网络集成方法

分析了神经网络集成泛化误差、个体神经网络泛化误差、个体神经网络差异度之间的关系,提出了一种个体神经网络主动学习方法．个体神经网络同时交互训练,既满足了个体神经网络的精度要求,又满足了个体神经网络的差异性要求．另外,给出了一种个体神经网络选择性集成方法,对个体神经网络加入偏置量,增加了个体神经网络的可选数量,降低了神经网络集成的泛化误差．理论分析和实验结果表明,使用这种个体神经网络训练方法、个体神经网络选择性集成方法能够构建有效的神经网络集成系统．     

基于小生境技术的神经网络进化集成

针对目前神经网络集成方法中生成个体网络差异度小、集成泛化能力较差等缺点,提出一种基于小生境技术的神经网络进化集成方法。利用小生境技术在增加进化群体的多样性、提高进化局部搜索能力方面的良好性能,通过个体间相似程度的共享函数来调整神经网络集成中个体网络的适应度,再依据调整后的新适应度进行选择,以维护群体的多样性,得到多样性的个体网络。理论分析和实验结果表明,该方法能有效生成差异度较大的个体网络,提高神经网络集成系统的泛化能力与计算精度。     

在癌症分类中基于PPS抽样的集成神经网络算法

针对样本重组的有效性和合理性问题,将PPS抽样技术引入样本重构,提出了基于PPS抽样的集成神经网络算法,以提高个体神经网络的准确性与差异度,并实现动态选择个体神经网络的神经网络集成新方法.最后在结肠癌数据集上进行实验,实验结果表明,该方法与采用多个互相合作互相竞争的个体神经网络集成方法相当,但计算量更小,所用运算时间更少,效率更高.     

基于改进聚类分析的神经网络集成方法应用研究

随着工业生产规模扩大、生产过程日趋复杂,人们对过程模拟提出了更高的要求。提出一种基于改进聚类分析的神经网络集成方法。首先,根据数据密度分布,改进传统K-均值聚类分析中初始中心点选取的不足,对样本进行分类,扩大样本间的差异性;第二,运用具有快速学习能力的广义回归神经网络算法对各类样本建立个体神经网络并进行训练;第三,对所有样本增加构造补偿神经网络,进行误差补偿,以消除由于选择错误造成的输出误差;最后,根据计算得到的聚类中心对输入样本进行数值分析,选择输出个体神经网络,并与构造的补偿网络输出进行比较,最终实现神经网络集成。通过人工数据Sinc验证模型,此方法有效提高了模型精度,对提高过程模拟准确性提供了新途径。     

基于集成神经网络技术的IDS入侵检测系统研究

网络入侵检测是近几年信息安全领域的研究热点。为了提高网络入侵检测系统中异常数据检测的精度、降低漏报率和误报率,维护网络系统安全,该文提出了一种基于Adaboost算法集成BP神经网络的网络入侵检测方法。该方法首先构造个体BP神经网络模型,个体BP神经网络为弱分类器即可,然后通过大量训练样本对模型进行训练,采用Adaboost算法对其弱分类器进行集成构造强分类器模型。最后在KDD 99数据集上,通过Matlab软件进行仿真实验,实验结果表明,该方法能有效的提高异常数据检测的精度。     

神经网络集成与支持向量机在多值分类问题上的比较研究

神经网络集成和支持向量机都是在机器学习领域很流行的方法。集成方法成功地提高了神经网络的稳健性和精度,其中选择性集成方法通过算法选择差异度大的个体,取得了很好的效果。而支持向量机更是克服了神经网络的局部最优,不稳定等缺点,也在多个方面取得了很好的结果。该文着重研究这两种方法在小样本多类数据集上的性能,在四个真实数据集上的结果表明,支持向量机性能要比神经网络集成稍好.     

基于人工神经网络的负相关学习研究

人工神经网络集成技术是神经计算技术的一个研究热点,在许多领域中已经有了成熟的应用.神经网络集成是用有限个神经网络对同一个问题进行学习,集成在某输入示例下的输出由构成集成的各神经网络在该示例下的输出共同决定.负相关学习法是一种神经网络集成的训练方法,它鼓励集成中的不同个体网络学习训练集的不同部分,以使整个集成能更好地学习整个训练数据.改进的负相关学习法是在误差函数中使用一个带冲量的BP算法,给合了原始负相关学习法和带冲量的BP算法的优点,使改进的算法成为泛化能力强、学习速度快的批量学习算法.     

Simultaneous training of negatively correlated neural networks inan ensemble

This paper presents a new cooperative ensemble learning system (CELS) for designing neural network ensembles. The idea behind CELS is to encourage different individual networks in an ensemble to learn different parts or aspects of a training data so that the ensemble can learn the whole training data better. In CELS, the individual networks are trained simultaneously rather than independently or sequentially. This provides an opportunity for the individual networks to interact with each other and to specialize. CELS can create negatively correlated neural networks using a correlation penalty term in the error function to encourage such specialization. This paper analyzes CELS in terms of bias-variance-covariance tradeoff. CELS has also been tested on the Mackey-Glass time series prediction problem and the Australian credit card assessment problem. The experimental results show that CELS can produce neural network ensembles with good generalization ability.     

基于免疫聚类的神经网络集成的研究

基于免疫聚类的思想,提出了一种神经网络集成方法。采用轮盘赌选择方法重复地从各免疫聚类中的抽取样本以构成神经网络集成中各个体神经网络的训练样本集,神经网络集成的输出采用相对多数投票法。将基于免疫聚类的神经网络集成应用于中医舌诊诊断,以肝病病证诊断进行仿真。实验结果表明:基于免疫聚类的神经网络集成比基于Bagging算法的神经网络集成能有效地提高其泛化能力。因此,基于免疫聚类的神经网络集成算法的研究是可行的、有效的。     

Negatively correlated neural networks for classification

This paper presents a new algorithm for designing neural network ensembles for classification problems with noise. The idea behind this new algorithm is to encourage different individual networks in an ensemble to learn different parts or aspects of the training data so that the whole ensemble can learn the whole training data better. Negatively correlated neural networks are trained with a novel correlation penalty term in the error function to encourage such specialization. In our algorithm, individual networks are trained simultaneously rather than independently or sequentially. This provides an opportunity for different networks to interact with each other and to specialize. Experiments on two real-world problems demonstrate that the new algorithm can produce neural network ensembles with good generalization ability. This work was presented, in part, at the Third International Symposium on Artificial Life and Robotics, Oita, Japan January 19–21, 1998     

一种k均值和神经网络集成的语音识别方法

提出了一种基于k均值聚类和BP神经网络集成的语音识别方法,该方法以神经网络集成模型为基础,利用k均值聚类算法选择部分有差异性的个体神经网络再进行集成学习,既克服了单个BP网络模型容易局部收敛和不稳定性的缺点,又解决了传统集成方法训练时间长和个体网络差异性不明显的问题。通过对非特定人孤立词的语音识别的实验,证实了该方法的有效性。     

Ensemble of Evolving Neural Networks in Classification

The ensemble of evolving neural networks, which employs neural networks and genetic algorithms, is developed for classification problems in data mining. This network meets data mining requirements such as smart architecture, user interaction, and performance. The evolving neural network has a smart architecture in that it is able to select inputs from the environment and controls its topology. A built-in objective function of the network offers user interaction for customized classification. The bagging technique, which uses a portion of the training set in multiple networks, is applied to the ensemble of evolving neural networks in order to improve classification performance. The ensemble of evolving neural networks is tested by various data sets and produces better performance than both classical neural networks and simple ensemble methods.     

最小一乘回归神经网络集成方法股市建模研究

提出了一种新的神经网络集成股市建模方法,采用偏最小二乘方法构造神经网络输入矩阵,利用Bagging技术和不同的神经网络学习算法生成集成个体,再用遗传算法选择参与集成的个体,以"误差绝对值和最小"为最优准,建立最小一乘回归神经网络集成模型,通过上证指数开盘价、收盘价进行实例分析,计算结果表明该方法具有较好的学习能力和泛化能力,在股市预测中预测精度高、稳定性好.     

基于特征提取的选择性神经网络集成方法

针对现有神经网络集成研究方法在输入属性、集成方式和集成形式上的不足,提出一种基于特征提取的选择性神经网络集成模型-NsNNEIPCABag.该模型通过Bagging算法产生若干训练子集;利用改进的主成分分析(IPCA)提取主成分作为输入来训练个体网络;采用IPCA从所有个体网络中选择出部分线性无关的个体网络;采用神经网络对选择出来的个体网络进行非线性集成.为检验该模型的有效性,将其用于时间序列预测,结果表明本文提出的方法的泛化能力优于流行的其它集成方法.     

神经网络集成在图书剔旧分类中的应用

在分析图书剔旧工作的基础上，指出用智能的方法解决图书剔旧问题的必要性。提出了可以用神经网络集成技术来解决该问题，并给出一种动态构建神经网络集成的方法，该方法在训练神经网络集成成员网络时不仅调整网络的连接权值，而且动态地构建神经网络集成中各成员神经网络的结构，从而在提高单个网络精度的同时，增加了各网络成员之间的差异度，减小了集成的泛化误差。实验证明该方法可以有效地用于图书剔旧分类。     

Learning from imperfect data

For a supervised learning method, the quality of the training data or the training supervisor is very important in generating reliable neural networks. However, for real world problems, it is not always easy to obtain high quality training data sets. In this research, we propose a learning method for a neural network ensemble model that can be trained with an imperfect training data set, which is a data set containing erroneous training samples. With a competitive training mechanism, the ensemble is able to exclude erroneous samples from the training process, thus generating a reliable neural network. Through the experiment, we show that the proposed model is able to tolerate the existence of erroneous training samples in generating a reliable neural network.The ability of the neural network to tolerate the existence of erroneous samples in the training data lessens the costly task of analyzing and arranging the training data, thus increasing the usability of the neural networks for real world problems.