一种主动学习神经网络集成方法

分析了神经网络集成泛化误差、个体神经网络泛化误差、个体神经网络差异度之间的关系，提出了一种个体神经网络主动学习方法．个体神经网络同时交互训练，既满足了个体神经网络的精度要求，又满足了个体神经网络的差异性要求．另外，给出了一种个体神经网络选择性集成方法，对个体神经网络加入偏置量，增加了个体神经网络的可选数量，降低了神经网络集成的泛化误差．理论分析和实验结果表明，使用这种个体神经网络训练方法、个体神经网络选择性集成方法能够构建有效的神经网络集成系统．     

神经网络集成在图书剔旧分类中的应用

在分析图书剔旧工作的基础上，指出用智能的方法解决图书剔旧问题的必要性。提出了可以用神经网络集成技术来解决该问题，并给出一种动态构建神经网络集成的方法，该方法在训练神经网络集成成员网络时不仅调整网络的连接权值，而且动态地构建神经网络集成中各成员神经网络的结构，从而在提高单个网络精度的同时，增加了各网络成员之间的差异度，减小了集成的泛化误差。实验证明该方法可以有效地用于图书剔旧分类。     

一种基于神经网络集成的决策树构造方法

神经网络集成方法具有比单个神经网络更强的泛化能力，却因为其黑箱性而难以理解；决策树算法因为分类结果显示为树型结构而具有良好的可理解性，泛化能力却比不上神经网络集成。该文将这两种算法相结合，提出一种决策树的构造算法：使用神经网络集成来预处理训练样本，使用C4．5算法处理预处理后的样本并生成决策树。该文在UCI数据上比较了神经网络集成方法、决策树C4．5算法和该文算法，实验表明：该算法具有神经网络集成方法的强泛化能力的优点，其泛化能力明显优于C4．5算法；该算法的最终结果昆示为决策树，显然具有良好的可理解性。     

一种异构神经网络集成协同构造算法

提出一种异构神经网络集成的协同构造算法(HNNECC）。首先利用进化规划同时进化网络拓扑结构和连接权值，生成多个异构最优网络，然后对异构网络进行组合．在构造神经网络集成的过程中通过协同合作，保持各网络间的负相关。从而在提高成员网络精度的同时增加各成员网络之间的差异度．利用统计学习理论对算法进行分析，表明该方法具有很好的泛化性能．分别在四个数据集上进行了实验，相对于单个网络，本文方法可提高性能17％到85％，亦优于Bagging等传统固定结构的神经网络集成方法。     

基于梯度的并行协作模块化神经网络体系结构

该文提出了一种基于梯度的并行协作模块化神经网络的体系结构(GPCMNN)．它通过分解模块，根据梯度方法对学习样本空间自动分解，由子空间识别模块和子任务模块实现各子样本空间的识别和学习，集成模块将子样本空间结果集成得系统的输出，实现了复杂任务的自动分解、判定和模块化训练策略．实验表明，该文提出的GPCMNN体系结构是可行的、有效的；与非模块化神经网络技术相比，提高了训练速度，改善了网络性能．它具有高效并行的运行效率、便于硬件实现等特点，同时又保持了PCMNN算法的优点，改进了它的不足．     

基于广义回归网络的动态权重回归型神经网络集成方法研究

神经网络集成技术能有效地提高神经网络的预测精度和泛化能力，已成为机器学习和神经计算领域的一个研究热点。针对回归分析问题提出了一种动态确定结果合成权重的神经网络集成构造方法，在训练出个体神经网络之后，根据各个体网络在输入空间上对训练样本的预测误差，应用广义回归网络来动态地确定各个体网络在特定输入空间上的权重。实验结果表明，与传统的简单平均和加权平均方法相比，本集成方法能取得更好的预测精度。     

一种基于聚类技术的选择性神经网络集成方法

神经网络集成是一种很流行的学习方法，通过组合每个神经网络的输出生成最后的预测、为了提高集成方法的有效性，不仅要求集成中的个体神经网络具有很高的正确率，而且要求这些网络在输入空间产生不相关的错误．然而，在现有的众多集成方法中，大都采用将训练的所有神经网络直接进行组合以形成集成，实际上生成的这些神经网络可能具有一定的相关性．为了进一步提高神经网络间的差异性，一种基于聚类技术的选择性神经网络集成方法CLU_ENN被提出．在获得个体神经网络后，并不直接对这些神经网络集成，而是先应用聚类算法对这些神经网络模型聚类以获得差异较大的部分神经网络；然后由部分神经网络构成集成；最后，通过实验研究了CLU_ENN集成方法，与传统的集成方法Bagging相比，该方法取得了更好的效果。     

一种动态性神经网络的集成方法

提出一种动态性神经网络集成方法，该方法针对若干不同的神经网络，采用加权最近邻技术收集它们的泛化误差信息构成性能矩阵，在此基础上动态选择泛化误差较小的神经网络，经过动态平均形成集成的最终输出结果。实验表明，与其它方法相比，该方法具有令人满意的性能。     

神经网络泛化性能优化算法

基于提高神经网络泛化性能的目标提出了神经网络泛化损失率的概念,解析了与前一周期相比当前网络误差的变化趋势,在此基础上导出了基于泛化损失率的神经网络训练目标函数.利用新的目标函数和基于量子化粒子群算法的神经网络训练方法,得到了一种新的网络泛化性能优化算法.实验结果表明,将该算法与没有引入泛化损失率的算法相比,网络的收敛性能和泛化性能都有明显提高.     

基于个体选择的动态权重神经网络集成方法研究

神经网络集成技术能有效地提高神经网络的预测精度和泛化能力,已成为机器学习和神经计算领域的一个研究热点。该文针对回归分析问题提出了一种结合应用遗传算法进行个体选择和动态确定结果合成权重的神经网络集成构造方法。在训练出个体神经网络之后,应用遗传算法对个体网络进行选择,然后根据被选择的各个体网络在输入空间上对训练样本的预测误差,应用广义回归网络来动态地确定各个体网络在特定输入空间上的合成权重。实验结果表明,与仅应用个体网络选择或动态确定权重的方法相比,该集成方法基本上能取得更好地预测精度和相近的稳定性。     

基于因果发现的神经网络集成方法

现有的神经网络集成方法主要通过扰动训练数据来产生精确且差异度较大的个体网络,从而获得较强的泛化能力.利用因果发现技术,在取样结果中找出类别属性的祖先属性,然后使用仅包含这些属性的数据生成个体网络,从而有效地将扰动训练数据与扰动输入属性结合起来,以产生精确度高且差异度大的个体.实验结果表明,该方法的泛化能力与当前一些流行的集成方法相当或更好.     

一种选择性神经网络集成构造方法

提出了一种选择性神经网络集成构造方法,在训练出个体神经网络之后,使用遗传算法部分网络来组成神经网络集成。理论分析和实验结果表明,与传统的使用所有体网络的方法相比,该方法能够取得更好的效果。     

Design of ensemble neural network using entropy theory

Ensemble neural networks (ENNs) are commonly used neural networks in many engineering applications due to their better generalization properties. An ENN usually includes several component networks in its structure, and each component network commonly uses a single feed-forward network trained with the back-propagation learning rule. As the neural network architecture has a significant influence on its generalization ability, it is crucial to develop a proper algorithm to determine the ENN architecture. In this paper, an ENN, which combines the component networks using the entropy theory, is proposed. The entropy-based ENN searches the best structure of each component network first, and employs entropy as an automating design tool to determine the best combining weights. Two analytical functions - the peak function and the Friedman function are used to assess the accuracy of the proposed ensemble approach. Then, the entropy-based ENN is applied to the modeling of peak particle velocity (PPV) damage criterion for rock mass. These computational experiments have verified that the proposed entropy-based ENN outperforms the simple averaging ENN and the single NN.     

A new genetic feature selection with neural network ensemble

A neural network ensemble is a learning paradigm in which a finite collection of neural networks is trained for the same task. Ensembles generally show better classification and generalization performance than a single neural network does. In this paper, a new feature selection method for a neural network ensemble is proposed for pattern classification. The proposed method selects an adequate feature subset for each constituent neural network of the ensemble using a genetic algorithm. Unlike the conventional feature selection method, each neural network is only allowed to have some (not all) of the considered features. The proposed method can therefore be applied to huge-scale feature classification problems. Experiments are performed with four databases to illustrate the performance of the proposed method.     

带偏置的选择性神经网络集成构造方法

训练多个神经网络并将其结果进行合成，能显著地提高神经网络系统的泛化能力。本文提出了一种带偏置的选择性神经网络集成构造方法。对个体网络引入偏置项，增加可选网络的数量。选择部分网络集成，改善网络集成的性能。把个体网络的偏置项统一为集成偏置项，在训练出个体神经网络后，使用遗传算法选择部分网络集成，同时确定集成偏置项。理论分析和实验结果表明，该方法能够取得很好的网络集成效果。     

一种改进的选择神经网络集成方法

提出一种改进的选择神经网络集成方法,首先构造一批单个神经网络个体,分别利用Bootstrap算法产生若干个训练集并行进行训练;然后采用聚类算法计算训练好的个体网络之间的差异度和个体网络在验证集的预测精度;最后根据个体精度和个体差异度选择合适的个体网络加入集成.实验结果验证,该集成方法能较好地提高集成的预测精度和泛化能力.     

基于岛屿迁徙模型的RBF网络集成及其应用研究

神经网络集成是一种通过组合每个神经网络的输出生成最后预测的很流行的学习方法,可以显著地提高学习系统的泛化能力。为了提高集成方法的有效性,提出了一种基于分而治之的思想和岛屿迁徙模型的径向基神经网络集成的新方法。实验结果表明,岛屿迁徙神经网络集成预测模型不但可以提高系统对多维空间的高维搜索能力,简化网络结构,而且在产品的自动化检测试验中也可获得更高的预测精度。     

神经网络集成

神经网络集成通过训练多个神经网络并将成结论进行合成，可以显著地提高学习系统的泛化能力。它不仅有助于科学家对机器学习和神经的深入研究，还有助于普通工程技术人员利用神经网络技术来解决真实世界中的问题。因此，它被视为一种广阔应用前景的工程化神经计算技术，已经成为机器学习和神经计算领域的研究热点。该文从实现方法、理论分析和应用成果等三个方面综述了神经网络集成的国际研究现状，并对该领域值得进一步研究的一些问题进行了讨论。