神经网络集成的设计与应用

传统的神经网络一般采用个体网络,其应用效果很大程度上取决于使用者的经验,且网络的泛化能力不强.一种改进的神经网络集成方法,为传统神经网络存在的问题提供了一个简易的解决方案.由理论分析和实验结果可以得出结论,神经网络集成方法比传统的个体网络方法的效果更好.     

并行学习神经网络集成方法

该文分析了神经网络集成中成员神经网络的泛化误差、成员神经网络之间的差异度对神经网络集成泛化误差的影响,提出了一种并行学习神经网络集成方法;对参与集成的成员神经网络,给出了一种并行训练方法,不仅满足了成员网络本身的精度要求,还满足了它与其余成员网络的差异性要求;另外,给出了一种并行确定集成成员神经网络权重方法．实验结果表明,使用该文的成员神经网络训练方法、成员神经网络集成方法能够构建有效的神经网络集成系统．     

神经网络集成

神经网络集成通过训练多个神经网络并将成结论进行合成，可以显著地提高学习系统的泛化能力。它不仅有助于科学家对机器学习和神经的深入研究，还有助于普通工程技术人员利用神经网络技术来解决真实世界中的问题。因此，它被视为一种广阔应用前景的工程化神经计算技术，已经成为机器学习和神经计算领域的研究热点。该文从实现方法、理论分析和应用成果等三个方面综述了神经网络集成的国际研究现状，并对该领域值得进一步研究的一些问题进行了讨论。     

一种主动学习神经网络集成方法

分析了神经网络集成泛化误差、个体神经网络泛化误差、个体神经网络差异度之间的关系,提出了一种个体神经网络主动学习方法.个体神经网络同时交互训练,既满足了个体神经网络的精度要求,又满足了个体神经网络的差异性要求.另外,给出了一种个体神经网络选择性集成方法,对个体神经网络加入偏置量,增加了个体神经网络的可选数量,降低了神经网络集成的泛化误差.理论分析和实验结果表明,使用这种个体神经网络训练方法、个体神经网络选择性集成方法能够构建有效的神经网络集成系统.     

基于神经网络集成的数据分析

神经网络集成通过训练多个神经网络并将其结论进行适当的合成,可以显著地提高学习系统的泛化能力.然而,设计一个好的神经网络集成必须在个体准确性与彼此差异性之间取得一个平衡.本文提出了一种改进的神经网络集成构造方法--基于噪声传播的神经网络集成算法(NSENN).     

基于聚类分析的综合神经网络集成算法

研究神经网络集成是一种有效实用的分类方法,权值是影响神经网络集成性能的重要因素。为了克服神经网络集成固定权值的缺陷,提出一种基于聚类分析的综合神经网络集成算法。算法首先将样本分类,每类样本中加入其他样本类一定数量的中心样本,不同的神经网络学习不同类的样本。根据输入数据与样本类别之间的相关程度自适应调整集成权值。算法不仅用于自适应调整集成权值,而且是一种产生个体神经网络的训练方法。四个数据集上的仿真试验证实了算法的有效性。     

一种改进的选择神经网络集成方法

提出一种改进的选择神经网络集成方法,首先构造一批单个神经网络个体,分别利用Bootstrap算法产生若干个训练集并行进行训练;然后采用聚类算法计算训练好的个体网络之间的差异度和个体网络在验证集的预测精度;最后根据个体精度和个体差异度选择合适的个体网络加入集成.实验结果验证,该集成方法能较好地提高集成的预测精度和泛化能力.     

一种动态性神经网络的集成方法

提出一种动态性神经网络集成方法,该方法针对若干不同的神经网络,采用加权最近邻技术收集它们的泛化误差信息构成性能矩阵,在此基础上动态选择泛化误差较小的神经网络,经过动态平均形成集成的最终输出结果。实验表明,与其它方法相比,该方法具有令人满意的性能。     

基于特征提取的选择性神经网络集成方法

针对现有神经网络集成研究方法在输入属性、集成方式和集成形式上的不足,提出一种基于特征提取的选择性神经网络集成模型-NsNNEIPCABag.该模型通过Bagging算法产生若干训练子集;利用改进的主成分分析(IPCA)提取主成分作为输入来训练个体网络;采用IPCA从所有个体网络中选择出部分线性无关的个体网络;采用神经网络对选择出来的个体网络进行非线性集成.为检验该模型的有效性,将其用于时间序列预测,结果表明本文提出的方法的泛化能力优于流行的其它集成方法.     

基于知识发现的因果自动机

随着社会的发展,人们对因果关系的研究越来越受到重视,但到目前为止基本都是从现有的知识中寻找因果关系,存在无法发现更深层次的关系和规律的缺陷。为此,我们利用有限自动机可以精确地刻画软件系统或其子系统的行为的特性,从有限自动机入手,运用知识发现的方法,针对需要解决的问题挖掘出更深层次的因果关系和规律,将知识发现理论与因果关系的研究有机结合,较系统地形成因果关系的理论和方法,建立因果状态空间,形成基于知识发现的因果自动机的初步理论框架,以解决和发现不同形态下的因果关系。     

基于人工免疫网络的神经网络集成方法

提出基于人工免疫网络的神经网络集成方法AINEN。在用Bagging生成神经网络集成之后,将人工免疫网络的原理应用到神经网络集成,组成了一个从微观上看是一个一个的神经网络,而从宏观上看是一个大的人工免疫网络的集成。通过在微观层次上提高神经网络集成的个体之间的异构度,在宏观层次上提高免疫网络的适应度,从而降低集成的泛化误差。AINEN与GASEN方法在标准数据集上进行的实验表明,AINEN能取得更小的泛化误差。     

一种基于神经网络集成的规则学习算法

将神经网络集成与规则学习相结合，提出了一种基于神经网络集成的规则学习算法．该算法以神经网络集成作为规则学习的前端，利用其产生出规则学习所用的数据集，在此基础上进行规则学习．在UCl机器学习数据库上的实验结果表明，该算法可以产生泛化能力非常强的规则．     

基于神经网络的混合数据的因果发现

因果推理正在成为机器学习领域一个越来越受关注的研究热点,现阶段的因果发现主要是在研究某一种假设条件下,基于纯粹的观测数据推断变量之间的因果方向。然而在现实世界中观察到的数据往往是由一些假设生成,使得传统因果推断方法的识别率不高、稳定性较差。针对当前的问题,提出了一种基于神经网络来解决混合数据因果推断的方法。该方法在混合加性噪声模型(ANM-MM)的假设下,使用梯度下降法最优化改进的损失函数得到混合数据的抽象因果分布参数,然后将分布参数看作是原因变量和结果变量之间的隐变量,通过比较原因变量和分布参数之间的HilberSchmidt独立性来确定二元变量的因果方向。在理论上证明了该方法的可行性,并通过实验表明该算法在人工数据和真实数据的表现较传统的IGCI,ANM,PNL,LiNGAM,SLOPE方法具有较好的准确率和稳定性。     

基于集成神经网络的计算机病毒检测方法

在借鉴传统的特征扫描技术的基础上,提出了一种基于n-gram分析的计算机病毒自动检测方法。本文将基于信息增益的特征选择技术引入集成神经网络的构建中,结合Bagging算法,同时扰动训练数据和输入属性生成精确且差异度大的个体分类器,在此基础上以集成的 BP神经网络为模式分类器实现对病毒的检测。该法并不针对某一特定病毒,是一种通用的病毒检测器。实验表明提出的检测方法具有较强的泛化能力和较高的精确率。     

基于神经网络集成的入侵检测方法的研究

针对目前入侵检测中存在的误检率高、对新的入侵方法不敏感等问题,提出了一种基于神经网络集成的入侵检测方法。使用负相关法训练神经网络集成,采用tf×idf的系统调用编码方式作为输入。实验结果表明,与单神经网络方法相比,神经网络集成弥补了神经网络方法在检测数据上的不足,在保证较高的入侵检测率的前提下,保持了较低的误检率。     

一种异构神经网络集成协同构造算法

提出一种异构神经网络集成的协同构造算法(HNNECC）。首先利用进化规划同时进化网络拓扑结构和连接权值，生成多个异构最优网络，然后对异构网络进行组合．在构造神经网络集成的过程中通过协同合作，保持各网络间的负相关。从而在提高成员网络精度的同时增加各成员网络之间的差异度．利用统计学习理论对算法进行分析，表明该方法具有很好的泛化性能．分别在四个数据集上进行了实验，相对于单个网络，本文方法可提高性能17％到85％，亦优于Bagging等传统固定结构的神经网络集成方法。