基于特征提取的选择性神经网络集成方法

针对现有神经网络集成研究方法在输入属性、集成方式和集成形式上的不足,提出一种基于特征提取的选择性神经网络集成模型-NsNNEIPCABag.该模型通过Bagging算法产生若干训练子集;利用改进的主成分分析(IPCA)提取主成分作为输入来训练个体网络;采用IPCA从所有个体网络中选择出部分线性无关的个体网络;采用神经网络对选择出来的个体网络进行非线性集成.为检验该模型的有效性,将其用于时间序列预测,结果表明本文提出的方法的泛化能力优于流行的其它集成方法.     

基于文化算法的选择性神经网络集成方法

提出一种基于文化算法的选择性神经网络集成方法.该方法通过文化算法选择部分网络来组成神经网络集成,并将多层信念空间引入文化算法框架,充分利用了优秀个体所包含的种群信息,使个体间保持较大的差异度,减少"多维共线性"和样本噪声的影响.实验表明,该方法能够提高神经网络集成的性能.     

基于线性约束规划问题的神经网络模型

提出了一种基于梯度投影矩阵下的求解线性约束下规划问题的神经网络模型,并导出了线性约束下规划问题的稳定解法,该网络模型既适合于求解线性约束下线性或非二次规划问题,又适合于求解线性或非线性方程组,与其它规划问题的神经网络相比,更具有一般性。     

基于混沌PSO算法的选择性神经网络集成方法

提出基于十进制粒子群优化算法（DePSO）和二进制PSO算法（BiPSO）的选择性神经网络集成(NNE)方法,通过PSO算法合理选择组成神经网络集成的各个神经网络,使个体间保持较大的差异度,减小"多维共线性"和样本噪声的影响。为有效保证PSO算法的粒子多样性,在迭代过程中加入混沌变异。试验表明,混沌PSO算法是组合优化权值的有效方法,同已有方法比较可以有效提高神经网络集成的泛化能力。     

基于最优权值的选择性神经网络集成方法

本文提出一种基于最优权值的选择性神经网络集成构造方法,在训练出个体神经网络之后,使用遗传算法计算出这些网络在加权平均方法中对应的最优权值,然后选择权值大于一定阈值的部分网络使用简单平均方法组成神经网络集成.理论分析和实验结果表明,与传统方法相比,本文方法使用部分网络能够取得更好的效果.     

基于集成约束无人机两步制航迹规划方法

无人机航迹规划是一个富含地形威胁、雷达威胁和自身可飞性等多约束的优化问题.采用两步制的规划框架,提出一种基于集成约束的无人机航迹规划方法.规划第1阶段采用基于多种群策略的差分进化优化方法,规划第2阶段采用海洋捕食者算法的Lévy运动优化;集成约束机制在搜索过程中动态更新约束策略来补偿可行解数量骤减,抑制搜索停滞.与典型算法和约束处理策略进行对比,实验结果表明,所提出无人机航迹规划方法收敛性好、稳定性强,能够有效地求解复杂多约束无人机航迹规划问题.     

一种基于聚类技术的选择性神经网络集成方法

神经网络集成是一种很流行的学习方法,通过组合每个神经网络的输出生成最后的预测.为 了提高集成方法的有效性,不仅要求集成中的个体神经网络具有很高的正确率,而且要求这 些网络在输入空间产生不相关的错误.然而,在现有的众多集成方法中,大都采用将训练的 所有神经网络直接进行组合以形成集成,实际上生成的这些神经网络可能具有一定的相关性 .为了进一步提高神经网络间的差异性,一种基于聚类技术的选择性神经网络集成方法CLU_E NN被提出.在获得个体神经网络后,并不直接对这些神经网络集成,而是先应用聚类算法对 这些神经网络模型聚类以获得差异较大的部分神经网络;然后由部分神经网络构成集成;最 后,通过实验研究了CLU_ENN集成方法,与传统的集成方法Bagging相比,该方法取得了更好 的效果.     

一种选择性神经网络集成构造方法

提出了一种选择性神经网络集成构造方法,在训练出个体神经网络之后,使用遗传算法部分网络来组成神经网络集成。理论分析和实验结果表明,与传统的使用所有体网络的方法相比,该方法能够取得更好的效果。     

基于因果发现的神经网络集成方法

现有的神经网络集成方法主要通过扰动训练数据来产生精确且差异度较大的个体网络,从而获得较强的泛化能力.利用因果发现技术,在取样结果中找出类别属性的祖先属性,然后使用仅包含这些属性的数据生成个体网络,从而有效地将扰动训练数据与扰动输入属性结合起来,以产生精确度高且差异度大的个体.实验结果表明,该方法的泛化能力与当前一些流行的集成方法相当或更好.     

一种基于神经网络集成的决策树构造方法

神经网络集成方法具有比单个神经网络更强的泛化能力,却因为其黑箱性而难以理解;决策树算法因为分类结果显示为树型结构而具有良好的可理解性,泛化能力却比不上神经网络集成。该文将这两种算法相结合,提出一种决策树的构造算法：使用神经网络集成来预处理训练样本,使用C4．5算法处理预处理后的样本并生成决策树。该文在UCI数据上比较了神经网络集成方法、决策树C4．5算法和该文算法,实验表明：该算法具有神经网络集成方法的强泛化能力的优点,其泛化能力明显优于C4．5算法;该算法的最终结果昆示为决策树,显然具有良好的可理解性。     

基于神经网络集成的入侵检测方法的研究

针对目前入侵检测中存在的误检率高、对新的入侵方法不敏感等问题,提出了一种基于神经网络集成的入侵检测方法。使用负相关法训练神经网络集成,采用tf×idf的系统调用编码方式作为输入。实验结果表明,与单神经网络方法相比,神经网络集成弥补了神经网络方法在检测数据上的不足,在保证较高的入侵检测率的前提下,保持了较低的误检率。     

基于人工免疫网络的神经网络集成方法

提出基于人工免疫网络的神经网络集成方法AINEN。在用Bagging生成神经网络集成之后,将人工免疫网络的原理应用到神经网络集成,组成了一个从微观上看是一个一个的神经网络,而从宏观上看是一个大的人工免疫网络的集成。通过在微观层次上提高神经网络集成的个体之间的异构度,在宏观层次上提高免疫网络的适应度,从而降低集成的泛化误差。AINEN与GASEN方法在标准数据集上进行的实验表明,AINEN能取得更小的泛化误差。     

带偏置的选择性神经网络集成构造方法

训练多个神经网络并将其结果进行合成,能显著地提高神经网络系统的泛化能力。本文提出了一种带偏置的选择性神经网络集成构造方法。对个体网络引入偏置项,增加可选网络的数量。选择部分网络集成,改善网络集成的性能。把个体网络的偏置项统一为集成偏置项,在训练出个体神经网络后,使用遗传算法选择部分网络集成,同时确定集成偏置项。理论分析和实验结果表明,该方法能够取得很好的网络集成效果。     

基于聚类分析的综合神经网络集成算法

研究神经网络集成是一种有效实用的分类方法,权值是影响神经网络集成性能的重要因素。为了克服神经网络集成固定权值的缺陷,提出一种基于聚类分析的综合神经网络集成算法。算法首先将样本分类,每类样本中加入其他样本类一定数量的中心样本,不同的神经网络学习不同类的样本。根据输入数据与样本类别之间的相关程度自适应调整集成权值。算法不仅用于自适应调整集成权值,而且是一种产生个体神经网络的训练方法。四个数据集上的仿真试验证实了算法的有效性。     

基于粗糙集约简的特征选择神经网络集成技术

为了提升集成网络的泛化性能,在Boosting或Bagging算法对样本进行扰动的基础上,通过粗糙集约简实现特征属性选择,将样本扰动和输入属性扰动结合起来,提出了Rough_Boosting和Rough_Bagging算法.该算法通过生成精确度高且差异度大的个体网络,提高了集成的泛化能力.实验结果表明,该算法泛化能力明显优于Boosting和Bagging算法,且生成的个体网络差异度更大,与同类算法相比,具有相近或相当的性能.     

基于AP二次聚类的神经网络集成算法研究

为了提高个体神经网络精度及差异度进而提高神经网络集成(Neural Network Ensemble,NNE)的泛化性能,提出了一种基于二次聚类的神经网络集成方法。首先对所有样本进行聚类,得到第一次聚类样本子集;然后对每一类样本子集进行二次聚类,得到每一子类的样本子集,通过Affinity Propagation(AP)聚类使得"类内相似,类间相异"的准则最大化,类内样本能够反映真实的数据分布;最后按照排列组合的方式,从二次聚类的每个样本子集中选取一类样本构成训练集来构造一个个体神经网络。这样从不同类中选择样本集构造的个体神经网络差异性较大,既能使数据的规模较小,又能反映真实的数据分布,用这种方法产生的个体神经网络进行集成具有较高的性能。仿真实验表明,该方法能够取得较好的性能。