一种k均值和神经网络集成的语音识别方法

提出了一种基于k均值聚类和BP神经网络集成的语音识别方法,该方法以神经网络集成模型为基础,利用k均值聚类算法选择部分有差异性的个体神经网络再进行集成学习,既克服了单个BP网络模型容易局部收敛和不稳定性的缺点,又解决了传统集成方法训练时间长和个体网络差异性不明显的问题。通过对非特定人孤立词的语音识别的实验,证实了该方法的有效性。     

带偏置的选择性神经网络集成构造方法

训练多个神经网络并将其结果进行合成,能显著地提高神经网络系统的泛化能力。本文提出了一种带偏置的选择性神经网络集成构造方法。对个体网络引入偏置项,增加可选网络的数量。选择部分网络集成,改善网络集成的性能。把个体网络的偏置项统一为集成偏置项,在训练出个体神经网络后,使用遗传算法选择部分网络集成,同时确定集成偏置项。理论分析和实验结果表明,该方法能够取得很好的网络集成效果。     

基于特征提取的选择性神经网络集成方法

针对现有神经网络集成研究方法在输入属性、集成方式和集成形式上的不足,提出一种基于特征提取的选择性神经网络集成模型-NsNNEIPCABag.该模型通过Bagging算法产生若干训练子集;利用改进的主成分分析(IPCA)提取主成分作为输入来训练个体网络;采用IPCA从所有个体网络中选择出部分线性无关的个体网络;采用神经网络对选择出来的个体网络进行非线性集成.为检验该模型的有效性,将其用于时间序列预测,结果表明本文提出的方法的泛化能力优于流行的其它集成方法.     

基于神经网络集成的数据分析

神经网络集成通过训练多个神经网络并将其结论进行适当的合成,可以显著地提高学习系统的泛化能力.然而,设计一个好的神经网络集成必须在个体准确性与彼此差异性之间取得一个平衡.本文提出了一种改进的神经网络集成构造方法--基于噪声传播的神经网络集成算法(NSENN).     

一种改进的选择神经网络集成方法

提出一种改进的选择神经网络集成方法,首先构造一批单个神经网络个体,分别利用Bootstrap算法产生若干个训练集并行进行训练;然后采用聚类算法计算训练好的个体网络之间的差异度和个体网络在验证集的预测精度;最后根据个体精度和个体差异度选择合适的个体网络加入集成.实验结果验证,该集成方法能较好地提高集成的预测精度和泛化能力.     

基于约束规划的选择性神经网络集成方法

提出了一种基于约束规划的选择性神经网络集成方法,在训练出个体网络之后,用约束规划方法选择出相对最佳的个体网络组成神经网络集成。理论分析和实验结果表明,该方法设计过程简单,能够以较小的运算代价提高神经网络集成的泛化能力。     

一种主动学习神经网络集成方法

分析了神经网络集成泛化误差、个体神经网络泛化误差、个体神经网络差异度之间的关系,提出了一种个体神经网络主动学习方法．个体神经网络同时交互训练,既满足了个体神经网络的精度要求,又满足了个体神经网络的差异性要求．另外,给出了一种个体神经网络选择性集成方法,对个体神经网络加入偏置量,增加了个体神经网络的可选数量,降低了神经网络集成的泛化误差．理论分析和实验结果表明,使用这种个体神经网络训练方法、个体神经网络选择性集成方法能够构建有效的神经网络集成系统．     

一种基于聚类技术的选择性神经网络集成方法

神经网络集成是一种很流行的学习方法,通过组合每个神经网络的输出生成最后的预测、为了提高集成方法的有效性,不仅要求集成中的个体神经网络具有很高的正确率,而且要求这些网络在输入空间产生不相关的错误．然而,在现有的众多集成方法中,大都采用将训练的所有神经网络直接进行组合以形成集成,实际上生成的这些神经网络可能具有一定的相关性．为了进一步提高神经网络间的差异性,一种基于聚类技术的选择性神经网络集成方法CLU_ENN被提出．在获得个体神经网络后,并不直接对这些神经网络集成,而是先应用聚类算法对这些神经网络模型聚类以获得差异较大的部分神经网络;然后由部分神经网络构成集成;最后,通过实验研究了CLU_ENN集成方法,与传统的集成方法Bagging相比,该方法取得了更好的效果。     

基于集成神经网络技术的IDS入侵检测系统研究

网络入侵检测是近几年信息安全领域的研究热点。为了提高网络入侵检测系统中异常数据检测的精度、降低漏报率和误报率,维护网络系统安全,该文提出了一种基于Adaboost算法集成BP神经网络的网络入侵检测方法。该方法首先构造个体BP神经网络模型,个体BP神经网络为弱分类器即可,然后通过大量训练样本对模型进行训练,采用Adaboost算法对其弱分类器进行集成构造强分类器模型。最后在KDD 99数据集上,通过Matlab软件进行仿真实验,实验结果表明,该方法能有效的提高异常数据检测的精度。     

优化分类型神经网络线性集成

构造多神经网络集成系统,系统的输出由个体神经网络的输出线性加权产生.提出了一种度量个体神经网络在不同的权重下集成性能的判别函数,函数表示了由个体神经网络输出刻画的模式类内会聚性和类间散布性.应用遗传算法解决了求解最优个体网络集成权重问题.分析了该判别函数的合理性及其与Bayes决策规则的关系.用两个手写体汉字特征数据集和4个UCI数据库中的数据集比较了所提出的神经网络集成方法和其他几种神经网络集成方法的性能.