神经网络集成

神经网络集成通过训练多个神经网络并将成结论进行合成，可以显著地提高学习系统的泛化能力。它不仅有助于科学家对机器学习和神经的深入研究，还有助于普通工程技术人员利用神经网络技术来解决真实世界中的问题。因此，它被视为一种广阔应用前景的工程化神经计算技术，已经成为机器学习和神经计算领域的研究热点。该文从实现方法、理论分析和应用成果等三个方面综述了神经网络集成的国际研究现状，并对该领域值得进一步研究的一些问题进行了讨论。     

基于神经网络集成的数据分析

神经网络集成通过训练多个神经网络并将其结论进行适当的合成,可以显著地提高学习系统的泛化能力.然而,设计一个好的神经网络集成必须在个体准确性与彼此差异性之间取得一个平衡.本文提出了一种改进的神经网络集成构造方法--基于噪声传播的神经网络集成算法(NSENN).     

基于改进聚类分析的神经网络集成方法应用研究

随着工业生产规模扩大、生产过程日趋复杂,人们对过程模拟提出了更高的要求。提出一种基于改进聚类分析的神经网络集成方法。首先,根据数据密度分布,改进传统K-均值聚类分析中初始中心点选取的不足,对样本进行分类,扩大样本间的差异性;第二,运用具有快速学习能力的广义回归神经网络算法对各类样本建立个体神经网络并进行训练;第三,对所有样本增加构造补偿神经网络,进行误差补偿,以消除由于选择错误造成的输出误差;最后,根据计算得到的聚类中心对输入样本进行数值分析,选择输出个体神经网络,并与构造的补偿网络输出进行比较,最终实现神经网络集成。通过人工数据Sinc验证模型,此方法有效提高了模型精度,对提高过程模拟准确性提供了新途径。     

基于因果发现的神经网络集成方法

现有的神经网络集成方法主要通过扰动训练数据来产生精确且差异度较大的个体网络,从而获得较强的泛化能力.利用因果发现技术,在取样结果中找出类别属性的祖先属性,然后使用仅包含这些属性的数据生成个体网络,从而有效地将扰动训练数据与扰动输入属性结合起来,以产生精确度高且差异度大的个体.实验结果表明,该方法的泛化能力与当前一些流行的集成方法相当或更好.     

基于聚类分析和集成神经网络的序列图像多目标识别算法

针对现有的集成神经网络的训练子集选择时没有考虑样本空间的分布情况,使得构造的训练子集具有很大的随机性和主观性,集成的差异性不能有效保证的缺点,提出了一种新的基于Hu七阶矩、RPCL聚类分析和集成神经网络的序列图像多目标识别算法.该方法首先在训练视频中连续提取序列图像中的目标--人、人群、汽车,利用Hu七阶矩提取轮廓信息.为了防止Hu七阶矩对小目标和非刚体目标的描述能力弱的缺点,再提取图像的面积信息.其次对所提取的8维数据采用基于对手惩罚策略的竞争学习算法(RPCL)进行聚类分析,得到待分样本的分布.再次采用提出的单个神经网络生成算法得到单个神经网络.最后采用相对多数方法对神经网络进行集成.采用基于boosting,bagging方法的集成神经网络和该算法进行比较,结果表明该方法的分类精度要高于传统方法,是一种有效的目标识别算法.     

神经网络集成的设计与应用

传统的神经网络一般采用个体网络,其应用效果很大程度上取决于使用者的经验,且网络的泛化能力不强.一种改进的神经网络集成方法,为传统神经网络存在的问题提供了一个简易的解决方案.由理论分析和实验结果可以得出结论,神经网络集成方法比传统的个体网络方法的效果更好.     

小规模数据集的神经网络集成算法研究

研究了小样本数据集的神经网络分类器集成,提出了适合于小样本数据集的神经网络分类器集成方法Novel\\-NNE,通过生成差异数据提高神经网络集成中个体的差异性,从而提高集成学习的泛化性能;最后应用不同的融合技术针对UCI标准数据集进行了实验研究.结果表明,在集成算法Novel\\-NNE中,使用相对多数投票与贝叶斯融合方法的性能优于行为知识空间融合方法.     

基于BP神经网络集成的钻井液粒度分布预测

利用BP神经网络模拟了钻井液的粒度分布与钻井液处理剂种类及加量之间的关系,并采用神经网络集成的方法提高模型的泛化能力。利用激光散射粒度分析仪测定了NaCl、CaCl_2、钻井液用高温抗盐降滤失剂SPNC、磺甲基酚醛树脂(SMP-2)4种处理剂对钻井液粒度分布的影响,选用60组实验数据作为试验样本,建立了钻井液粒度分布模型,并利用19组实验数据验证其精度。结果表明:该模型具有良好的预测精度,集成网络输出结果的平均误差率和最大误差率均小于单个神经网络子网,表现出良好的泛化能力;并利用该模型研究了单一处理剂对钻井液粒度的影响。     

一种基于神经网络集成的规则学习算法

将神经网络集成与规则学习相结合，提出了一种基于神经网络集成的规则学习算法．该算法以神经网络集成作为规则学习的前端，利用其产生出规则学习所用的数据集，在此基础上进行规则学习．在UCl机器学习数据库上的实验结果表明，该算法可以产生泛化能力非常强的规则．     

一种改进的选择神经网络集成方法

提出一种改进的选择神经网络集成方法,首先构造一批单个神经网络个体,分别利用Bootstrap算法产生若干个训练集并行进行训练;然后采用聚类算法计算训练好的个体网络之间的差异度和个体网络在验证集的预测精度;最后根据个体精度和个体差异度选择合适的个体网络加入集成.实验结果验证,该集成方法能较好地提高集成的预测精度和泛化能力.     

基于AP二次聚类的神经网络集成算法研究

为了提高个体神经网络精度及差异度进而提高神经网络集成(Neural Network Ensemble,NNE)的泛化性能,提出了一种基于二次聚类的神经网络集成方法。首先对所有样本进行聚类,得到第一次聚类样本子集;然后对每一类样本子集进行二次聚类,得到每一子类的样本子集,通过Affinity Propagation(AP)聚类使得"类内相似,类间相异"的准则最大化,类内样本能够反映真实的数据分布;最后按照排列组合的方式,从二次聚类的每个样本子集中选取一类样本构成训练集来构造一个个体神经网络。这样从不同类中选择样本集构造的个体神经网络差异性较大,既能使数据的规模较小,又能反映真实的数据分布,用这种方法产生的个体神经网络进行集成具有较高的性能。仿真实验表明,该方法能够取得较好的性能。     

一种基于神经网络集成的决策树构造方法

神经网络集成方法具有比单个神经网络更强的泛化能力,却因为其黑箱性而难以理解;决策树算法因为分类结果显示为树型结构而具有良好的可理解性,泛化能力却比不上神经网络集成。该文将这两种算法相结合,提出一种决策树的构造算法：使用神经网络集成来预处理训练样本,使用C4．5算法处理预处理后的样本并生成决策树。该文在UCI数据上比较了神经网络集成方法、决策树C4．5算法和该文算法,实验表明：该算法具有神经网络集成方法的强泛化能力的优点,其泛化能力明显优于C4．5算法;该算法的最终结果昆示为决策树,显然具有良好的可理解性。     

基于模糊聚类算法的神经网络集成

基于模糊聚类思想,提出了一种神经网络集成方法。利用隶属度函数,构造了一个分布函数,根据分布函数对训练数据进行抽样,用所抽得的数据作为个体神经网络的训练样本,多个个体神经网络构成神经网络集成,集成的输出采用相对多数投票法。理论分析和实验结果表明,该方法对模式分类能取得较好的效果。     

一种基于聚类技术的选择性神经网络集成方法

神经网络集成是一种很流行的学习方法,通过组合每个神经网络的输出生成最后的预测.为 了提高集成方法的有效性,不仅要求集成中的个体神经网络具有很高的正确率,而且要求这 些网络在输入空间产生不相关的错误.然而,在现有的众多集成方法中,大都采用将训练的 所有神经网络直接进行组合以形成集成,实际上生成的这些神经网络可能具有一定的相关性 .为了进一步提高神经网络间的差异性,一种基于聚类技术的选择性神经网络集成方法CLU_E NN被提出.在获得个体神经网络后,并不直接对这些神经网络集成,而是先应用聚类算法对 这些神经网络模型聚类以获得差异较大的部分神经网络;然后由部分神经网络构成集成;最 后,通过实验研究了CLU_ENN集成方法,与传统的集成方法Bagging相比,该方法取得了更好 的效果.     

基于约束规划的选择性神经网络集成方法

提出了一种基于约束规划的选择性神经网络集成方法,在训练出个体网络之后,用约束规划方法选择出相对最佳的个体网络组成神经网络集成。理论分析和实验结果表明,该方法设计过程简单,能够以较小的运算代价提高神经网络集成的泛化能力。     

基于数学形态学的聚类集成算法

提出了基于数学形态学的聚类集成算法CEOMM.它利用不同的结构元素的探针作用,对不同的结构元素探测出来的簇核心图进行集成,在集成所得到的簇核心基础上聚类.实验结果表明,算法CEOMM对有复杂类形状的数据集进行聚类时,效果比传统聚类算法更好,且能确定聚类数.而且由于采用了不同的结构元素进行探测,对于由不同形状的类构成的数据集其聚类效果很理想.     

一种基于聚类集成技术的混合型数据聚类算法

提出了一种基于集成技术和谱聚类技术的混合数据聚类算法CBEST。它利用聚类集成技术产生混合数据间的相似性,这种相似性度量没有对数据特征值分布模型做任何的假设。基于此相似性度量得到的待聚类数据的相似性矩阵,应用谱聚类算法得到混合数据聚类结果。大量真实和人工数据上的实验结果验证了CBEST的有效性和它对噪声的鲁棒性。与其它混合数据聚类算法的比较研究也证明了CBEST的优越性能。CBEST还能有效融合先验知识,通过参数的调节来设置不同属性在聚类中的权重。     

基于神经网络集成的强化学习算法系统设计

BP神经网络在目前的非线性系统中应用广泛,但是作为有导师的学习系统,BP神经网络必须要求提供相关的经验数据才能正常运行,这对一般系统来说是非常麻烦和不现实的。对此文章提出了一种基于神经网络集成的强化学习BP算法,通过强化学习体系来实现体统的自学习,通过网络集成来达到初始数据的预处理,提高系统的泛化能力,并在实际应用中取得较好的效果。     

基于神经网络集成的入侵检测方法的研究

针对目前入侵检测中存在的误检率高、对新的入侵方法不敏感等问题,提出了一种基于神经网络集成的入侵检测方法。使用负相关法训练神经网络集成,采用tf×idf的系统调用编码方式作为输入。实验结果表明,与单神经网络方法相比,神经网络集成弥补了神经网络方法在检测数据上的不足,在保证较高的入侵检测率的前提下,保持了较低的误检率。     

聚类集成时机的确定

使用集成学习技术可以提高聚类性能。在实验中发现,当各聚类成员聚类迭代到中后期时进行集成所得的结果会优于其迭代完全停止时进行集成所得的结果。利用集成网络泛化能力的偏差-方差分解理论对聚类集成过程中的上述现象进行解释,将提高集成网络间泛化能力的早期停止准则应用于聚类集成过程,并提出聚类集成时机的概念。对比实验表明,基于早期停止准则的聚类集成得到的结果较好,且更节约聚类集成的时间,为寻求聚类集成的最佳时机提供了可行性建议和方法。