基于模糊聚类的神经网络集成

针对差异性是集成学习的一个重要条件,研究基于模糊聚类技术提高神经网络集成差异性的方法。提取大量弱分类器的权值和阈值并作为模糊聚类的数据对象,然后将聚类结果作为集成网络中个体网络的权值和阈值,最后在标准数据集上进行仿真实验,证实方法的有效性。     

基于集成学习的入侵检测方法

入侵检测是近年来网络安全研究的热点。利用多分类器技术,研究了基于集成学习的入侵检测方法。应用Bootstrap技术生成分类器个体,为了提高分类器的差异性,应用聚类技术对分类器进行聚类,在相应的聚类结果中选取不同的分类器个体,并选择不同的融合方法对分类结果进行融合。针对入侵检测数据的实验表明了该集成技术的有效性。     

选择策略的集成学习方法研究

差异性是提高分类器集成泛化性能的重要因素。采用熵差异性度量及数据子集法训练基分类器,研究了爬山选择、集成前序选择、集成后序选择以及聚类选择策略选取个体模型的集成学习。实验结果表明,由选择策略选取差异性较大的个体模型,其集成性能表现出较好的优势;从总体角度考虑,爬山选择策略的集成性能优于集成前序选择和集成后序选择的集成性能;另外,由聚类技术选取的集成模型,当集成正确率较稳定时,则模型间的差异性变化较小;簇数也对集成性能与集成模型间的差异性产生一定的影响。     

模型聚类及在集成学习中的应用研究

聚类技术是一种重要的数据分析工具,在数据挖掘、模式识别等领域具有广泛的应用前景.通常,聚类算法的聚类对象为传统的数据集合,它们可以表示为欧式空间中的点.然而,在一些任务中,聚类的对象并不是显式的数据点,而是一些抽象的数据模型,例如神经网络、决策树、支持向量机等模型.通过定义广义的距离(实际任务中的距离定义可能各不相同),研究了数据对象为一般模型的聚类方法,提出了基于模型对象的一般聚类算法框架;作为模型聚类的一个应用,研究了应用神经网络模型的聚类提高集成学习差异性的方法,实验研究了聚类的簇数、集成学习的规模以及集成学习性能间的关系.     

一种基于聚类技术的选择性神经网络集成方法

神经网络集成是一种很流行的学习方法,通过组合每个神经网络的输出生成最后的预测、为了提高集成方法的有效性,不仅要求集成中的个体神经网络具有很高的正确率,而且要求这些网络在输入空间产生不相关的错误．然而,在现有的众多集成方法中,大都采用将训练的所有神经网络直接进行组合以形成集成,实际上生成的这些神经网络可能具有一定的相关性．为了进一步提高神经网络间的差异性,一种基于聚类技术的选择性神经网络集成方法CLU_ENN被提出．在获得个体神经网络后,并不直接对这些神经网络集成,而是先应用聚类算法对这些神经网络模型聚类以获得差异较大的部分神经网络;然后由部分神经网络构成集成;最后,通过实验研究了CLU_ENN集成方法,与传统的集成方法Bagging相比,该方法取得了更好的效果。     

基于差异性聚类的选择性集成人体行为识别模型

为了提高基于智能手机的人体行为识别率,优化多分类器集成系统的泛化性能及个体分类器的差异性,提出了基于差异性增量聚类(Diversity Measure Increment-Affinity Propagation clustering,DMI-AP)的选择性集成人体行为识别模型。首先对训练集的所有样本进行bootstrap抽样并训练基分类器,选出大于平均识别率的基分类器构成分类器集合;然后将集合的基分类器作为聚类对象进行分组,通过计算基分类器间的双误差异性值求出表征个体分类器特征的双误差异性增量值,输入近邻传播聚类算法得到k个类簇,选取每簇的中心分类器构成多分类器集成系统;最后使用等概率均值法融合k个分类器的输出结果。实验表明,该模型算法使个体分类器的差异性增大、分类器搜索空间缩小;与传统的Bagging,Adaboost以及RF方法相比,该模型的识别准确率平均提高了8.11%。     

基于中药提取的数据挖掘系统设计与实现①

系统主要应用数据挖掘方法对中药提取数据进行分析和预测。首先对数据进行集成和离散化处理,得到适合数据挖掘的数据集,然后利用k-means和DBSCAN聚类算法对质检数据进行聚类,得到工艺参数质检区间;并对Apriori算法进行了改进,在算法中加入了用户兴趣度的概念,控制了候选集指数增长,得到工艺参数和固含量的关系;并利用三层BP神经网络算法训练网络模型,得出过程参数和结果质量参数的关系,发现数据中隐含的规律,为企业优化工艺以及提高其生产效率降低成本等提供科学的分析、决策辅助工具。     

一种k均值和神经网络集成的语音识别方法

提出了一种基于k均值聚类和BP神经网络集成的语音识别方法,该方法以神经网络集成模型为基础,利用k均值聚类算法选择部分有差异性的个体神经网络再进行集成学习,既克服了单个BP网络模型容易局部收敛和不稳定性的缺点,又解决了传统集成方法训练时间长和个体网络差异性不明显的问题。通过对非特定人孤立词的语音识别的实验,证实了该方法的有效性。     

小规模数据集的神经网络集成算法研究

研究了小样本数据集的神经网络分类器集成，提出了适合于小样本数据集的神经网络分类器集成方法Novel_NNE，通过生成差异数据提高神经网络集成中个体的差异性，从而提高集成学习的泛化性能；最后应用不同的融合技术针对UCI标准数据集进行了实验研究．结果表明，在集成算法Novel_NNE中，使用相对多数投票与贝叶斯融合方法的性能优于行为知识空间融合方法．     

聚类集成中的差异性度量研究

集体的差异性被认为是影响集成学习的一个关键因素.在分类器集成中有许多的差异性度量被提出,但是在聚类集成中如何测量聚类集体的差异性,目前研究得很少.作者研究了7种聚类集体差异性度量方法,并通过实验研究了这7种度量在不同的平均成员聚类准确度、不同的集体大小和不同的数据分布情况下与各种聚类集成算法性能之间的关系.实验表明:这些差异性度量与聚类集成性能间并没有单调关系,但是在平均成员准确度较高、聚类集体大小适中和数据中有均匀簇分布的情况下,它们与集成性能间的相关度还是比较高的.最后给出了一些差异性度量用于指导聚类集体生成的可行性建议.     

根据混合选择策略的直觉模糊核匹配追踪集成算法

为了从分类器集成系统中选择出一组差异性大的子分类器,从而提高集成系统的泛化能力,提出了一种基于混合选择策略的直觉模糊核匹配追踪算法.基本思想是通过扰动训练集和特征空间生成一组子分类器;然后采用k均值聚类算法将对所得子分类器进行修剪,删去其中的冗余分类器;最后根据实际识别目标动态选择出较高识别率的分类器组合,使选择性集成规模能够随识别目标的复杂程度而自适应地变化,并基于预期识别精度实现循环集成.实验结果表明,与其他常用的分类器选择方法相比,本文方法灵活高效,具有更好的识别效果和泛化能力.     

基于免疫聚类的神经网络集成的研究

基于免疫聚类的思想,提出了一种神经网络集成方法。采用轮盘赌选择方法重复地从各免疫聚类中的抽取样本以构成神经网络集成中各个体神经网络的训练样本集,神经网络集成的输出采用相对多数投票法。将基于免疫聚类的神经网络集成应用于中医舌诊诊断,以肝病病证诊断进行仿真。实验结果表明:基于免疫聚类的神经网络集成比基于Bagging算法的神经网络集成能有效地提高其泛化能力。因此,基于免疫聚类的神经网络集成算法的研究是可行的、有效的。     

基于聚类与排序修剪的分类器集成方法*

为了提高分类器集成性能,提出了一种基于聚类算法与排序修剪结合的分类器集成方法。首先将混淆矩阵作为量化基分类器间差异度的工具,通过聚类将分类器划分为若干子集;然后提出一种排序修剪算法,以距离聚类中心最近的分类器为起点,根据分类器的距离对差异度矩阵动态加权,以加权差异度作为排序标准对子集中的分类器进行按比例修剪;最后使用投票法对选出的基分类器进行集成。同时与多种集成方法在UCI数据库中的10组数据集上进行对比与分析,实验结果表明基于聚类与排序修剪的分类器选择方法有效提升了集成系统的分类能力。     

多分类器融合在语音情感识别中的应用

针对语音情感识别问题,提出一种采用决策模板的多分类器融合方法,利用不同类型的声学特征子集来构造子分类器。不同的子集能充分提高各子分类器之间的“多样性”指标,这是多分类器融合算法能够成功应用的必备条件。与多数投票融合算法和支持向量机相比该方法取得了较好的识别结果。另一方面,从多样性指标分析的角度出发探究该方法能获得较好识别效果的原因。     

Improvements in image categorization using codebook ensembles

The problem of object category classification by committees or ensembles of classifiers, each of which is based on one diverse codebook, is addressed in this paper. Two methods of constructing visual codebook ensembles are proposed in this study. The first technique introduces diverse individual visual codebooks using different clustering algorithms. The second uses various visual codebooks of different sizes for constructing an ensemble with high diversity. Codebook ensembles are trained to capture and convey image properties from different aspects. Based on these codebook ensembles, different types of image representations can be acquired. A classifier ensemble can be trained based on different expression datasets from the same training image set. The use of a classifier ensemble to categorize new images can lead to improved performance. Detailed experimental analysis on a Pascal VOC challenge dataset reveals that the present ensemble approach performs well, consistently improves the performance of visual object classifiers, and results in state-of-the-art performance in categorization.     

似然K均值聚类用于涡扇发动机气路故障诊断

[K]均值聚类算法是聚类领域最知名的方法之一,然而[K]均值聚类完全依赖欧式距离进行聚类,忽略了样本特征离散程度对聚类结果的影响,导致聚类边缘样本容易被误聚类,且算法易局部收敛,聚类准确率较低。针对传统[K]均值聚类算法的不足,提出了似然[K]均值聚类算法,对于每个聚类的所有样本考虑每个维度样本特征的离散程度信息,分别计算样本属于某一聚类的似然概率,能够有效提高聚类准确率。在人造数据集和基准数据集验证了似然[K]均值聚类算法的优越性,将其应用于涡扇发动机气路部件故障以及传感器故障的模式识别,验证了该算法在涡扇发动机故障诊断中的实用性和有效性。     

一种基于神经网络集成的决策树构造方法

神经网络集成方法具有比单个神经网络更强的泛化能力，却因为其黑箱性而难以理解；决策树算法因为分类结果显示为树型结构而具有良好的可理解性，泛化能力却比不上神经网络集成。该文将这两种算法相结合，提出一种决策树的构造算法：使用神经网络集成来预处理训练样本，使用C4．5算法处理预处理后的样本并生成决策树。该文在UCI数据上比较了神经网络集成方法、决策树C4．5算法和该文算法，实验表明：该算法具有神经网络集成方法的强泛化能力的优点，其泛化能力明显优于C4．5算法；该算法的最终结果昆示为决策树，显然具有良好的可理解性。     

基于模糊关联规则挖掘的模糊入侵检测

论文把模糊关联规则挖掘算法引入到网络的入侵检测,利用该算法从网络数据集中提取出具有较高可信性和完备性的模糊规则,并利用这些规则设计和实现用于入侵检测的模糊分类器。同时,针对模糊关联规则挖掘算法,利用K-means聚类算法建立属性的模糊集和模糊隶属函数,并提出了一种双置信度算法以增加模糊规则的有效性和完备性。最后,给出了详实的实验过程和结果,以此来验证提出的模糊入侵检测方法的有效性。