基于动态加权的粗糙子空间集成

提出一种基于动态加权的粗糙子空间集成方法EROS-DW。利用粗糙集属性约简方法获得多个特征约简子集,并据此训练基分类器。在分类阶段,根据给定待测样本的具体特征动态地为每个基分类器指派相应的权重,采用加权投票组合规则集成各分类器的输出结果。利用UCI标准数据集对该方法的性能进行测试。实验结果表明,相较于经典的集成方法,EROS-DW方法可以获得更高的分类准确率。     

一种自适应子融合集成多分类器方法

融合集成方法已经广泛应用在模式识别领域,然而一些基分类器实时性能稳定性较差,导致多分类器融合性能差,针对上述问题本文提出了一种新的基于多分类器的子融合集成分类器系统。该方法考虑在度量层融合层次之上通过对各类基多分类器进行动态选择,票数最多的类别作为融合系统中对特征向量识别的类别,构成一种新的自适应子融合集成分类器方法。实验表明,该方法比传统的分类器以及分类融合方法识别准确率明显更高,具有更好的鲁棒性。     

多分类器选择集成方法

针对目前人们对分类性能的高要求和多分类器集成实现的复杂性,从基分类器准确率和基分类器间差异性两方面出发,提出了一种新的多分类器选择集成算法。该算法首先从生成的基分类器中选择出分类准确率较高的,然后利用分类器差异性度量来选择差异性大的高性能基分类器,在分类器集成之前先对分类器集进行选择获得新的分类器集。在UCI数据库上的实验结果证明,该方法优于bagging方法,取得了很好的分类识别效果。     

多模式扰动模型动态加权SVM集成研究

针对集成学习中bootstrap方法不能产生具有较大差异性的成员分类器,提出基于多模式扰动模型动态加权SVM集成方法。该方法在训练样本中使用bootstrap采样产生扰动,在输入特征中使用PCA特征滤波子空间法产生扰动,用自动模型选择法来动态扰动每个成员分类器的参数,用分类精度对成员分类器加权集成扰动输出。实验结果表明该方法比常用的bootstrap集成方法具有更好的集成效果。     

基于精简随机子空间的多生成树集成一类分类算法

由于高维数据通常存在冗余和噪声,在其上直接构造覆盖模型不能充分反映数据的分布信息,导致分类器性能下降.为此提出一种基于精简随机子空间多树集成分类方法.该方法首先生成多个随机子空间,并在每个子空间上构造独立的最小生成树覆盖模型.其次对每个子空间上构造的分类模型进行精简处理,通过一个评估准则(AUC值),对生成的一类分类器进行精简.最后均值合并融合这些分类器为一个集成分类器.实验结果表明,与其它直接覆盖分类模型和bagging算法相比,多树集成覆盖分类器具有更高的分类正确率.     

基于混合多距离度量的多分类器加权集成研究

在机器学习领域,分类器加权在小样本数据集中的分类正确率较低。为此,提出一种基于混合距离度量的多分类器加权集成方法。结合欧氏距离、曼哈顿距离、切比雪夫距离,设计混合的距离度量加权方法,使用加权投票组合规则集成各分类器的输出结果。实验结果表明,该方法鲁棒性较好,分类正确率较高。     

基于类别信息的分类器集成方法Cagging

提出一种基于类别信息的分类器集成方法Cagging.基于类别信息重复选择样本生成基本分类器的训练集,增强了基本分类器之间的差异性;利用基本分类器对不同模式类的分类能力为每个基本分类器设置一组权重.使用权重对各分类器输出结果进行加权决策,较好地利用了各个基本分类器之间的差异性.在人脸图像库ORL上的实验验证了Cagging的有效性.此外,Cagging方法的基本分类器生成方式适合于通过增量学习生成集成分类器,扩展Cagging设计了基于增量学习的分类器集成方法Cagging-Ⅰ,实验验证了它的有效性.     

基于FCM的两级集成分类器算法

基于模糊聚类的思想提出了一种新的两级集成分类器算法.将数据集用Fuzzy C-Means算法进行聚类,得到每个实例对应于每个类别的模糊隶属度.一级集成根据Bagging算法获得成员分类器,分类器个数为数据集类别数且每个成员分类器对应一个类别标号,这些成员分类器的采样方式是通过其对应类别的模糊隶属度为每个实例加权后进行随机重采样.二级集成是将一级集成产生的针对类别的成员分类器通过动态加权多数投票法来组合,学习到最终的分类结果.该算法称为EWFuzzyBagging,实验结果表明,该算法与Bagging和AdaBoost相比具有更好的健壮性.     

一种用于手写体汉字识别的候选字加权多分类器集成方法

提出了一种基于候选字加权的多分类器集成方法,并将其应用于手写体汉字的识别研究中。利用４种不同的特征提取方法构造了４个独立的分类器;利用不同分类器各候选字加权处理得到的置信度函数来构造集成函数,从而将４个独立的分类器集成为一个多分类器系统。通过实验分析了几种分类器集成的方法,验证了具有一定互补性的多分类器集成对手写体汉字的识别率有较大的提高。实验结果表明、所提出的方法是行之有效的。     

采用半随机特征采样算法的中文书写纹识别研究

N-gram字符序列能有效捕捉文本中作者的个体风格信息,但其特征空间稀疏度高,且存在较多噪音特征。针对该问题,提出一种基于半随机特征采样的中文书写纹识别算法。该算法首先采用一种离散度准则为每个作者选取一定粒度的个体特征集,然后将个体特征集以一种半随机选择机制划分成多个等维度的特征子空间,并基于每个子空间训练相应的基分类器,最后采取多数投票法的融合策略构造集成分类模型。在中文真实数据集上与基于随机子空间和Bagging算法的集成分类器进行了对比试验,结果表明,该算法在正确率和差异度方面优于随机子空间和Baggrog算法,并且取得了比单分类模型更好的识别性能。     

最小距离分类器的改进算法--加权最小距离分类器

最小距离分类器是一种简单而有效的分类方法。为了提高最小距离分类器的分类性能,主要的改进方法是选择更有效的距离度量。通过分析多重限制分类器和决策树分类器的分类原则,提出了基于标准化欧式距离的加权最小距离分类器。该分类器通过对标称型和字符串型属性的距离的加权定义。以及增加属性值的范围约束,扩大了最小标准化欧式距离分类器的适用范围,同时提高了其分类准确率。实验结果表明,加权最小距离分类器具有较高的分类准确率。     

从局部分类精度到分类置信度的变换

基于局部分类精度设计多分类器系统能够有效地提高分类正确率.目前流行的动态分类器选择方法不能充分利用各个基本分类器的信息.在动态分类器选择方法中,局部分类精度最高的基本分类器决定最终的分类结果,其他基本分类器的信息被忽略.提出了一种将局部分类精度变换为分类置信度的方法,从而可以利用度量层分类器融合方法对得到的置信度进行融合.与动态分类器选择方法相比,度量层分类器融合方法能够利用更多的信息,从而能够取得更高的分类正确率.ELENA数据库、UCI数据库和DELVE数据库上的大量实验表明,新方法在分类正确率方面超过动态分类器选择方法大约0.2%～13.6%.     

基于集成分类器的数据流分类算法

作为一种典型的大数据,数据流具有连续、无限、概念漂移和快速到达等特点,因此传统的分类技术无法直接有效地应用于数据流挖掘。本文在经典的精度加权集成（Accuracy weighted ensemble,AWE）算法的基础上提出概念自适应快速决策树更新集成（Concept very fast decision tree update ensemble,CUE）算法。该算法不仅在基分类器的权重分配方面进行了改进,而且在解决数据块大小的敏感性问题以及增加基分类器之间的相异性方面,有明显的改善。实验表明在分类准确率上,CUE算法高于AWE算法。最后,提出聚类动态分类器选择（Dynamic classifier selection with clustering,DCSC）算法。该算法基于分类器动态选择的思想,没有繁琐的赋权值机制,所以时间效率较高。实验结果验证了DCSC算法的有效和高效性,并能有效地处理概念漂移。     

使用PCA建立基于规则的组合分类器

提出了一种使用基于规则的基分类器建立组合分类器的新方法PCARules。尽管新方法也采用基分类器预测的加权投票来决定待分类样本的类,但是为基分类器创建训练数据集的方法与bagging和boosting完全不同。该方法不是通过抽样为基分类器创建数据集,而是随机地将特征划分成K个子集,使用PCA得到每个子集的主成分,形成新的特征空间,并将所有训练数据映射到新的特征空间作为基分类器的训练集。在UCI机器学习库的30个随机选取的数据集上的实验表明:算法不仅能够显著提高基于规则的分类方法的分类性能,而且与bagging和boosting等传统组合方法相比,在大部分数据集上都具有更高的分类准确率。     

基于自适应距离度量的最小距离分类器集成

提出了一种基于自适应距离度量的最小距离分类器集成方法,给出了个体分类器的生成方法。首先用Bootstrap技术对训练样本集进行可重复采样,生成若干个子样本集,应用生成的子样本集建立自适应距离度量模型,根据建立的模型对子样本集进行训练,生成个体分类器。在集成中,将结果用相对多数投票法集成最终的结论。采用UCI标准数据集实验,将该方法与已有方法进行了性能比较,结果表明基于自适应距离度量的最小距离分类器集成是最有效的。     

多层组合分类器研究

为了提高监督分类的精度，本文从组合分类器的结构出发，提出一种横向多层组合模型，并对这种模型的运行方式与组合特性进行分析。该模型每层含有一个分类器，每个分类器的输入和输出一起作为其后面一层的输入。我们将简单贝叶斯法与BP神经网络组合成两层分类器。实验结果表明，这种组合方式有效地提高了单个方法的分类精度。     

多类型分类器融合的文本分类方法研究

传统的文本分类方法大多数使用单一的分类器,而不同的分类器对分类任务的侧重点不同,就使得单一的分类方法有一定的局限性,同时每个特征提取方法对特征词的考虑角度不同。针对以上问题,提出了多类型分类器融合的文本分类方法。该模型使用了word2vec、主成分分析、潜在语义索引以及TFIDF特征提取方法作为多类型分类器融合的特征提取方法。并在多类型分类器加权投票方法中忽略了类别信息的问题,提出了类别加权的分类器权重计算方法。通过实验结果表明,多类型分类器融合方法在二元语料库、多元语料库以及特定语料库上都取得了很好的性能,类别加权的分类器权重计算方法比多类型分类器融合方法在分类性能方面提高了1.19%。     

基于非均衡样本集的煤矿突水预测模型

针对煤矿突水样本集呈非均衡分布的特点,提出基于集成学习分类的煤矿突水预测模型,重点研究基分类器的构建方法、性能衡量指标和权重分析,以及基于改进型Boosting的集成学习算法.实验结果表明,该算法以牺牲不突水样本的最小误判率为代价,实现突水样本100%的判别准确率,且计算量小,易于实现.     

具有多峰正态分布属性的视频语义分类研究

视频语义分类中常遇到多峰正态分布属性,如采用单峰值正态分布设计的贝叶斯分类模型会造成较大分类误差。本文采用定步长组合划分算（FLCPA）对多峰分布属性值域按类进行划分,以留一校验法（LOOCV）估算分类错误,找出给定步长下属性的多峰分布边界点,并用监督参数估计推断出每个分段区间上的概率分布函数,从而得到整个值域上的总体分布。此外,文中给出了涉及多峰分布属性的视频语义分类器设计步骤。实验数据表明,该方法能明显降低分类错误,有效提高分类性能。