基于差异性度量的多分类器集成系统设计

为了解决在分类器集成过程中分类性能要求高和集成过程复杂等问题,分析常规集成方法的优缺点,研究已有的分类器差异性度量方法,提出了筛选差异性尽可能大的分类器作为基分类器而构建的一个层级式分类器集成系统.构建不同的基分类器,选择准确率较高的备选,分析其差异性,选出差异大的分类器作为系统所需基分类器,构成集成系统.通过在UCI数据集上进行的试验,获得了很好的分类识别效果,验证了这种分类集成系统的优越性.     

一种新的分类器选择集成算法

为提高集成分类器系统的分类性能,提出一种分类器选择集成算法MCC-SCEN。该算法选取基分类器集中具有最大互信息差异性的子集和最大个体分类能力的子集,以确定待扩展分类器集,选择具有较大混合分类能力的基分类器加入到待扩展集中,构成集成系统,进行加权投票并产生结果。实验结果表明,该方法优于经典的AdaBoost和Bagging方法,具有较高的分类准确率。     

基于聚类选择的分类器集成*

提出了一种基于聚类选择的分类器集成方法,通过聚类把模式特征空间划分成不相交的区域,对于初始分类器集合,各区域给出分类器的删除分值,各分类器总分值确定其删除优先级别,由删除优先级别选择一组分类器组成集成。理论分析和实验结果表明,基于聚类选择的分类器集成方法能够更好地对模式进行分类。     

分类器的动态选择与循环集成方法

针对多分类器系统设计中最优子集选择效率低下、集成方法缺乏灵活性等问题, 提出了分类器的动态选择与循环集成方法 (Dynamic selection and circulating combination, DSCC). 该方法利用不同分类器模型之间的互补性, 动态选择出对目标有较高识别率的分类器组合, 使参与集成的分类器数量能够随识别目标的复杂程度而自适应地变化, 并根据可信度实现系统的循环集成. 在手写体数字识别实验中, 与其他常用的分类器选择方法相比, 所提出的方法灵活高效, 识别率更高.     

集成特征选择的广义粗集方法与多分类器融合

为改善多分类器系统的分类性能, 提出了基于广义粗集的集成特征选择方法. 为在集成特征选择的同时获取各特征空间中的多类模式可分性信息, 研究并提出了关于多决策表的相对优势决策约简, 给出了关于集成特征选择的集成属性约简 (Ensemble attribute reduction,EAR) 方法, 结合基于知识发现的 KD-DWV 算法进行了高光谱遥感图像植被分类比较实验. 结果表明, EAR 方法与合适的多分类器融合算法结合可有效提高多分类器融合的推广性.     

聚类的动态分类器集成选择

动态分类器集成选择(DCES)是当前集成学习领域中一个非常重要的研究方向。然而,当前大部分 DCES算法的计算复杂度较高。为了解决该问题和进一步提高算法的性能,本文提出了基于聚类的动态分类器集成选择(CDCES),该方法通过对测试样本聚类,极大地减少了动态选择分类器的次数,因而降低了算法的计算复杂度。同时, CDCES是一种更加通用的算法,传统的静态选择性集成和动态分类器集成为本算法的特殊情况,因而本算法是一种鲁棒性更强的算法。通过对UCI数据集进行测试,以及与其他算法作比较,说明本算法是一种有效的、计算复杂度较低的方法。     

面向异常数据流的多分类器选择集成方法

传统的多分类器选择算法产生较大的计算和存储开销。另外,多分类器对异常数据流的预测稳定性是解决概念飘移的重要因素。通过引入改进的决策轮廓矩阵和支持熵解决了每个分类器集合之间模糊差异度问题,并将支持熵作为差异度度量的输入衡量标准,使分类器集合之间的差异度计算更加稳定高效,并在此基础上提出了一种基于差异度集成的异常数据流检测方法并实现其算法;该方法应用在异常分类器选择模块,主要包括三个步骤：构建决策轮廓矩阵、整合支持熵、分类器集合差异度度量。实验结果表明,该算法对异常流量的预测精度和稳定性相比其他算法较好,由于分类器训练时间达到10－2 s左右,基本上能够适应数据流量检测的实时性需求。     

一种基于几何关系的多分类器差异性度量及其在多分类器系统构造中的应用

多分类器系统是应对复杂模式识别问题的有效手段之一. 当子分类器之间存在差异性或互补性时,多分类器系统往往能够获得比单分类器更高的分类正确率. 因而差异性度量在多分类器系统设计中至关重要. 目前已有的差异性度量方法虽能够在一定程度上刻画分类器之间的差异,但在应用中可能出现诸如差异性淹没等问题. 本文提出了一种基于几何关系的多分类器差异性度量,并在此基础上提出了一种多分类器系统构造方法,同时通过实验对比了使用新差异性度量方法和传统方法对多分类器系统融合分类正确率的影响. 结果表明,本文所提出的差异性度量能够很好地刻画分类器之间的差异,能从很大程度上抑制差异性淹没问题,并能有效应用于多分类器系统构造.     

一种识别手写汉字的多分类器集成方法

根据多信源信息处理与字符识别的经验知识，提出了一个识别手写汉字的多分类器线性集成模型．这个模型不仅考虑到不同的分类器对不同字符识别能力的不同，而且还考虑了不同的分类器得出的输入字符与参考模板之间相似度的实际大小对判决的影响，及不同分类器提供的候选字符对判决的支持作用，更重要的是提供了一种通过监督学习，利用计算机程序自动计算模型参数的方法，因而实现了一个较好的集成系统．同时，本文还提供了三个用于集成的分类器，它们集成的结果充分显示了本方法的有效性。     

一种识别手写汉字的多分类器集成方法

根据多信源信息处理与字符识别的经验知识,提出了一个识别手写汉字的多分类器线性集成模型.这个模型不仅考虑到不同的分类器对不同字符识别能力的不同,而且还考虑了不同的分类器得出的输入字符与参考模板之间相似度的实际大小对判决的影响,及不同分类器提供的候选字符对判决的支持作用,更重要的是提供了一种通过监督学习,利用计算机程序自动计算模型参数的方法,因而实现了一个较好的集成系统.同时,本文还提供了三个用于集成的分类器,它们集成的结果充分显示了本方法的有效性.     

一种新的双层多分类器组合算法

多分类器组合是解决复杂模式识别问题的有效办法。文章提出了一种新的双层多分类器组合算法,首先利用分类对象的主次特征构建了多个差异的融合方案,然后对这些融合方案进行最终的组合决策。实验结果表明,对于复杂分类问题,本文算法具有较高的正确识别率。     

基于选择性集成分类器的面部表情识别研究*

为了提高面部表情的分类识别性能,基于集成学习理论,提出了一种二次优化选择性(Quadratic Optimization Choice, QOC)集成分类模型。首先,对于9个基分类器,依据性能进行排序,选择前30%的基分类器作为集成模型的候选基分类器。其次,依据组合规则产生集成模型簇。最后,对集成模型簇进行二次优化选择,选择具有最小泛化误差的集成分类器的子集,从而确定最优集成分类模型。为了验证QOC集成分类模型的性能,选择采用最大值、最小值和均值规则的集成模型作为对比模型,实验结果表明：相对基分类器,QOC集成分类模型取得了较好的分类效果,尤其是对于识别率较差的悲伤表情类,平均识别率提升了21.11%。相对于非选择性集成模型,QOC集成分类模型识别性能也有显著提高。     

Measures of Diversity in Classifier Ensembles and Their Relationship with the Ensemble Accuracy

Diversity among the members of a team of classifiers is deemed to be a key issue in classifier combination. However, measuring diversity is not straightforward because there is no generally accepted formal definition. We have found and studied ten statistics which can measure diversity among binary classifier outputs (correct or incorrect vote for the class label): four averaged pairwise measures (the Q statistic, the correlation, the disagreement and the double fault) and six non-pairwise measures (the entropy of the votes, the difficulty index, the Kohavi-Wolpert variance, the interrater agreement, the generalized diversity, and the coincident failure diversity). Four experiments have been designed to examine the relationship between the accuracy of the team and the measures of diversity, and among the measures themselves. Although there are proven connections between diversity and accuracy in some special cases, our results raise some doubts about the usefulness of diversity measures in building classifier ensembles in real-life pattern recognition problems.     

集成学习的多分类器动态组合方法

为了提高数据的分类性能,提出一种集成学习的多分类器动态组合方法(DEA)。该方法在多个UCI标准数据集上进行测试,并与文中使用的基于Adaboost算法训练出的各个成员分类器的分类效果进行比较,证明了DEA的有效性。     

聚类集成中的差异性度量研究

集体的差异性被认为是影响集成学习的一个关键因素.在分类器集成中有许多的差异性度量被提出,但是在聚类集成中如何测量聚类集体的差异性,目前研究得很少.作者研究了7种聚类集体差异性度量方法,并通过实验研究了这7种度量在不同的平均成员聚类准确度、不同的集体大小和不同的数据分布情况下与各种聚类集成算法性能之间的关系.实验表明:这些差异性度量与聚类集成性能间并没有单调关系,但是在平均成员准确度较高、聚类集体大小适中和数据中有均匀簇分布的情况下,它们与集成性能间的相关度还是比较高的.最后给出了一些差异性度量用于指导聚类集体生成的可行性建议.     

基于重采样和集成选择的适用于实体识别的多分类器系统

实体识别常利用分类器根据记录对的字段相似度向量将记录对分为匹配、不匹配和可能匹配,因此分类器的准确性与实体识别的准确性直接相关。为提高分类准确性,本文基于重采样和集成选择技术构建一个多分类器系统。充分利用实体识别的特点,在分类之前发现分类困难的样本,并使重采样比率在一个区间内变化,生成一组重采样样本;然后用重采样后的样本训练分类器构建一个并行多分类器系统,强调分类器之间的差异度和稀疏度,从该多分类器系统中选择最优分类器子集,即最优的重采样比率组合,分别用非线性规划和极值方法求解该集成选择模型。实验结果表明,本方法与现有的多分类器系统相比具有更高的准确性。     

一种基于信息熵的多分类器动态组合方法

为提高数据分类的性能,提出了一种基于信息熵[1]的多分类器动态组合方法（EMDA）。此方法在多个UCI标准数据集上进行了测试,并与由集成学习算法—AdaBoost,训练出的各个基分类器的分类效果进行比较,证明了该算法的有效性。     

最大化边际的分类器选取算法

在分析了不同的多样性定义的基础上,给出了多样性度量应该考虑的三种因素。结合边际概念,提出了一种新的多样性度量标准。实验结果表明,与当前已有的典型的多样性定义相比,在利用爬山法进行分类器选取时,使用该方法所选出的分类器子集在大多数数据集合上都有更好的分类性能。     

一种基于改进的支持向量机多分类器图像标注方法

针对多标签图像标注问题,提出一种改进的支持向量机多分类器图像标注方法。首先引入直方图交叉距离作为核函数,然后把传统支持向量机的输出值变换为样本到超平面的距离。基于这两点改进,采用一种特征选择方法,从众多的图像特征中,选择那些相互之间冗余度较小的视觉特征,分别建立分类器,最终形成以距离大小为判别依据的支持向量机多分类器模型。此外,在建立分类器时,考虑到训练图像中不同标签类样本分布的不均匀,引入了一个关于图像类标签的概率分布值做为分类器的权重系数。实验采用ImageCLEF提供的图像标注数据集,在其上的实验验证了所采用的特征选择算法和多分类模型的有效性,其标注精度要优于其他传统分类模型,并且,实验结果与最新的方法相比也具有一定的竞争力。