双色红外图像目标多特征决策级融合识别算法

针对双色红外成像系统中的自动目标识别问题,提出了一种采用多特征多分类器决策级融合的目标识别算法。该算法首先提取目标的形状特征和面貌特征;接着基于各种不同特征设计多个分类器对目标进行分类;然后采用所设计的多分类器决策级融合策略对多个分类器的目标分类结果进行融合处理;最后采用所提出的决策规则对多分类器融合分类结果进行处理得到最终的目标识别结果。该算法充分利用了目标在多传感器图像中的多种分类特征信息,在较大程度上提高了系统的目标识别效率和精确性。实验结果证实了该算法的有效性。     

从局部分类精度到分类置信度的变换

基于局部分类精度设计多分类器系统能够有效地提高分类正确率.目前流行的动态分类器选择方法不能充分利用各个基本分类器的信息.在动态分类器选择方法中,局部分类精度最高的基本分类器决定最终的分类结果,其他基本分类器的信息被忽略.提出了一种将局部分类精度变换为分类置信度的方法,从而可以利用度量层分类器融合方法对得到的置信度进行融合.与动态分类器选择方法相比,度量层分类器融合方法能够利用更多的信息,从而能够取得更高的分类正确率.ELENA数据库、UCI数据库和DELVE数据库上的大量实验表明,新方法在分类正确率方面超过动态分类器选择方法大约0.2%~13.6%.     

基于Sugeno模糊积分神经网络分类器融合方法在手写数字识别中的应用

神经网络是模式识别中一种常见的分类器.针对同一个分类问题,构建多个分类器并把多个分类器进行融合可以提高分类系统的分类正确率、改善系统的稳健性.首先介绍了Sugeno模糊积分及Sugeno模糊积分神经网络分类器融合方法的一般原理,而后将其应用于手写数字识别,通过实际的案例验证了该融合方法的有效性和可行性.     

一种新的分裂层次聚类SVM多值分类器

提出一种分裂层次聚类SVM分类树分类方法.该方法通过融合模糊聚类技术和支持向量机算法,利用分裂的层次聚类策略,有选择地重新构造学习样本集和SVM子分类器,得到了一种树形多值分类器.研究结果表明,对于k类别模式识别问题,该方法只需构造k-1个SVM子分类器,克服了SVM子分类器过多以及存在不可区分区域的缺点,具有良好的分类性能.实验结果验证了该方法的优越性.     

基于全信息相关度的动态多分类器融合

AdaB00st采用级联方法生成各基分类器,较好地体现了分类器之间的差异性和互补性.其存在的问题是,在迭代的后期,训练分类器越来越集中在某一小区域的样本上,生成的基分类器体现不同区域的分类特征.根据基分类器的全局分类性能得到固定的投票权重,不能体现基分类器在不同区域上的局部性能差别.因此,本文基于Ada-Boost融合方法,利用待测样本与各分类器的全信息相关度描述基分类器的局部分类性能,提出基于全信息相关度的动态多分类器融合方法,根据各分类器对待测样本的局部分类性能动态确定分类器组合和权重.仿真实验结果表明,该算法提高了融合分类性能.     

基于融合分类和支持向量机的入侵检测研究

为了在提高入侵检测的检测率的同时降低虚警率,基于融合分类和支持向量机的异常检测利用融合分类器进行入侵检测.融合分类器包含三个不同的分类器:基于属性选择的支持向量机,基于样本剔除的支持向量机以及标准支持向量机.仿真实验由三部分组成:首先,预处理数据,然后,对完成预处理的数据分别用三个分类器进行预分类,最后,由这三个分类器实际输出的加权和进行融合决策.权值的最优化是一个NP-hard问题,在实验中,利用各分类器预分类的检测率作为其对应的权值简化了权值寻优的过程.实验结论表明,基于融合分类和支持向量机的异常检测可提高入侵检测的整体性能.     

基于粗糙集约简的多分类器系统构造方法

多分类器系统是近年来兴起的一种有效的分类机制,为提高多分类器系统的分类精度,提出了一种基于粗糙集约简构造多分类器系统的机制,并从输入和输出两个角度对如何选择单个分类器进行了探讨。通过对4个UCI数据集进行验证,发现基于输出的选择融合方法得到了最好的分类效果。     

基于SVM决策树的文本分类器

研究了SVM决策树分类器在文本分类中的应用,提出了一种有效的SVM决策树分类器的优化构建方 法.该方法利用类间距离衡量两类间的可分性,并进一步用来描述各结点分类器类集合间的可分性.基于综合考虑结点分类器的类集合可分性,该方法能够获得优化的结点分类器类划分算法,由此构建的SVM决策树分类器在整体性能上得到优化,在文本分类中获得良好效果.     

一种基于几何关系的多分类器差异性度量及其在多分类器系统构造中的应用

多分类器系统是应对复杂模式识别问题的有效手段之一. 当子分类器之间存在差异性或互补性时,多分类器系统往往能够获得比单分类器更高的分类正确率. 因而差异性度量在多分类器系统设计中至关重要. 目前已有的差异性度量方法虽能够在一定程度上刻画分类器之间的差异,但在应用中可能出现诸如差异性淹没等问题. 本文提出了一种基于几何关系的多分类器差异性度量,并在此基础上提出了一种多分类器系统构造方法,同时通过实验对比了使用新差异性度量方法和传统方法对多分类器系统融合分类正确率的影响. 结果表明,本文所提出的差异性度量能够很好地刻画分类器之间的差异,能从很大程度上抑制差异性淹没问题,并能有效应用于多分类器系统构造.     

面向异构数据库集成的混合式元素分类技术研究

提出一种支持异构数据库集成的基于模式的元素分类技术,融合了基于语言和基于约束的分类方法,首先使用最大优先策略组合基于语言的分类算法形成复合元素名称分类器,然后将名称分类结果和元素模式约束转化为向量输入神经网络分类器,从而完成数据库元素分类.通过组合使用复合名称分类器和神经网络分类器,使得此方法可以应用于更复杂的分类环境.     

Cost Complexity-Based Pruning of Ensemble Classifiers

In this paper we study methods that combine multiple classification models learned over separate data sets. Numerous studies posit that such approaches provide the means to efficiently scale learning to large data sets, while also boosting the accuracy of individual classifiers. These gains, however, come at the expense of an increased demand for run-time system resources. The final ensemble meta-classifier may consist of a large collection of base classifiers that require increased memory resources while also slowing down classification throughput. Here, we describe an algorithm for pruning (i.e., discarding a subset of the available base classifiers) the ensemble meta-classifier as a means to reduce its size while preserving its accuracy and we present a technique for measuring the trade-off between predictive performance and available run-time system resources. The algorithm is independent of the method used initially when computing the meta-classifier. It is based on decision tree pruning methods and relies on the mapping of an arbitrary ensemble meta-classifier to a decision tree model. Through an extensive empirical study on meta-classifiers computed over two real data sets, we illustrate our pruning algorithm to be a robust and competitive approach to discarding classification models without degrading the overall predictive performance of the smaller ensemble computed over those that remain after pruning. Received 30 August 2000 / Revised 7 March 2001 / Accepted in revised form 21 May 2001     

结合Rotation Forest和MultiBoost的SVM集成方法

针对如何提高集成学习的性能,提出一种结合Rotation Forest和Multil3oost的集成学习方法—利用Rotation Forest中旋转变换的思想对原始数据集进行变换,旨在增加分类器间的差异度;利用Mu1tiI3oost在变换后的数据集上训练基分类器,旨在提高基分类器的准确度。最后用简单的多数投票法融合各基分类器的决策结果,将其作为集成分类器的输出。为了验证该方法的有效性,在公共数据集UCI上进行了实验,结果显示,该方法可获得较高的分类精度。     

Exploration of classification confidence in ensemble learning

Ensemble learning has attracted considerable attention owing to its good generalization performance. The main issues in constructing a powerful ensemble include training a set of diverse and accurate base classifiers, and effectively combining them. Ensemble margin, computed as the difference of the vote numbers received by the correct class and the another class received with the most votes, is widely used to explain the success of ensemble learning. This definition of the ensemble margin does not consider the classification confidence of base classifiers. In this work, we explore the influence of the classification confidence of the base classifiers in ensemble learning and obtain some interesting conclusions. First, we extend the definition of ensemble margin based on the classification confidence of the base classifiers. Then, an optimization objective is designed to compute the weights of the base classifiers by minimizing the margin induced classification loss. Several strategies are tried to utilize the classification confidences and the weights. It is observed that weighted voting based on classification confidence is better than simple voting if all the base classifiers are used. In addition, ensemble pruning can further improve the performance of a weighted voting ensemble. We also compare the proposed fusion technique with some classical algorithms. The experimental results also show the effectiveness of weighted voting with classification confidence.     

Attribute bagging: improving accuracy of classifier ensembles by using random feature subsets

We present attribute bagging (AB), a technique for improving the accuracy and stability of classifier ensembles induced using random subsets of features. AB is a wrapper method that can be used with any learning algorithm. It establishes an appropriate attribute subset size and then randomly selects subsets of features, creating projections of the training set on which the ensemble classifiers are built. The induced classifiers are then used for voting. This article compares the performance of our AB method with bagging and other algorithms on a hand-pose recognition dataset. It is shown that AB gives consistently better results than bagging, both in accuracy and stability. The performance of ensemble voting in bagging and the AB method as a function of the attribute subset size and the number of voters for both weighted and unweighted voting is tested and discussed. We also demonstrate that ranking the attribute subsets by their classification accuracy and voting using only the best subsets further improves the resulting performance of the ensemble.     

结合主动学习与置信度投票的集成自训练方法

基于集成学习的自训练算法是一种半监督算法,不少学者通过集成分类器类别投票或平均置信度的方法选择可靠样本。基于置信度的投票策略倾向选择置信度高的样本或置信度低但投票却一致的样本进行标记,后者这种情形可能会误标记靠近决策边界的样本,而采用异构集成分类器也可能会导致各基分类器对高置信度样本的类别标记不同,从而无法将其有效加入到有标记样本集。提出了结合主动学习与置信度投票策略的集成自训练算法用来解决上述问题。该算法合理调整了投票策略,选择置信度高且投票一致的无标记样本加以标注,同时利用主动学习对投票不一致而置信度较低的样本进行人工标注,以弥补集成自训练学习只关注置信度高的样本,而忽略了置信度低的样本的有用信息的缺陷。在UCI数据集上的对比实验验证了该算法的有效性。     

二叉树型多分类器融合的轴承故障诊断方法

多分类器融合能有效集成多种分类算法的优势,实现优势互补,提高智能诊断模型的稳健性和诊断精度。但在利用多数投票法构建多分类器融合决策系统时,要求成员分类器数目多于要识别的设备状态数,否则会出现无法融合的情况。针对此问题,提出了一种基于二叉树的多分类器融合算法,利用二叉树将多类分类问题转化为多个二值分类问题,从而各个节点上的成员分类器个数只要大于2即可,有效避免了成员分类器数目不足的问题。实验结果表明,相比单一分类器的诊断方法,该方法能有效地实现滚动轴承故障智能诊断,并具有对各神经网络初始值不敏感、识别率高且稳定等优势。     

Inference on the prediction of ensembles of infinite size

In this paper we introduce a framework for making statistical inference on the asymptotic prediction of parallel classification ensembles. The validity of the analysis is fairly general. It only requires that the individual classifiers are generated in independent executions of some randomized learning algorithm, and that the final ensemble prediction is made via majority voting. Given an unlabeled test instance, the predictions of the classifiers in the ensemble are obtained sequentially. As the individual predictions become known, Bayes' theorem is used to update an estimate of the probability that the class predicted by the current ensemble coincides with the classification of the corresponding ensemble of infinite size. Using this estimate, the voting process can be halted when the confidence on the asymptotic prediction is sufficiently high. An empirical investigation in several benchmark classification problems shows that most of the test instances require querying only a small number of classifiers to converge to the infinite ensemble prediction with a high degree of confidence. For these instances, the difference between the generalization error of the finite ensemble and the infinite ensemble limit is very small, often negligible.     

基于证据推理融合的网络数据流识别方法

针对多分类器决策融合研究中利用有限的训练数据对分类器概率参数估计时存在较大偏差的问题,提出一种基于D-S证据推理(ER)的多分类器决策融合算法。利用不确定性描述分类器性能,并针对D-S组合规则在分类器结果高冲突情形下易出现决策融合悖论的问题,提出基于分类器信度加权融合算法实现流量识别决策融合。实验结果表明,多数投票法和Bayes最大后验概率法识别准确率分别为78.3%和81.7%,证据推理决策融合的识别准确率提高到82.2%~91.6%,而拒识率则保持在4.1%~6.2%。     

一种限制输出模型规模的集成进化分类算法

AdaBoost算法是一种典型的集成学习框架,通过线性组合若干个弱分类器来构造成强学习器,其分类精度远高于单个弱分类器,具有很好的泛化误差和训练误差。然而AdaBoost 算法不能精简输出模型的弱分类器,因而不具备良好的可解释性。本文将遗传算法引入AdaBoost算法模型,提出了一种限制输出模型规模的集成进化分类算法(Ensemble evolve classification algorithm for controlling the size of final model,ECSM)。通过基因操作和评价函数能够在AdaBoost迭代框架下强制保留物种样本的多样性,并留下更好的分类器。实验结果表明,本文提出的算法与经典的AdaBoost算法相比,在基本保持分类精度的前提下,大大减少了分类器数量。     

一种基于Tri-training的数据流集成分类算法

数据流分类是数据挖掘领域的重要研究任务之一,已有的数据流分类算法大多是在有标记数据集上进行训练,而实际应用领域数据流中有标记的数据数量极少。为解决这一问题,可通过人工标注的方式获取标记数据,但人工标注昂贵且耗时。考虑到未标记数据的数量极大且隐含大量信息,因此在保证精度的前提下,为利用这些未标记数据的信息,本文提出了一种基于Tri-training的数据流集成分类算法。该算法采用滑动窗口机制将数据流分块,在前k块含有未标记数据和标记数据的数据集上使用Tri-training训练基分类器,通过迭代的加权投票方式不断更新分类器直到所有未标记数据都被打上标记,并利用k个Tri-training集成模型对第ｋ＋１块数据进行预测,丢弃分类错误率高的分类器并在当前数据块上重建新分类器从而更新当前模型。在10个UCI数据集上的实验结果表明：与经典算法相比,本文提出的算法在含80%未标记数据的数据流上的分类精度有显著提高。