融入差异性的帕累托集成剪枝方法

相比于集成学习,集成剪枝方法是在多个分类器中搜索最优子集从而改善分类器的泛化性能,简化集成过程。帕累托集成剪枝方法同时考虑了分类器的精准度及集成规模两个方面,并将二者均作为优化的目标。然而帕累托集成剪枝算法只考虑了基分类器的精准度与集成规模,忽视了分类器之间的差异性,从而导致了分类器之间的相似度比较大。本文提出了融入差异性的帕累托集成剪枝算法,该算法将分类器的差异性与精准度综合为第1个优化目标,将集成规模作为第2个优化目标,从而实现多目标优化。实验表明,当该改进的集成剪枝算法与帕累托集成剪枝算法在集成规模相当的前提下,由于差异性的融入该改进算法能够获得较好的性能。     

一种基于边界的贪心组合剪枝方法

理论及实验表明,在训练集上具有较大边界分布的组合分类器泛化能力较强。文中将边界概念引入到组合剪枝中,并用它指导组合剪枝方法的设计。基于此,构造一个度量标准(MBM)用于评估基分类器相对于组合分类器的重要性,进而提出一种贪心组合选择方法(MBMEP)以降低组合分类器规模并提高它的分类准确率。在随机选择的30个UCI数据集上的实验表明,与其它一些高级的贪心组合选择算法相比,MBMEP选择出的子组合分类器具有更好的泛化能力。     

Cost Complexity-Based Pruning of Ensemble Classifiers

In this paper we study methods that combine multiple classification models learned over separate data sets. Numerous studies posit that such approaches provide the means to efficiently scale learning to large data sets, while also boosting the accuracy of individual classifiers. These gains, however, come at the expense of an increased demand for run-time system resources. The final ensemble meta-classifier may consist of a large collection of base classifiers that require increased memory resources while also slowing down classification throughput. Here, we describe an algorithm for pruning (i.e., discarding a subset of the available base classifiers) the ensemble meta-classifier as a means to reduce its size while preserving its accuracy and we present a technique for measuring the trade-off between predictive performance and available run-time system resources. The algorithm is independent of the method used initially when computing the meta-classifier. It is based on decision tree pruning methods and relies on the mapping of an arbitrary ensemble meta-classifier to a decision tree model. Through an extensive empirical study on meta-classifiers computed over two real data sets, we illustrate our pruning algorithm to be a robust and competitive approach to discarding classification models without degrading the overall predictive performance of the smaller ensemble computed over those that remain after pruning. Received 30 August 2000 / Revised 7 March 2001 / Accepted in revised form 21 May 2001     

基于FP-Tree 的快速选择性集成算法

选择性集成通过选择部分基分类器参与集成,从而提高集成分类器的泛化能力,降低预测开销.但已有的选择性集成算法普遍耗时较长,将数据挖掘的技术应用于选择性集成,提出一种基于FP-Tree(frequent pattern tree)的快速选择性集成算法:CPM-EP(coverage based pattern mining for ensemble pruning).该算法将基分类器对校验样本集的分类结果组织成一个事务数据库,从而使选择性集成问题可转化为对事务数据集的处理问题.针对所有可能的集成分类器大小,CPM-EP算法首先得到一个精简的事务数据库,并创建一棵FP-Tree树保存其内容;然后,基于该FP-Tree获得相应大小的集成分类器.在获得的所有集成分类器中,对校验样本集预测精度最高的集成分类器即为算法的输出.实验结果表明,CPM-EP算法以很低的计算开销获得优越的泛化能力,其分类器选择时间约为GASEN的1/19以及Forward-Selection的1/8,其泛化能力显著优于参与比较的其他方法,而且产生的集成分类器具有较少的基分类器.     

一种面向不平衡数据分类的组合剪枝方法

传统的数据分类算法多是基于平衡的数据集创建,对不平衡数据分类时性能下降,而实践表明组合选择能有效提高算法在不平衡数据集上的分类性能。为此,从组合选择的角度考虑不平衡类学习问题,提出一种新的组合剪枝方法,用于提升组合分类器在不平衡数据上的分类性能。使用Bagging建立分类器库,直接用正类(少数类)实例作为剪枝集,并通过MBM指标和剪枝集,从分类器库中选择一个最优或次优子组合分类器作为目标分类器,用于预测待分类实例。在12个UCI数据集上的实验结果表明,与EasyEnsemble、Bagging和C4.5算法相比,该方法不但能大幅提升组合分类器在正类上的召回率,而且还能提升总体准确率。     

选择性集成算法分类与比较

选择性集成是当前机器学习领域的研究热点之一。由于选择性集成属于NP"难"问题,人们多利用启发式方法将选择性集成转化为其他问题来求得近似最优解,因为各种算法的出发点和描述角度各不相同,现有的大量选择性集成算法显得繁杂而没有规律。为便于研究人员迅速了解和应用本领域的最新进展,本文根据选择过程中核心策略的特征将选择性集成算法分为四类,即迭代优化法、排名法、分簇法、模式挖掘法;然后利用UCI数据库的20个常用数据集,从预测性能、选择时间、结果集成分类器大小三个方面对这些典型算法进行了实验比较;最后总结了各类方法的优缺点,并展望了选择性集成的未来研究重点。     

ModEnPBT: A Modified Backtracking Ensemble Pruning algorithm

This paper proposes a new Modified Backtracking Ensemble Pruning algorithm (ModEnPBT), which is based upon the design idea of our previously proposed Ensemble Pruning via Backtracking algorithm (EnPBT), and however, aiming at overcoming its drawback of redundant solution space definition. Solution space of ModEnPBT is compact with no repeated solution vectors, therefore it possesses relatively higher searching efficiency compared with EnPBT algorithm. ModEnPBT still belongs to the category of Backtracking algorithm, which can systematically search for the solutions of a problem in a manner of depth-first, which is suitable for solving all those large-scale combinatorial optimization problems. Experimental results on three benchmark classification tasks demonstrate the validity and effectiveness of the proposed ModEnPBT.     

基于近似约简与最优采样的集成剪枝

集成学习被广泛用于提高分类精度, 近年来的研究表明, 通过多模态扰乱策略来构建集成分类器可以进一步提高分类性能. 本文提出了一种基于近似约简与最优采样的集成剪枝算法(EPA_AO). 在EPA_AO中, 我们设计了一种多模态扰乱策略来构建不同的个体分类器. 该扰乱策略可以同时扰乱属性空间和训练集, 从而增加了个体分类器的多样性. 我们利用证据KNN (K-近邻)算法来训练个体分类器, 并在多个UCI数据集上比较了EPA_AO与现有同类型算法的性能. 实验结果表明, EPA_AO是一种有效的集成学习方法.     

基于精简随机子空间的多生成树集成一类分类算法

由于高维数据通常存在冗余和噪声,在其上直接构造覆盖模型不能充分反映数据的分布信息,导致分类器性能下降.为此提出一种基于精简随机子空间多树集成分类方法.该方法首先生成多个随机子空间,并在每个子空间上构造独立的最小生成树覆盖模型.其次对每个子空间上构造的分类模型进行精简处理,通过一个评估准则(AUC值),对生成的一类分类器进行精简.最后均值合并融合这些分类器为一个集成分类器.实验结果表明,与其它直接覆盖分类模型和bagging算法相比,多树集成覆盖分类器具有更高的分类正确率.     

删除最差基学习器来层次修剪Bagging集成

主要目的是寻找到一种Bagging的快速修剪方法,以缩小算法占用的存储空间、提高运算的速度和实现提高分类精度的潜力.传统的选择性集成方法研究的重点是基学习器之间的差异化,从同质化的角度采研究这一问题,提出了一种全新的选择性集成思路.通过选择基学习器集合中的最差者来对Bagging集成进行快速层次修剪,获得了一种学习速度接近Bagging性能在其基础上得到提高的新算法.新算法的训练时间明显小于GASEN而性能与其相近.该算法同时还保留了与Bagging相同的并行处理能力.     

选择性集成开发平台的设计与实现

集成学习/选择性集成是当前机器学习领域的研究热点,但是大部分发表的相关数据都是基于未公开的个人实验,这种模式一方面由于大量的重复工作而降低了研究工作的效率,另一方面也对集成学习走向实用化造成负面影响.本文从减轻研究工作中实验部分工作量、提升实验的可重复性、减少不同实验的结论差异和推动选择性集成技术走向实用化的角度出发,阐述了设计一个选择性集成研究和开发平台所需要考虑的问题以及系统的结构组成,并以EPP(Ensemble Pruning Platform)为例介绍了利用C++语言实现一个选择性集成开发平台的方法和关键流程.     

An Analysis of Ensemble Pruning Techniques Based on Ordered Aggregation

Several pruning strategies that can be used to reduce the size and increase the accuracy of bagging ensembles are analyzed. These heuristics select subsets of complementary classifiers that, when combined, can perform better than the whole ensemble. The pruning methods investigated are based on modifying the order of aggregation of classifiers in the ensemble. In the original bagging algorithm, the order of aggregation is left unspecified. When this order is random, the generalization error typically decreases as the number of classifiers in the ensemble increases. If an appropriate ordering for the aggregation process is devised, the generalization error reaches a minimum at intermediate numbers of classifiers. This minimum lies below the asymptotic error of bagging. Pruned ensembles are obtained by retaining a fraction of the classifiers in the ordered ensemble. The performance of these pruned ensembles is evaluated in several benchmark classification tasks under different training conditions. The results of this empirical investigation show that ordered aggregation can be used for the efficient generation of pruned ensembles that are competitive, in terms of performance and robustness of classification, with computationally more costly methods that directly select optimal or near-optimal subensembles.     

基于基学习器差异度的层次化Bagging 集成修剪

本文主要目的是寻找到Bagging 的一种快速修剪方法,以缩小算法占用的存储空间、提高运算速度和 实现提高分类精度的潜力;还提出一种直接计算基学习器差异度的新选择性集成思想．选择出基学习器集合中对提 升其余基学习器差异度能力最强者进行删除,通过层次修剪来加速这一算法．在不影响性能的基础上,新算法能够 大幅度缩小Bagging 的集成规模;新算法还支持并行计算,其进行选择性集成的速度明显优于GASEN．本文还给出 了集成学习分类任务的误差上界     

结合近邻传播聚类的选择性集成分类方法

从海量的基因微阵列数据中提取出有价值的信息是生物信息学的研究热点.基因微阵列数据具有高维度、小样本和高冗余的特性.因此,提出一种基于相交邻域粗糙集的基因选择方法,挑选出关键基因用于对微阵列数据进行分类.首先利用pathway知识进行基因初步选择,每个pathway单元对应一个基因子集,然后采用基于粗糙集的属性约简方法筛选出无冗余的关键基因.由于pathway知识单元的数量较多,对应生成大量的基分类器,为了进一步提高基分类器之间的差异性和集成的效率,对基分类器进行选择是十分必要的.近邻传播聚类不需要提前设定聚簇数量和起始点并且可以更快速、精确地进行聚类.因此,使用近邻传播聚类方法对基分类器进行分组,产生差异性较大的聚簇,再从每个簇中选择一个分类器构建集成分类器.在拟南芥的生物和非生物胁迫响应相关的微阵列数据集上的实验结果表明:在准确率方面,提出的方法与现有的集成方法相比最多可以提高12％.     

基于近邻传播聚类的集成特征选择方法

针对高维数据中的类标记仅与少部分特征关联紧密的问题,提出了基于排序聚合和聚类分组的特征随机选择集成学习方法。采用排序聚合技术对特征进行过滤,选出与样本分类相关的特征,以bicor关联系数作为关联衡量标准,利用近邻传播聚类算法进行分组,使不同组的特征互不关联,然后从每个分组中随机选择一个特征生成特征子集,便可得到多个既存在差异性又具备区分能力的特征子集,最后分别在对应的特征子空间训练基分类器,采用多数投票进行融合集成。在7个基因表达数据集上的实验结果表明,提出的方法分类误差较低,分类性能稳定,可扩展性好。     

Horizontal Voting Ensemble Based Predictive Modeling System for ColonCancer

Colon cancer is the third most commonly diagnosed cancer in the world. Most colon AdenoCArcinoma (ACA) arises from pre-existing benign polyps in the mucosa of the bowel. Thus, detecting benign at the earliest helps reduce the mortality rate. In this work, a Predictive Modeling System (PMS) is developed for the classification of colon cancer using the Horizontal Voting Ensemble (HVE) method. Identifying different patterns in microscopic images is essential to an effective classification system. A twelve-layer deep learning architecture has been developed to extract these patterns. The developed HVE algorithm can increase the system’s performance according to the combined models from the last epochs of the proposed architecture. Ten thousand (10000) microscopic images are taken to test the classification performance of the proposed PMS with the HVE method. The microscopic images obtained from the colon tissues are classified into ACA or benign by the proposed PMS. Results prove that the proposed PMS has ~8% performance improvement over the architecture without using the HVE method. The proposed PMS for colon cancer reduces the misclassification rate and attains 99.2% of sensitivity and 99.4% of specificity. The overall accuracy of the proposed PMS is 99.3%, and without using the HVE method, it is only 91.3%.     

基于核密度估计的集成剪枝和增量学习时间序列预测方法

时间序列预测(TSP)在机器学习中是一个重要问题.论文提出了一种基于核密度估计(KDE)的集成增量学习方法,用于时间序列的预测问题.算法首先根据集成学习的原理产生基学习器池.然后用基学习器池对预测样本的输出值得到核密度估计,并用得到的核密度估计来剪枝基学习器池.得到最终的剪枝集成系统后,用该剪枝集成系统来预测样本的输出.最后,算法根据样本在动态选择集上筛选出的最近邻集合进行增量学习.在数据集IAP,ICS,MCD上的试验结果表明,提出的时间序列预测算法和当前流行的算法相比效果有一定程度的提高.     

因特网上舆情传播的预测建模和仿真研究

序列模式挖掘是Web日志挖掘中的一个重要范畴。针对Wap算法中递归构建大量条件树的这一缺陷,提出了一种改进算法NGCWAP。NGCWAP算法采用前序遍历号和后序遍历号来跟踪频繁序列分布在哪些后缀树集中,避免了条件树的构建,从而减少了内存消耗。通过实验验证了改进算法的正确性和高效性。