集成学习的多分类器动态组合方法

为了提高数据的分类性能,提出一种集成学习的多分类器动态组合方法(DEA)。该方法在多个UCI标准数据集上进行测试,并与文中使用的基于Adaboost算法训练出的各个成员分类器的分类效果进行比较,证明了DEA的有效性。     

多分类器选择集成方法

针对目前人们对分类性能的高要求和多分类器集成实现的复杂性,从基分类器准确率和基分类器间差异性两方面出发,提出了一种新的多分类器选择集成算法。该算法首先从生成的基分类器中选择出分类准确率较高的,然后利用分类器差异性度量来选择差异性大的高性能基分类器,在分类器集成之前先对分类器集进行选择获得新的分类器集。在UCI数据库上的实验结果证明,该方法优于bagging方法,取得了很好的分类识别效果。     

基于拆分集成的不均衡数据分类算法

为改进SVM对不均衡数据的分类性能,提出一种基于拆分集成的不均衡数据分类算法,该算法对多数类样本依据类别之间的比例通过聚类划分为多个子集,各子集分别与少数类合并成多个训练子集,通过对各训练子集进行学习获得多个分类器,利用WE集成分类器方法对多个分类器进行集成,获得最终分类器,以此改进在不均衡数据下的分类性能.在UCI数据集上的实验结果表明,该算法的有效性,特别是对少数类样本的分类性能.     

基于遗传算法的多扰动多K近邻分类器系统

为改善维数灾难对K近邻分类器的影响,提出一种基于遗传算法(GA)的多扰动的K近邻融合算法,简称GA-MKNNC算法。目标扰动将所识别的问题划分成多个子分类问题进行单独识别。针对不同子分类问题,数据扰动选取相关的数据,特征扰动确定相关的特征,参数扰动明确相关参数值。数据扰动由Bagging算法确定。特征扰动和参数扰动通过GA学习得到。多个子分类问题的决策通过最大融合得到最终决策。实验结果表明,该算法的性能优于K近邻分类器及多数融合算法,且选用的子分类器数目少于FASBIR算法。     

基于专家域的多层分类器融合

论文提出了一种基于专家域的多层分类器融合模型,专家指不同专长之单分类器。模型思想来自医院诊断流程,模型首先训练n个专家,之后将样本空间按专家专长划分专家域。对于待测样本,先将样本指派到合适的专家域,然后再由指定的专家对样本进行分类。用这种算法对UCI的标准数据集进行分类,实验结果显示,该算法得到比其他算法更低的分类误差,显著提高了分类器的性能。     

基于多步的多分类器在入侵检测中的研究

海量的数据中总是混杂着多种类型的数据,因此对数据进行处理分类时使用单一的分类器很难进行准确的分类。针对多种类型数据,提出一种基于多步分类的多种数据分类器的入侵检测方法。建立多分类型模型,改进特征选择方法及Bagging;对数据中的多种类型分析时,采用针对某种类型分类效果最佳的分类器,多次完成数据的分类操作。经KDD CUP99数据集实验,结果表明该方法对多数据分类具有显著效果。     

一种模糊分类器集成的方法

提出了一种基于模糊积分的模糊分类器集成的方法，该方法能在模糊分类器生成过程中，进一步减少主观因素的参与成份，使分类模器具有更好的稳定性和更高的分类识别率。给出了基于隶属度矩阵的模糊积分密度确定方法，介绍了基于模糊积分的分类器集成算法。用权威的数据集作为实验数据集，将提出方法与已有的分类器集成方法进行实验比较，评测了所提出方法的有效性。     

一种基于粒子群算法的分类器设计

将粒子群算法应用于数据分类,给出了适用于粒子群算法的分类规则编码,构造了新的分类规则适应度函数来更准确的提取规则集,并通过修改粒子位置更新方程使粒子群算法适于解决分类规则挖掘问题,进而实现了基于粒子群算法的分类器设计。该文进一步用UCI基准数据集对作者提出的粒子群分类器进行了测试,并将几种不同速度与位置更新策略的粒子群算法分类器与遗传算法分类器进行对比,实验结果表明,这种粒子群分类器是一种有效、可行的分类器设计方案。     

梯度优化决策树的集成学习及其应用

集成学习通过构建具有一定互补功能的多个分类器来完成学习任务,以减少分类误差。但是当前研究未能考虑分类器的局部有效性。为此,在基于集成学习的框架下,提出了一个分层结构的多分类算法。该算法按预测类别分解问题,在分层的基础上,集成多个分类器以提高分类准确度。在美国某高校招生录取这一个实际应用的数据集及3个UCI数据集上进行实验,实验结果验证了该算法的有效性。     

产生式与判别式线性混合分类器

产生式方法和判别式方法是解决分类问题的两种不同框架,具有各自的优势。为利用两种方法各自的优势,文中提出一种产生式与判别式线性混合分类模型,并设计一种基于遗传算法的产生式与判别式线性混合分类模型的学习算法。该算法将线性混合分类器混合参数的学习看作一个最优化问题,以两个基分类器对每个训练数据的后验概率值为数据依据,用遗传算法找出线性混合分类器混合参数的最优值。实验结果表明,在大多数数据集上,产生式与判别式线性混合分类器的分类准确率优于或近似于它的两个基分类器中的优者。     

嵌入代价敏感的极限学习机相异性集成的基因表达数据分类

极限学习机的相异性集成算法(Dissimilarity Based Ensemble of Extreme Learning Machine,D-ELM)在基因表达数据分类中能够得到较稳定的分类效果,然而这种分类算法是基于分类精度的,当所给样本的误分类代价不相等时,不能直接实现代价敏感分类过程中的最小平均误分类代价的要求。通过在分类过程中引入概率估计以及误分类代价和拒识代价重新构造分类结果,提出了基于相异性集成极限学习机的代价敏感算法(CS-D-ELM)。该算法被运用到基因表达数据集上,得到了较好的分类效果。     

一种基于频繁子图的集成分类算法

针对基于频繁子图的图分类算法不能有效解决高效和分类正确率并存的矛盾,提出G-Bagging图分类算法。该算法利用传统图分类算法训练出多个基图分类器,集成学习加权构造集成分类器,余度管理实时更新权值。通过实验,表明G-Bagging算法降低了对最小支持度和训练样本空间大小的要求,即在算法效率提高的同时,保证了分类正确率。     

基于改进离散二进制粒子群的SVM选择集成算法

针对基于离散二进制粒子群（BPSO）的SVM选择集成算法的分类精度不高,以及所选分类器个数过多等问题,利用改进的离散二进制粒子群算法（IBPSO）和SVM选择集成算法相结合,提出基于IBPSO的SVM选择集成算法。通过选用合适的适应度函数以及调节因子[k],进行多次仿真,实验表明,对由boostrap方式生成的SVM集合,基于IBPSO的SVM选择集成在精度和分类器个数方面均优于基于BPSO的SVM选择集成,证明了IBPSO算法的优越性。     

基于差分进化的ELM加权集成分类

集成分类通过将若干个弱分类器依据某种规则进行组合,能有效改善分类性能。在组合过程中,各个弱分类器对分类结果的重要程度往往不一样。极限学习机是最近提出的一个新的训练单隐层前馈神经网络的学习算法。以极限学习机为基分类器,提出了一个基于差分进化的极限学习机加权集成方法。提出的方法通过差分进化算法来优化集成方法中各个基分类器的权值。实验结果表明,该方法与基于简单投票集成方法和基于Adaboost集成方法相比,具有较高的分类准确性和较好的泛化能力。     

基于场论聚类的集成分类器隐写分析算法

针对目前隐写分析中特征空间有待提高的问题,提出一种基于场论聚类的隐写分析算法。算法提取共生矩阵特征、差分特征等多维特征用以描述图像,再利用场论进行聚类,从中选择代表性特征用以训练个体分类器,最后通个加权融合法完成对个体分类器进行集成。实验表明,该算法能够有效提高隐写分析的检测率。     

一种数据增强和多模型集成的细粒度分类算法

针对解决数据缺少和单个卷积网络模型性能的限制造成细粒度分类准确率不高的问 题，提出了一种数据增强和多模型集成融合的分类算法。首先通过镜像、旋转、多尺度缩放、高 斯噪声、随机剪切和色彩增强6 种变换对CompCars 数据集进行增强处理，然后采用差异化采样 数据集的方法训练CaffeNet、VGG16 和GoogleNet 3 种差异化的网络。然后采用多重集成的方法 集成多种模型的输出结果。实验中测试网络结构在不同数据增强算法和不同模型集成下的分类结 果。模型集成的分类准确率达到94.9%，比最好的单GoogleNet 模型的分类精确率提高了9.2 个 百分点。实验结果表明该算法可以有效地提高分类的准确率。     

A new ensemble feature selection and its application to pattern classification

Neural network ensemble based on rough sets reduct is proposed to decrease the computational complexity of conventional ensemble feature selection algorithm. First, a dynamic reduction technology combining genetic algorithm with resampling method is adopted to obtain reducts with good generalization ability. Second, Multiple BP neural networks based on different reducts are built as base classifiers. According to the idea of selective ensemble, the neural network ensemble with best generalization ability can be found by search strategies. Finally, classification based on neural network ensemble is implemented by combining the predictions of component networks with voting. The method has been verified in the experiment of remote sensing image and five UCI datasets classification. Compared with conventional ensemble feature selection algorithms, it costs less time and lower computing complexity, and the classification accuracy is satisfactory.     

差分隐私保护约束下集成分类算法的研究

机器学习中的隐私保护问题是目前信息安全领域的研究热点之一。针对隐私保护下的分类问题,该文提出一种基于差分隐私保护的AdaBoost集成分类算法：CART-DPsAdaBoost （CART-Differential Privacy structure of AdaBoost）。算法在Boosting过程中结合Bagging的基本思想以增加采样本的多样性,在基于随机子空间算法的特征扰动中利用指数机制选择连续特征分裂点,利用Gini指数选择最佳离散特征,构造CART提升树作为集成学习的基分类器,并根据Laplace机制添加噪声。在整个算法过程中合理分配隐私预算以满足差分隐私保护需求。在实验中分析不同树深度下隐私水平对集成分类模型的影响并得出最优树深值和隐私预算域。相比同类算法,该方法无需对数据进行离散化预处理,用Adult、Census Income两个数据集实验结果表明,模型在兼顾隐私性和可用性的同时具有较好的分类准确率。此外,样本扰动和特征扰动两类随机性方案的引入能有效处理大规模、高维度数据分类问题。     

一种基于聚类融合欠抽样的不平衡数据分类方法

在面对现实中广泛存在的不平衡数据分类问题时,大多数 传统分类算法假定数据集类分布是平衡的,分类结果偏向多数类,效果不理想。为此,提出了一种基于聚类融合欠抽样的改进AdaBoost分类算法。该算法首先进行聚类融合,根据样本权值从每个簇中抽取一定比例的多数类和全部的少数类组成平衡数据集。使用AdaBoost算法框架,对多数类和少数类的错分类给予不同的权重调整,选择性地集成分类效果较好的几个基分类器。实验结果表明,该算法在处理不平衡数据分类上具有一定的优势。     

一种多样性和精度加权的数据流集成分类算法

为了克服数据流中概念漂移对分类的影响,提出了一种基于多样性和精度加权的集成分类方法（diversity and accuracy weighting ensemble classification algorithm, DAWE）,该方法与已有的其他集成方法不同的地方在于,DAWE同时考虑了多样性和精度这两种度量标准,将分类器在最新数据块上的精度及其在集成分类器中的多样性进行线性加权,以此来衡量一个分类器对于当前集成分类器的价值,并将价值度量用于基分类器替换策略。提出的DAWE算法与MOA中最新算法分别在真实数据和人工合成数据上进行了对比实验,实验表明,提出的方法是有效的,在所有数据集上的平均精度优于其他算法,该方法能有效处理数据流挖掘中的概念漂移问题。