融合DECORATE的异构分类器集成算法

在基于Stacking框架下异构分类器集成方式分析的基础上,引入同构分类器集成中改变训练样本以增强成员分类器间差异性的思想,提出融合DECORATE的异构分类器集成算法SDE;在1-层泛化利用DECORATE算法,向1-层训练集增加一定比例的人工数据,使得生成的多个1-层成员分类器间具有差异性。实验表明,该方法在分类精度上要优于传统Stacking方法。     

多模式扰动模型动态加权SVM集成研究

针对集成学习中bootstrap方法不能产生具有较大差异性的成员分类器,提出基于多模式扰动模型动态加权SVM集成方法。该方法在训练样本中使用bootstrap采样产生扰动,在输入特征中使用PCA特征滤波子空间法产生扰动,用自动模型选择法来动态扰动每个成员分类器的参数,用分类精度对成员分类器加权集成扰动输出。实验结果表明该方法比常用的bootstrap集成方法具有更好的集成效果。     

多分类器选择集成方法

针对目前人们对分类性能的高要求和多分类器集成实现的复杂性,从基分类器准确率和基分类器间差异性两方面出发,提出了一种新的多分类器选择集成算法。该算法首先从生成的基分类器中选择出分类准确率较高的,然后利用分类器差异性度量来选择差异性大的高性能基分类器,在分类器集成之前先对分类器集进行选择获得新的分类器集。在UCI数据库上的实验结果证明,该方法优于bagging方法,取得了很好的分类识别效果。     

一种新的分类器选择集成算法

为提高集成分类器系统的分类性能,提出一种分类器选择集成算法MCC-SCEN。该算法选取基分类器集中具有最大互信息差异性的子集和最大个体分类能力的子集,以确定待扩展分类器集,选择具有较大混合分类能力的基分类器加入到待扩展集中,构成集成系统,进行加权投票并产生结果。实验结果表明,该方法优于经典的AdaBoost和Bagging方法,具有较高的分类准确率。     

基于FCM的两级集成分类器算法

基于模糊聚类的思想提出了一种新的两级集成分类器算法.将数据集用Fuzzy C-Means算法进行聚类,得到每个实例对应于每个类别的模糊隶属度.一级集成根据Bagging算法获得成员分类器,分类器个数为数据集类别数且每个成员分类器对应一个类别标号,这些成员分类器的采样方式是通过其对应类别的模糊隶属度为每个实例加权后进行随机重采样.二级集成是将一级集成产生的针对类别的成员分类器通过动态加权多数投票法来组合,学习到最终的分类结果.该算法称为EWFuzzyBagging,实验结果表明,该算法与Bagging和AdaBoost相比具有更好的健壮性.     

基于k-means聚类的神经网络分类器集成方法研究

针对差异性是集成学习的必要条件,研究了基于k-means聚类技术提高神经网络分类器集成差异性的方法。通过训练集并使用神经网络分类器学习算法训练许多分类器模型,在验证集中利用每个分类器的分类结果作为聚类的数据对象;然后应用k-means聚类方法对这些数据聚类,在聚类结果的每个簇中选择一个分类器代表模型,以此构成集成学习的成员;最后应用投票方法实验研究了这种提高集成学习差异性方法的性能,并与常用的集成学习方法bagging、adaboost进行了比较。     

半动态集成选择分类方法

在集成学习领域,传统的动态集成选择需要为每一个样本选择子分类器组成集成分类器,这极大地增加了计算复杂度。针对这一问题,提出一种新的半动态集成选择方法。该方法分为两阶段,第一阶段为所有的测试样本选择最好的个体分类器组成一个集成分类器,第二阶段从剩余的个体分类器集合中为当前测试样本动态地选择子分类器组成一个集成分类器。最终的分类结果通过融合两阶段得到集成分类器的结果得到。通过对UCI数据测试的结果表明,该算法不仅能取得较好的分类性能,而且能极大地降低计算复杂度。     

融入差异性的帕累托集成剪枝方法

相比于集成学习,集成剪枝方法是在多个分类器中搜索最优子集从而改善分类器的泛化性能,简化集成过程。帕累托集成剪枝方法同时考虑了分类器的精准度及集成规模两个方面,并将二者均作为优化的目标。然而帕累托集成剪枝算法只考虑了基分类器的精准度与集成规模,忽视了分类器之间的差异性,从而导致了分类器之间的相似度比较大。本文提出了融入差异性的帕累托集成剪枝算法,该算法将分类器的差异性与精准度综合为第1个优化目标,将集成规模作为第2个优化目标,从而实现多目标优化。实验表明,当该改进的集成剪枝算法与帕累托集成剪枝算法在集成规模相当的前提下,由于差异性的融入该改进算法能够获得较好的性能。     

一种多分类器选择性集成的网络流量分类方法

针对多分类器集成方法产生的流量分类器在泛化能力方面的局限性,提出一种选择性集成网络流量分类框架,以满足流量分类对分类器高效的需求。基于此框架,提出一种多分类器选择性集成的网络流量分类方法 MCSE(Multiple Classifiers Selective Ensemble network traffic classification method),解决多分类器的选取问题。该方法首先利用半监督学习技术提升基分类器的精度,然后改进不一致性度量方法对分类器差异性的度量策略,降低多分类器集成方法实现网络流量分类的复杂性,有效减少选择最优分类器的计算开销。实验表明,与Bagging算法和GASEN算法相比,MCSE方法能更充分利用基分类器间的互补性,具有更高效的流量分类性能。     

集成学习的多分类器动态组合方法

为了提高数据的分类性能,提出一种集成学习的多分类器动态组合方法(DEA)。该方法在多个UCI标准数据集上进行测试,并与文中使用的基于Adaboost算法训练出的各个成员分类器的分类效果进行比较,证明了DEA的有效性。     

一种基于信息熵的多分类器动态组合方法

为提高数据分类的性能,提出了一种基于信息熵[1]的多分类器动态组合方法（EMDA）。此方法在多个UCI标准数据集上进行了测试,并与由集成学习算法—AdaBoost,训练出的各个基分类器的分类效果进行比较,证明了该算法的有效性。     

渐进式分离的开放集模糊域自适应算法

域自适应的目的是利用有标记（源）域中的信息来提高未标记（目标）域模型的分类性能,且这种方法已经取得了不错的成果。然而在具有开放性的现实场景下,目标域通常包含源域中未观察到的未知类样本,这被称为开放集域自适应问题。传统的域自适应算法对这样具有挑战性的场景设定无能为力,因此提出了渐进式分离的开放集模糊域自适应算法。首先,基于引进隶属度的开放集模糊域自适应算法,探索了逐步分离目标域中已知类和未知类样本的方法;然后,仅将从目标域中分离出的已知类与源域对齐,从而减小两个域之间的分布差异,进行模糊域自适应。所提算法很好地解决了由于未知类和已知类之间的不匹配而导致的负迁移所带来的影响。在Office数据集上的6组域自适应转化实验结果表明,与传统的域自适应算法比较,所提算法在图像分类中的精度有显著的提升,验证了该算法可以逐步增强域自适应分类模型的准确性和鲁棒性。     

不平衡数据多粒度集成分类算法研究

针对传统模型在解决不平衡数据分类问题时存在精度低、稳定性差、泛化能力弱等问题,提出基于序贯三支决策多粒度集成分类算法MGE-S3WD。采用二元关系实现粒层动态划分;根据代价矩阵计算阈值并构建多层次粒结构,将各粒层数据划分为正域、边界域和负域;将各粒层上的划分,按照正域与负域、正域与边界域、负域与边界域重新组合形成新的数据子集,并在各数据子集上构建基分类器,实现不平衡数据的集成分类。仿真结果表明,该算法能够有效降低数据子集的不平衡比,提升集成学习中基分类器的差异性,在G-mean和F-measure1 2个评价指标下,分类性能优于或部分优于其他集成分类算法,有效提高了分类模型的分类精度和稳定性,为不平衡数据集的集成学习提供了新的研究思路。     

基于QPSO训练的SVM核函数集成学习研究

针对训练子集随机性强、规模大、算法时空复杂度高等问题,提出了基于量子微粒群的支持向量机（QPSO-SVM）核函数集成学习算法。该方法首先采用K-Means算法对训练样本进行聚类分析,然后根据其聚类分布选择少量具有代表性的样本,并通过基于量子行为的粒子群算法来训练单个支持向量机（SVM）,最后通过贝叶斯投票方法得到集成的SVM分类学习器。实验表明该方法在非线性高复杂度的数据分类中对分类精度有较大提高。     

基于CCS优化的FDT集成分类算法研究

模糊决策树在数据模糊化时,需要确定每个数量型属性的模糊语言项个数。另一方面,集成分类算法已成为提高模型准确率和稳定性的有效策略。提出了一种基于混沌布谷鸟（CCS）优化的FDT集成分类算法,首先用CCS算法确定数量型属性的模糊语言项个数,再通过bootstrap抽样生成FDT集成模型,最后采用OOB误差加权投票机制得到分类结果。通过4组UCI数据集验证,与其他分类算法对比,证明了该方法在分类精度上有明显的提升;同时,在处理缺失数据时,仍有较高的分类能力。     

基于准确率爬坡的动态加权集成分类算法

传统集成分类算法中,一般将集成数目设置为固定值,这可能会导致较低分类准确率。针对这一问题,提出了准确率爬坡集成分类算法（C-ECA）。首先,该算法不再用一些基分类器去替换相同数量的表现最差的基分类器,而是基于准确率对基分类器进行更新,然后确定最佳集成数目。其次,在C-ECA的基础上提出了基于爬坡的动态加权集成分类算法（C-DWECA）。该算法提出了一个加权函数,其在具有不同特征的数据流上训练基分类器时,可以获得基分类器的最佳权值,从而提升集成分类器的性能。最后,为了能更早地检测到概念漂移并提高最终精度,采用了快速霍夫丁漂移检测方法（FHDDM）。实验结果表明C-DWECA的准确率最高可达到97.44%,并且该算法的平均准确率比自适应多样性的在线增强（ADOB）算法提升了40%左右,也优于杠杆装袋（LevBag）、自适应随机森林（ARF）等其他对比算法。     

基于混合采样的不平衡数据集算法研究

针对不平衡数据集分类效果不理想的问题，提出了一种新的基于混合采样的不平衡数据集算法（BSI）。通过引进“变异系数”找出样本的稀疏域和密集域，针对稀疏域中的少数类样本，提出了一种改进SMOTE算法的过采样方法（BSMOTE）；对密集域中的多数类样本，提出了一种改进的欠采样方法（IS）。通过在六种不平衡数据集上的实验表明，该算法与传统算法相比，取得了更高的G-mean值、F-value值、AUC值，有效改善了不平衡数据集的综合分类性能。     

面向不均衡数据的多分类集成算法

为解决不均衡多分类问题,提出了一种基于采样和特征选择的不均衡数据集成分类算法(IDESF).基分类器的多样性会影响集成算法的分类性能,所以IDESF算法对数据集进行有放回采样+SMOTE的两阶段采样.两阶段采样在保证所得数据集中样本合理性的基础上,增加数据集间的差异性以此隐式地提高基分类器的多样性.两阶段采样同样可以平...     

基于多特征和改进SVM集成的图像分类

现有图像分类方法不能充分利用图像各单一特征之间的优势互补特性,提取的特征中存在大量冗余信息,从而导致图像分类精度不高。为此,提出一种基于多特征和改进支持向量机(SVM)集成的图像分类方法。该方法能提取全面描述图像内容的综合特征,采用主成分分析对所提取的特征进行变换,去除冗余信息,使用支持向量机的集成分类器RBaggSVM进行分类。仿真实验结果表明,与同类图像分类方法相比,该方法具有更高的图像分类精度和更快的分类速度。     

DCT结合特征选择的红外人脸识别

为了从生物特征和统计角度来提高识别的性能,提出了一种基于血流图的离散余弦变换（discrete cosine transform,DCT）与特征选择相结合的人脸识别方法。该方法首先利用血流模型把红外温谱图转换成血流图,得到更具丰富频率的特征。其次,采用DCT变换可以有效地消除血流图的相关性。最后,在DCT域特征提取阶段,为了提高特征提取的有效性,特征选择和子空间学习基于一致的可分性目标：特征选择引入基于可分性的DCT系数选择算法以抽取鉴别能力强的DCT系数,对抽取的DCT系数采用基于可分性的线性鉴别分析（linear discriminant analysis,LDA）方法。实验结果表明,该红外人脸识别方法可以快速有效地提取血流图中适合分类的特征,识别率优于传统DCT＋LDA方法。