集成分类对比:Bagging NB & Boosting NB

Bagging和Boosting是两种重要的投票分类算法,前者并行生成多个分类器,后者通过调整样本权重,串行生成多个分类器.将Bagging与Boosting算法与朴素贝叶斯算法相集成,构建了Bagging NB和AdaBoosting NB算法.以UCI数据集为基础,进行实验对比,结果表明,Bagging NB算法较为稳定,可以产生优于NB算法的分类结果,而Boosting算法受到数据分布中的奇异值影响较大,部分数据集上与NB算法的基础效果较差.     

基于随机子空间和AdaBoost的自适应集成方法

如何构造差异性大且精确度高的基分类器是集成学习的重点,为此提出一种新的集成学习方法——利用PSO寻找使得AdaBoost依样本权重抽取的数据集分类错误率最小化的最优特征权重分布,依据此最优权重分布对特征随机抽样生成随机子空间,并应用于AdaBoost的训练过程中.这就在增加分类器间差异性的同时保证了基分类器的准确度.最后用多数投票法融合各基分类器的决策结果,并通过仿真实验验证该方法的有效性.     

一种基于优化的随机子空间分类集成算法

提出了基于优化的随机子空间分类集成算法CEORS,该算法通过运用封装式特征选择和LSA降维两种方法对随机选择的特征子集进行了优化,并运用优化的特征子空间进行分类器的集成.实验结果表明,基于优化特征子空间的集成分类器性能优于Bagging和AdaBoost.     

一种基于Bagging和混淆矩阵的自适应选择性集成

为了平衡集成学习中差异性和准确性的关系并提高学习系统的泛化性能,提出一种基于Bagging和混淆矩阵的选择性集成方法.基本思想是通过扰动训练集和特征空间生成基分类器,根据每一个基分类器的混淆矩阵构造一个基分类器间相关性的度量矩阵;然后基于相关性度量矩阵对基分类器集合进行子集划分,在每个划分中选择一个基分类器参与集成;最后用多数投票法融合所选基分类器的决策结果,并通过仿真实验验证该方法的有效性.     

基于集成支持向量机的故障诊断方法研究

为了提高支持向量机的泛化能力,研究了Bagging集成学习方法对于支持向量机的提升作用,试验结果表明提升作用不明显。通过模拟数据扰动的方法,在标准数据集上通过试验定量比较了支持向量机和神经网络的稳定性,结果表明支持向量机相对于神经网络来说是一种稳定的分类器。在此基础上,提出了双重扰动法,即通过子空间法扰动数据特征,通过Bagging算法扰动数据分布,来达到提高基分类器之间差异性的目的,在标准数据集和故障诊断数据上进行了试验,试验结果表明,双重扰动法较好地提升了支持向量机的正确识别率。     

基于混合多样性生成与修剪的集成单类分类算法

针对传统集成学习方法直接应用于单类分类器效果不理想的问题,该文首先证明了集成学习方法能够提升单类分类器的性能,同时证明了若基分类器集不经选择会导致集成后性能下降;接着指出了经典集成方法直接应用于单类分类器集成时存在基分类器多样性严重不足的问题,并提出了一种能够提高多样性的基单类分类器混合生成策略;最后从集成损失构成的角度拆分集成单类分类器的损失函数,针对性地构造了集成单类分类器修剪策略并提出一种基于混合多样性生成和修剪的单类分类器集成算法,简称为PHD-EOC。在UCI标准数据集和恶意程序行为检测数据集上的实验结果表明,PHD-EOC算法兼顾多样性与单类分类性能,在各种单类分类器评价指标上均较经典集成学习方法有更好的表现,并降低了决策阶段的时间复杂度。     

基于Boosting算法的车牌汉字识别

对AdaBoost算法作了详细的分析:AdaBoost是一种有效的分类器组合方法,他用某个分类算法生成一系列的基分类器,每个基分类器的训练依赖于在其之前产生的分类器的分类结果,基分类器在训练集上的错误率用于调整训练样本的概率分布,最终分类器通过单个基分类器的加权投票建立起来。最后将该算法应用于车牌照的汉字识别,对识别效率有大幅度提高。     

基于集成算法的在线购物平台消费者评价情感分析与研究

文章对在线购物平台的消费者评价数据进行了情感分析和分类。通过使用Python实现自动化浏览器驱动和反爬虫技术,成功采集了某东购物平台的消费者评价信息。文章提出了一种改进的集成算法,将LSTM、BiGRU、BiLSTM作为分类器,分别采用Voting和Bagging方法进行集成。结果表明,与传统的贝叶斯和逻辑回归相比,LSTM+Bagging集成算法在准确率方面分别提高了5.9%和6%,而与LSTM+Voting集成算法相比,准确率提高了0.5个百分点。另外,LSTM+Bagging模型在稳定性和鲁棒性方面表现优于LSTM+Voting算法。     

基于EP的提升分类算法

显露模式(EP)是支持度从一个数据集到另一个数据集发生显著变化的项集.EP具有很强的区分能力,可以建立很好的分类器.文中采用基于EP的分类算法CEEP建立基分类器,结合组合学习分类方法AdaBoost算法的思想,提出了一种新的分类算法A-E算法.算法使用加权样本建立基分类器,并根据分类结果改变样本权值,同时应用分类误差计算基分类器权重.最终,算法按权重组合每个分类器的分类结果.在UCI机器学习数据库的9个基准数据集上的实验表明,A-E算法都能有效地减低泛化误差,并具有较高的分类准确率.     

一种基于类Haar特征和改进AdaBoost分类器的车辆识别算法

 提出一种基于类haar特征和改进AdaBoost分类器的车辆图像识别算法,以解决当前基于SVM分类器或级联分类器存在的分类识别性能不足以及传统基于AdaBoost算法的训练所需时间过长的问题.首先,基于积分图提取图像的扩展类haar特征,然后对所提取的海量类haar特征应用改进的AdaBoost分类器训练方法进行特征选择及分类器训练,最后利用所选择的特征信息及训练得到的分类器进行两类分类识别.实验结果表明,文中方法无论是在识别性能还是训练所需时间方面均明显优于传统方法,具有较好的应用前景.     

基于MapReduce技术的并行集成分类算法

由于计算机内存资源限制,分类器组合的有效性及最优性选择是机器学习领域的主要研究内容。经典的集成分类算法在处理小数据集时,拥有较高的分类准确性,但面对大量数据时,由于多基分类器学习、分类共用1台计算机资源,导致运算效率较低,这显然不适合处理当今的海量数据。针对已有集成分类算法只适合作用于小规模数据集的缺点,剖析了集成分类器的特性,采用基于聚合方式的集成分类器和云计算的MapReduce技术设计了并行集成分类算法(EMapReduce),达到并行处理大规模数据的目的。并在Amazon计算集群上模拟实验,实验结果表明该算法具有一定的高效性和可行性。     

基于随机化属性选择和邻域覆盖约简的集成学习

 提高分类模型的分类精度和可靠性是分类建模追求的目标.针对目前规则学习方法应用于分类时稳定性差以及分类精度低的问题,本文通过随机化邻域属性约简,搜索一组分类精度较高的属性子集,在不同的属性子集上采用邻域覆盖约简方法学习分类规则,得到多个规则集.最后通过简单投票融合不同规则集上的分类结果获得对象的类别.实验表明,基于随机化邻域约简的集成学习方法分类性能优于或与其它相关的分类器相当,并且在噪声扰动下具有更强的鲁棒性.     

基于共生特征和集成多超球面OC-SVM的JPEG隐密分析方法

隐密是指将秘密信息以不可察觉的方式隐藏于其他载体之中的技术。隐密分析的目的是检测秘密信息的存在并最终提取秘密信息。目前基于二类或多类分类器的盲隐密分析方法可有效检测已知隐密算法,但无法对未公开隐密算法的生成图像进行检测。该文提出了一种新的JPEG盲隐密分析方法,对已知或未公开隐密算法都可检测。基于共生特征和多超球面OC-SVM分类器,本方法利用能有效对载体JPEG图像的统计分布边界建模。为进一步提高检测性能,还应用Bagging集成学习算法提高分类器的泛化能力。实验结果表明,该文方法能较为准确地检测出典型JPEG隐密算法生成的含密图像,性能优于已有的同类隐密分析方法。     

A novel SVM ensemble approach using clustering analysis

A novel Support Vector Machine （SVM） ensemble approach using clustering analysis is proposed. Firstly, the positive and negative training examples are clustered through subtractive clustering algorithm respectively. Then some representative examples are chosen from each of them to construct SVM components. At last, the outputs of the individual classifiers are fused through majority voting method to obtain the final decision. Comparisons of performance between the proposed method and other popular ensemble approaches, such as Bagging, Adaboost and k-fold cross validation, are carried out on synthetic and UCI datasets. The experimental results show that our method has higher classification accuracy since the example distribution information is considered during ensemble through clustering analysis. It further indicates that our method needs a much smaller size of training subsets than Bagging and Adaboost to obtain satisfactory classification accuracy.     

Critic-driven ensemble classification

We develop new rules for combining the estimates obtained from each classifier in an ensemble, in order to address problems involving multiple (>2) classes. A variety of techniques have been previously suggested, including averaging probability estimates from each classifier, as well as hard (0-1) voting schemes. In this work, we introduce the notion of a critic associated with each classifier, whose objective is to predict the classifier's errors. Since the critic only tackles a two class problem, its predictions are generally more reliable than those of the classifier and, thus, can be used as the basis for improved combination rules. Several such rules are suggested here. While previous techniques are only effective when the individual classifier error rate is p<0.5, the new approach is successful, as proved under an independence assumption, even when this condition is violated-in particular, so long as p+q<1, with q the critic's error rate. More generally, critic-driven combining is found to achieve significant performance gains over alternative methods on a number of benchmark data sets. We also propose a new analytical tool for modeling ensemble performance, based on dependence between experts. This approach is substantially more accurate than the analysis based on independence that is often used to justify ensemble methods     

一种不平衡数据流集成分类模型

 针对不平衡数据流的分类问题,结合基于权重的集成分类器与抽样技术,本文提出了一种处理不平衡数据流集成分类器模型.理论分析与实验验证表明,该集成分类器具有更低的计算复杂度,更能适应存在概念漂移的不平衡数据流挖掘分类,其整体分类性能优于基于权重的集成分类器模型,能明显提升少数类的分类精度.     

基于K-medoids聚类的贝叶斯集成算法

朴素贝叶斯分类算法由于其计算高效在生活中应用广泛。本文根据集成算法的差异性特征,聚类算法聚类点的选择方式的可变性,提出了基于K-medoids聚类技术的贝叶斯集成算法,朴素贝叶斯的泛化性能得到了提升。首先,通过样本集训练出多个朴素贝叶斯基分类器模型;然后,为了增大基分类器之间的差异性,利用K-medoids算法对基分类器在验证集上的预测结果进行聚类;最后,从每个聚类簇中选择泛化性能最佳的基分类器进行集成学习,最终结果由简单投票法得出。将该算法应用于UCI数据集,并与其他类似算法进行比较可得,本文提出的基于K-medoids聚类的贝叶斯集成算法(NBKME)提高了数据集的分类准确率。     

Common Spatial Pattern Ensemble Classifier and Its Application in Brain-Computer Interface

Common spatial pattern (CSP) algorithm is a successful tool in feature estimate of brain-computer interface (BCI). However, CSP is sensitive to outlier and may result in poor outcomes since it is based on pooling the covariance matrices of trials. In this paper, we propose a simple yet effective approach, named common spatial pattern ensemble (CSPE) classifier, to improve CSP performance. Through division of recording channels, multiple CSP filters are constructed. By projection, log-operation, and subtraction on the original signal, an ensemble classifier, majority voting, is achieved and outlier contaminations are alleviated. Experiment results demonstrate that the proposed CSPE classifier is robust to various artifacts and can achieve an average accuracy of 83.02%.     

Common Spatial Pattern Ensemble Classifier and Its Application in Brain-Computer Interface

Abstract-Common spatial pattern （CSP） algorithm is a successful tool in feature estimate of brain-computer interface （BCI）. However, CSP is sensitive to outlier and may result in poor outcomes since it is based on pooling the covariance matrices of trials. In this paper, we propose a simple yet effective approach, named common spatial pattern ensemble （CSPE） classifier, to improve CSP performance. Through division of recording channels, multiple CSP filters are constructed. By projection, log-operation, and subtraction on the original signal, an ensemble classifier, majority voting, is achieved and outlier contaminations are alleviated. Experiment results demonstrate that the proposed CSPE classifier is robust to various artifacts and can achieve an average accuracy of 83.02%.