一种基于遗传算法的优化分类器的方法

提出了一种通过遗传算法(GA)对单个分类器进行优化以及对多个分类器进行组合优化的方法.该方法使用叠加(stacking)的策略.经典的叠加策略分为两步,该方法将遗传算法作为叠加策略的第2步.实验结果表明,遗传算法可以较好地完成优化任务,同单个分类器比较,它可以提高分类的精度.在对分类器进行组合优化方面,它得到比单个分类器更高的精度以及使分类结果具有更好的可理解性.     

基于Stacking算法的组合分类器及其应用于中文组块分析

与基于Voting方法的组合分类器相比，提出基于Stacking算法的多分类器组合方法．通过构造一个两层的叠加式框架结构，将4种分类器(fnTBL，SNoW，SVM，MBL)进行了组合，并融合各种可能的上下文信息作为各层分类器的输入特征向量，在中文组块识别中取得了较好的效果．实验结果表明．组合后的分类器无论在准确率还是召回率上都有所提高，在哈尔滨工业大学树库语料的测试下达到了F=93．64的结果．     

一种新的基于多样性赋权证据推理的集成学习方法

在集成学习中使用平均法、投票法作为结合策略无法充分利用基分类器的有效信息,且根据波动性设置基分类器的权重不精确、不恰当。以上问题会降低集成学习的效果,为了进一步提高集成学习的性能,提出将证据推理(evidence reasoning, ER)规则作为结合策略,并使用多样性赋权法设置基分类器的权重。首先,由多个深度学习模型作为基分类器、ER规则作为结合策略,构建集成学习的基本结构;然后,通过多样性度量方法计算每个基分类器相对于其他基分类器的差异性;最后,将差异性归一化实现基分类器的权重设置。通过多个图像数据集的分类实验,结果表明提出的方法较实验选取的其他方法准确率更高且更稳定,证明了该方法可以充分利用基分类器的有效信息,且多样性赋权法更精确。     

一种基于投票的Stacking方法

根据基于类的特征向量方法的原理，提出了一种基于投票的叠加泛化方法，对0-层分类器的预测结果“投而不决”，由1-层分类算法来归纳投票情况与正确类之间的关系。实验表明，该方法在具有明显类分布倾斜的多类数据集上有较理想的泛化效果。     

双色红外图像目标多特征决策级融合识别算法

针对双色红外成像系统中的自动目标识别问题,提出了一种采用多特征多分类器决策级融合的目标识别算法。该算法首先提取目标的形状特征和面貌特征;接着基于各种不同特征设计多个分类器对目标进行分类;然后采用所设计的多分类器决策级融合策略对多个分类器的目标分类结果进行融合处理;最后采用所提出的决策规则对多分类器融合分类结果进行处理得到最终的目标识别结果。该算法充分利用了目标在多传感器图像中的多种分类特征信息,在较大程度上提高了系统的目标识别效率和精确性。实验结果证实了该算法的有效性。     

基于静态分类器选择的网络入侵检测方法

计算机网络的安全在当今社会起着举足轻重的作用。该文将基于分类器选择的模式识别方法应用于入侵检测，提出了一种基于静态分类器选择的网络入侵检测方法。该方法对经过聚类获得的各个区域采用新的策略进一步划分，在划分后的子区域上选择分类器，结合了最近邻规则，减小静态分类器选择方法的误差，提高了检测性能。聚类选择(CS)是典型的静态分类器选择方法，在KDD’99的入侵检测数据集上的实验表明，该方法的性能优于基于聚类选择的网络入侵检测方法。     

基于自适应距离度量的最小距离分类器集成

提出了一种基于自适应距离度量的最小距离分类器集成方法，给出了个体分类器的生成方法。首先用Bootstrap技术对训练样本集进行可重复采样，生成若干个子样本集，应用生成的子样本集建立自适应距离度量模型，根据建立的模型对子样本集进行训练，生成个体分类器。在集成中，将结果用相对多数投票法集成最终的结论。采用UCI标准数据集实验，将该方法与已有方法进行了性能比较，结果表明基于自适应距离度量的最小距离分类器集成是最有效的。     

一种新的分裂层次聚类SVM 多值分类器

提出一种分裂层次聚类SVM分类树分类方法.该方法通过融合模糊聚类技术和支持向量机算法,利用分裂的层次聚类策略,有选择地重新构造学习样本集和SVM子分类器,得到了一种树形多值分类器.研究结果表明,对于k类别模式识别问题,该方法只需构造k-1个SVM子分类器,克服了SVM子分类器过多以及存在不可区分区域的缺点,具有良好的分类性能.实验结果验证了该方法的优越性.     

极限学习机集成在骨髓细胞分类中的应用

骨髓细胞的分类有重要的医学诊断意义。先对骨髓细胞图像分割和特征提取,用提取出来的训练集对极限学习机训练,再用该分类器对未知样本识别。针对单个分类器性能的不稳定,提出基于元胞自动机的极限学习机集成算法。通过元胞自动机抽样策略构建差异大的训练子集,多个分类器并行学习,多数投票法联合决策。实验结果表明,与BP、支持向量机比较,该算法基本无参数调整,学习速度快,分类精度高能达到97.33%,且有效克服了神经网络分类器不稳定的缺点。     

级联式低消耗大规模网页分类在线获取方法

针对海量网页在线自动高效获取网页分类系统设计中如何更有效地平衡准确度与资源开销之间的矛盾问题,提出一种基于级联式分类器的网页分类方法。该方法利用级联策略,将在线与离线网页分类方法结合,各取所长。级联分类系统的一级分类采用在线分类方法,仅利用锚文本中网页标题包含的特征预测其分类,同时计算分类结果的置信度,分类结果的置信度由分类后验概率分布的信息熵度量。若置信度高于阈值（该阈值采用多目标粒子群优化算法预先计算取得）,则触发二级分类器。二级分类器从下载的网页正文中提取特征,利用预先基于网页正文特征训练的分类器进行离线分类。结果表明,相对于单独的在线法和离线法,级联分类系统的F1值分别提升了10.85%和4.57%,并且级联分类系统的效率比在线法未降低很多（30%左右）,而比离线法的效率提升了约70%。级联式分类系统不仅具有更高的分类能力,而且显著地减少了分类的计算开销与带宽消耗。     

基于组合模型的交通事故严重程度预测方法

由于各个单一分类模型对道路交通事故严重程度预测的局限性,本文致力于建立一种组合模型。本文结合卷积神经网络提取时空维度中的特征信息,采用stacking方式将CNNs与XGBoost组合,最终生成道路交通事故严重性的分类模型（多层提升方法）,实验结果表明,此模型在测试集上预测精度为91.51%,组合模型比单一分类模型具有更好的分类结果。基于组合模型的分类结果,对交通事故特征进行重要性排序,开展特征相关性分析,为减少道路交通事故及减轻道路交通事故严重等级的管理措施提供参考依据。     

Troika - An improved stacking schema for classification tasks

Stacking is a general ensemble method in which a number of base classifiers are combined using one meta-classifier which learns their outputs. Such an approach provides certain advantages: simplicity; performance that is similar to the best classifier; and the capability of combining classifiers induced by different inducers. The disadvantage of stacking is that on multiclass problems, stacking seems to perform worse than other meta-learning approaches. In this paper we present Troika, a new stacking method for improving ensemble classifiers. The new scheme is built from three layers of combining classifiers. The new method was tested on various datasets and the results indicate the superiority of the proposed method to other legacy ensemble schemes, Stacking and StackingC, especially when the classification task consists of more than two classes.     

基于标记分布学习的异态集成学习算法

为了提高预测的准确性,文中结合机器学习中堆积(Stacking)集成框架,组合多个分类器对标记分布进行学习,提出基于标记分布学习的异态集成学习算法(HELA-LDL).算法构造两层模型框架,通过第一层结构将样本数据采用组合方式进行异态集成学习,融合各分类器的学习结果,将融合结果输入到第二层分类器,预测结果是带有置信度的标记分布.在专用数据集上的对比实验表明,HELA-LDL可以发挥各种算法在不同场景下的性能较优,稳定性分析进一步说明算法的有效性.     

基于Stacking组合分类方法的中文情感分类研究

情感文本分类(简称情感分类)是一种面向主观信息分类的文本分类任务。目前,由于其广泛的应用前景,该任务在自然语言处理研究领域中得到了普遍关注,相继出现多种用于情感文本分类的有监督的分类方法。该文具体研究四种不同的分类方法在中文情感分类上的应用,并且采用一种基于Stacking的组合分类方法,用以组合不同的分类方法。实验结果表明,该组合方法在所有领域都能够获得比最好基分类方法更好的分类效果。从而克服了分类方法领域依赖的困境(不同领域需要选择不同基分类方法才能获得更好的分类结果)。     

Applying Ant Colony Optimization to configuring stacking ensembles for data mining

An ensemble is a collective decision-making system which applies a strategy to combine the predictions of learned classifiers to generate its prediction of new instances. Early research has proved that ensemble classifiers in most cases can be more accurate than any single component classifier both empirically and theoretically. Though many ensemble approaches are proposed, it is still not an easy task to find a suitable ensemble configuration for a specific dataset. In some early works, the ensemble is selected manually according to the experience of the specialists. Metaheuristic methods can be alternative solutions to find configurations. Ant Colony Optimization (ACO) is one popular approach among metaheuristics. In this work, we propose a new ensemble construction method which applies ACO to the stacking ensemble construction process to generate domain-specific configurations. A number of experiments are performed to compare the proposed approach with some well-known ensemble methods on 18 benchmark data mining datasets. The approach is also applied to learning ensembles for a real-world cost-sensitive data mining problem. The experiment results show that the new approach can generate better stacking ensembles.     

基于动态分类器选择的网络入侵检测方法

提出了一种基于动态分类器选择的网络入侵检测方法,该方法通过增加训练过程以及对分类器性能的静态估算来减少分类时需要的计算资源,提高分类速度,以满足网络入侵检测对实时性的要求。实验表明,该方法的性能优于基于静态分类器选择的网络入侵检测方法。     

A novel PBL-McRBFN-RFE approach for identification of critical brain regions responsible for Parkinson’s disease

In this paper, we present a novel approach for the identification of critical brain regions responsible for Parkinson’s disease (PD) based on magnetic resonance images (MRI) using meta-cognitive radial basis function network (McRBFN) classifier with Recursive Feature Elimination (RFE). The McRBFN classifier uses voxel based morphometric (VBM) features extracted from MRI and employs a projection based learning (PBL) algorithm. The meta-cognitive learning present in PBL-McRBFN helps in selecting proper samples to learn based on its current knowledge and evolve the architecture automatically. Since, the classifier developed using PBL-McRBFN is efficient, we propose recursive feature elimination approach (called PBL-McRBFN-RFE) to identify most relevant brain regions responsible for PD prediction.The study has been conducted using the Parkinson’s Progression Markers Initiative (PPMI) data set. First, we conducted the study on PD prediction using the PBL-McRBFN classifier on the PPMI data set. We have also compared the results of the PBL-McRBFN classifier with the support vector machine (SVM) classifier. The study results clearly show that the PBL-McRBFN classifier produces better generalization performance on PD prediction. Finally, we use RFE approach with PBL-McRBFN to identify the brain regions responsible for PD. The PBL-McRBFN-RFE selected features indicate that the loss of gray matter in the superior temporal gyrus region may be responsible for the onset of PD, and is consistent with the earlier findings from medical research studies.     

Is Combining Classifiers with Stacking Better than Selecting the Best One?

We empirically evaluate several state-of-the-art methods for constructing ensembles of heterogeneous classifiers with stacking and show that they perform (at best) comparably to selecting the best classifier from the ensemble by cross validation. Among state-of-the-art stacking methods, stacking with probability distributions and multi-response linear regression performs best. We propose two extensions of this method, one using an extended set of meta-level features and the other using multi-response model trees to learn at the meta-level. We show that the latter extension performs better than existing stacking approaches and better than selecting the best classifier by cross validation.