基于差分进化的ELM加权集成分类

集成分类通过将若干个弱分类器依据某种规则进行组合,能有效改善分类性能。在组合过程中,各个弱分类器对分类结果的重要程度往往不一样。极限学习机是最近提出的一个新的训练单隐层前馈神经网络的学习算法。以极限学习机为基分类器,提出了一个基于差分进化的极限学习机加权集成方法。提出的方法通过差分进化算法来优化集成方法中各个基分类器的权值。实验结果表明,该方法与基于简单投票集成方法和基于Adaboost集成方法相比,具有较高的分类准确性和较好的泛化能力。     

基于标记分布学习的异态集成学习算法

为了提高预测的准确性,文中结合机器学习中堆积(Stacking)集成框架,组合多个分类器对标记分布进行学习,提出基于标记分布学习的异态集成学习算法(HELA-LDL).算法构造两层模型框架,通过第一层结构将样本数据采用组合方式进行异态集成学习,融合各分类器的学习结果,将融合结果输入到第二层分类器,预测结果是带有置信度的标记分布.在专用数据集上的对比实验表明,HELA-LDL可以发挥各种算法在不同场景下的性能较优,稳定性分析进一步说明算法的有效性.     

选择性集成学习算法的研究

通过选择性集成可以获得比单个学习器和全部集成学习更好的学习效果,可以显著地提高学习系统的泛化性能。文中提出一种多层次选择性集成学习算法,即在基分类器中通过多次按权重进行部分选择,形成多个集成分类器,对形成的集成分类器进行再集成,最后通过对个集成分类器多数投票的方式决定算法的输出。针对决策树与神经网络模型在20个标准数据集对集成学习算法Ada—ens进行了实验研究,试验证明基于数据的集成学习算法的性能优于基于特征集的集成学习算法的性能,有更好的分类准确率和泛化性能。     

选择性集成学习算法的研究

通过选择性集成可以获得比单个学习器和全部集成学习更好的学习效果,可以显著地提高学习系统的泛化性能。文中提出一种多层次选择性集成学习算法,即在基分类器中通过多次按权重进行部分选择,形成多个集成分类器,对形成的集成分类器进行再集成,最后通过对个集成分类器多数投票的方式决定算法的输出。针对决策树与神经网络模型在20个标准数据集对集成学习算法Ada—ens进行了实验研究,试验证明基于数据的集成学习算法的性能优于基于特征集的集成学习算法的性能,有更好的分类准确率和泛化性能。     

一种基于信息熵的多分类器动态组合方法

为提高数据分类的性能,提出了一种基于信息熵[1]的多分类器动态组合方法（EMDA）。此方法在多个UCI标准数据集上进行了测试,并与由集成学习算法—AdaBoost,训练出的各个基分类器的分类效果进行比较,证明了该算法的有效性。     

基于元学习和叠加法的双层支持向量机算法

提出一种模式识别算法——双层支持量机算法,用来提高表面肌电识别精度。该算法融合集成学习中元学习的并行方法和叠加法的递进思想,把基本SVM分类器并行分布在第1层,第1层的预测结果作为第2层的输入,由第2层再进行分类识别,从而通过多层分类器组合来融合多源特征。以手臂表面肌电数据集为测试数据,采用文中的双层支持向量机,各肌肉的肌电信号分别输入基支持向量机,组合器融合各肌肉电信号特征,集成识别前臂肌肉群的肌电信号,从而实现运动意图的精确识别。实验结果显示,在预测精度上,此算法优于单个SVM分类器。在预测性能上(识别精度、耗时、鲁棒性),此算法优于随机森林和旋转森林等集成分类器。     

基于多特征和Stacking算法的Android恶意软件检测方法

Android由于其广泛的普及率使得其平台上的恶意软件数量不断增加,针对目前大部分方法采用单一特征和单一算法进行检验,准确率不高的不足,提出了一种基于多特征与Stacking算法的静态检测方法,该方法能够弥补这两方面的不足. 首先使用多种特征信息组成特征向量,并且使用Stacking集成学习算法组合Logistic,SVM,k近邻和CART决策树多个基本算法,再通过训练样本进行学习形成分类器. 实验结果表明,相对于使用单一特征和单一算法其识别准确率得到提高,可达94.05%,该分类器对测试样本拥有较好的识别性能.     

集成学习算法的差异性及性能比较

从差异性出发,研究了基于特征集技术（通过一定的策略选取不同特征集以组成训练集）与数据技术（通过取样技术选取不同的训练集）的集成学习算法,分析了两种集成学习算法产生差异性的方法。针对决策树与神经网络模型,在标准数据集中对集成学习算法的性能进行实验研究,结果表明集成学习算法的性能依赖于数据集的特性以及产生差异性的方法等因素。从总体性能考虑,基于数据的集成学习算法在大多数数据集上优于基于特征集的集成学习算法。     

基于属性组合的集成学习算法

针对样本由数字属性构成的分类问题,在AdaBoost算法流程基础上,改传统的基于单属性分类器构造方法为基于组合属性分类器构造方法,提出了一种基于样本属性线性组合的集成学习算法。对属性组合系数的构造,提出了一般性的构造思路,按照该思路,提出了几种具体的组合系数构造方法,并对构造方法的科学合理性进行了分析。利用UCI机器学习数据集中的数据对提出的方法进行了实验与分析,结果表明,基于属性组合的集成学习算法不仅有是有效的,而且比传统AdaBoost算法好     

基于Boosting的TAN组合分类器

Boosting是一种有效的分类器组合方法，它能够提高不稳定学习算法的分类性能，但对稳定的学习算法效果不明显,TAN(tree-augmented naive Bayes)是一种树状结构的贝叶斯网络，标准的TAN学习算法生成的TAN分类器是稳定的，用Boosting难以提高其分类性能,提出一种构造TAN的新算法GTAN，并将由GTAN生成的多个TAN分类器用组合方法Boosting-MultiTAN组合，最后实验比较了TAN组合分类器与标准的TAN分类器．实验结果表明，在大多数实验数据上，Boosting-MultiTAN分类器显示出较高的分类正确率。     

商品名称短文本快速有效分类的多基模型框架

提出一种适用于短文本分类的多基模型框架Bagging_fastText(B_f)。它是一种基于自举汇聚法的快速文本分类算法的框架。以fastText为基模型,运用集成学习思想,设置最优超参数并训练出多个基模型组成多基模型,再通过投票机制获取最终类别。对商品名称短文本分类的实验结果表明,提出的B_f比fastText、朴素贝叶斯传统文本分类算法、文本卷积神经网络(TextCNN)算法的分类效果更优。     

一种基于核的模糊多球分类算法及其集成

提出了一种基于核的模糊多球分类算法,该算法在训练阶段为每一个模式类构造多个最小球覆盖其所有的训练样本,并且在识别阶段算法利用一个模糊隶属函数来归类测试样本。此外,在提出的分类算法的基础上,还给出了它的集成方法。最后,采用了4个真实数据集进行实验,实验结果表明该文提出的算法具有较好的分类性能,是一种行之有效的分类算法。     

基于近似约简与最优采样的集成剪枝

集成学习被广泛用于提高分类精度, 近年来的研究表明, 通过多模态扰乱策略来构建集成分类器可以进一步提高分类性能. 本文提出了一种基于近似约简与最优采样的集成剪枝算法(EPA_AO). 在EPA_AO中, 我们设计了一种多模态扰乱策略来构建不同的个体分类器. 该扰乱策略可以同时扰乱属性空间和训练集, 从而增加了个体分类器的多样性. 我们利用证据KNN (K-近邻)算法来训练个体分类器, 并在多个UCI数据集上比较了EPA_AO与现有同类型算法的性能. 实验结果表明, EPA_AO是一种有效的集成学习方法.     

Ensemble of Efficient Minimal Learning Machines for Classification and Regression

Minimal Learning Machine (MLM) is a recently proposed supervised learning algorithm with performance comparable to most state-of-the-art machine learning methods. In this work, we propose ensemble methods for classification and regression using MLMs. The goal of ensemble strategies is to produce more robust and accurate models when compared to a single classifier or regression model. Despite its successful application, MLM employs a computationally intensive optimization problem as part of its test procedure (out-of-sample data estimation). This becomes even more noticeable in the context of ensemble learning, where multiple models are used. Aiming to provide fast alternatives to the standard MLM, we also propose the Nearest Neighbor Minimal Learning Machine and the Cubic Equation Minimal Learning Machine to cope with classification and single-output regression problems, respectively. The experimental assessment conducted on real-world datasets reports that ensemble of fast MLMs perform comparably or superiorly to reference machine learning algorithms.     

一种数据增强和多模型集成的细粒度分类算法

针对解决数据缺少和单个卷积网络模型性能的限制造成细粒度分类准确率不高的问 题，提出了一种数据增强和多模型集成融合的分类算法。首先通过镜像、旋转、多尺度缩放、高 斯噪声、随机剪切和色彩增强6 种变换对CompCars 数据集进行增强处理，然后采用差异化采样 数据集的方法训练CaffeNet、VGG16 和GoogleNet 3 种差异化的网络。然后采用多重集成的方法 集成多种模型的输出结果。实验中测试网络结构在不同数据增强算法和不同模型集成下的分类结 果。模型集成的分类准确率达到94.9%，比最好的单GoogleNet 模型的分类精确率提高了9.2 个 百分点。实验结果表明该算法可以有效地提高分类的准确率。     

Joint spectral-spatial hyperspectral image classification based on hierarchical subspace switch ensemble learning algorithm

In this paper, a novel spectral-spatial hyperspectral image classification method has been proposed by designing hierarchical subspace switch ensemble learning algorithm. First, the hyperspectral images are processed by fast bilateral filtering to get the spatial features. The spectral features and spatial features are combined to form the initial feature set. Second, Hierarchical instance learning based on iterative means clustering method is designed to obtain hierarchical instance space. Third, random subspace method (RSM) is used for sampling the features and samples, thereby forming multiple sub sample set. After that, semi-supervised learning (S²L) is applied to choose test samples for improving classification performance without touching the class labels. Then, micro noise linear dimension reduction (mNLDR) is used for dimension reduction. Afterwards, ensemble multiple kernels SVM(EMK_SVM) are used for stable classification results. Finally, final classification results are obtained by combining classification results with voting strategy. Experimental results on real hyperspectral scenes demonstrate that the proposed method can effectively improve the classification performance apparently.     

基于遗传规划和集成学习的恶意软件检测

近年来恶意软件不断地发展变化,导致单一检测模型的准确率较低,使用集成学习组合多种模型可以提高检测效果,但集成模型中基学习器的准确性和多样性难以平衡。为此,提出一种基于遗传规划的集成模型生成方法,遗传规划可以将特征处理和构建集成模型两个阶段集成到单个程序树中,解决了传统恶意软件集成检测模型难以平衡个体准确率和多样性的问题。该方法以集成模型的恶意软件检出率作为种群进化依据,保证了基学习器的准确性;在构建集成模型时自动选择特征处理方法、分类算法和优化基学习器的超参数,通过输入属性扰动和算法参数扰动增加基学习器的多样性,根据优胜劣汰的思想进化生成具有高准确性和多样性的最优集成模型。在EMBER数据集上的结果表明,最优集成模型的检测准确率达到了98.88%;进一步的分析表明,该方法生成的模型具有较高的多样性和可解释性。     

基于免疫克隆特征选择和欠采样集成的垃圾网页检测

为解决垃圾网页检测过程中的“维数灾难”和不平衡分类问题,提出一种基于免疫克隆特征选择和欠采样（US）集成的二元分类器算法。首先,使用欠采样技术将训练样本集大类抽样成多个与小类样本数相近的样本集,再将其分别与小类样本合并构成多个平衡的子训练样本集;然后,设计一种免疫克隆算法遴选出多个最优的特征子集;基于最优特征子集对平衡的子样本集进行投影操作,生成平衡数据集的多个视图;最后,用随机森林（RF）分类器对测试样本进行分类,采用简单投票法确定测试样本的最终类别。在WEBSPAM UK-2006数据集上的实验结果表明,该集成分类器算法应用于垃圾网页检测：与随机森林算法及其Bagging和AdaBoost集成分类器算法相比,准确率、F1测度、AUC等指标均提高11%以上;与其他最优的研究结果相比,该集成分类器算法在F1测度上提高2%,在AUC上达到最优。     

集成特征选择的广义粗集方法与多分类器融合

为改善多分类器系统的分类性能, 提出了基于广义粗集的集成特征选择方法. 为在集成特征选择的同时获取各特征空间中的多类模式可分性信息, 研究并提出了关于多决策表的相对优势决策约简, 给出了关于集成特征选择的集成属性约简 (Ensemble attribute reduction,EAR) 方法, 结合基于知识发现的 KD-DWV 算法进行了高光谱遥感图像植被分类比较实验. 结果表明, EAR 方法与合适的多分类器融合算法结合可有效提高多分类器融合的推广性.