基于标记分布学习的异态集成学习算法

为了提高预测的准确性,文中结合机器学习中堆积(Stacking)集成框架,组合多个分类器对标记分布进行学习,提出基于标记分布学习的异态集成学习算法(HELA-LDL).算法构造两层模型框架,通过第一层结构将样本数据采用组合方式进行异态集成学习,融合各分类器的学习结果,将融合结果输入到第二层分类器,预测结果是带有置信度的标记分布.在专用数据集上的对比实验表明,HELA-LDL可以发挥各种算法在不同场景下的性能较优,稳定性分析进一步说明算法的有效性.     

Applying a new localized generalization error model to design neural networks trained with extreme learning machine

High accuracy and low overhead are two key features of a well-designed classifier for different classification scenarios. In this paper, we propose an improved classifier using a single-hidden layer feedforward neural network (SLFN) trained with extreme learning machine. The novel classifier first utilizes principal component analysis to reduce the feature dimension and then selects the optimal architecture of the SLFN based on a new localized generalization error model in the principal component space. Experimental and statistical results on the NSL-KDD data set demonstrate that the proposed classifier can achieve a significant performance improvement compared with previous classifiers.     

混合特征选择和集成学习驱动的代码异味检测

代码异味是违反基本设计原理或编码规范的软件特征,源代码中若存在代码异味将提高其维护的成本和难度。在代码异味检测方法中,机器学习相较其他方法能够取得更好的性能表现。针对使用大量特征进行训练可能会引起“维度灾难”以及单一模型泛化性能不佳的问题,提出一种混合特征选择和集成学习驱动的代码异味检测方法。通过ReliefF、XGBoost特征重要性和Pearson相关系数计算出所有特征的权重并进行融合,删除融合后权重值较低的无关特征,以得到特征子集。构建具有两层结构的Stacking集成学习模型,第一层的基分类器由3种不同的树模型构成,第二层以逻辑回归作为元分类器,两层结构的集成学习模型能够结合多样化模型的优点来增强泛化性能。将特征子集输入Stacking集成学习模型,从而完成代码异味分类与检测任务。实验结果表明,该方法能够减少特征维度,与Stacking集成学习模型第一层中的最优基分类器相比,其在F-measure和G-mean指标上最高分别提升1.46%和0.87%。     

多层分类器模型的相似人体活动识别

针对基于单传感器活动识别中相似活动易混淆的问题,本文提出了一种基于广义判别分析的多层分类器融合的相似人体活动识别算法.首先提取基于单加速度计的多类活动数据的时域特征、频域特征以及时频特征,对不同特征进行特征分析与重要性评估以确定有效的特征维度.使用随机森林(RF,Random forest)算法对活动特征进行第1层分类...     

基于时序特征和集成算法的用户购买预测

大数据时代,电商平台积累了大量用户在平台上的行为数据,比如浏览、点击、下单和加入购物车等等.如何使用机器学习算法去探索大数据背后的用户消费喜好和习惯成为了一个新的研究热点.本文主要在特征工程和模型搭建两个方面对用户购买预测的效果做出提高.通过深入理解电商业务知识,利用统计学知识,分别从用户、商品和评论数据等多个方面的数据构建了115个特征;在模型搭建方面,主要设计了一个两层融合模型,第一层采用了XGBoost、CatBoost和逻辑回归作为基分类器,从不同的角度考虑用户购买预测,第二层采用加权平均的方法对基类模型的预测结果进行融合,其权重由线性分类器学习生成.实验结果表明该融合模型的F1评分要高于个体分类器,并且多次实验证明,融合模型的稳定性也要比个体分类器好.     

Classifier ensemble construction with rotation forest to improve medical diagnosis performance of machine learning algorithms

Improving accuracies of machine learning algorithms is vital in designing high performance computer-aided diagnosis (CADx) systems. Researches have shown that a base classifier performance might be enhanced by ensemble classification strategies. In this study, we construct rotation forest (RF) ensemble classifiers of 30 machine learning algorithms to evaluate their classification performances using Parkinson's, diabetes and heart diseases from literature.While making experiments, first the feature dimension of three datasets is reduced using correlation based feature selection (CFS) algorithm. Second, classification performances of 30 machine learning algorithms are calculated for three datasets. Third, 30 classifier ensembles are constructed based on RF algorithm to assess performances of respective classifiers with the same disease data. All the experiments are carried out with leave-one-out validation strategy and the performances of the 60 algorithms are evaluated using three metrics; classification accuracy (ACC), kappa error (KE) and area under the receiver operating characteristic (ROC) curve (AUC).Base classifiers succeeded 72.15%, 77.52% and 84.43% average accuracies for diabetes, heart and Parkinson's datasets, respectively. As for RF classifier ensembles, they produced average accuracies of 74.47%, 80.49% and 87.13% for respective diseases.RF, a newly proposed classifier ensemble algorithm, might be used to improve accuracy of miscellaneous machine learning algorithms to design advanced CADx systems.     

基于小生境遗传算法的分类优化方法

对于多分类问题,大多是经二分类器组合进行训练的,在分类类别多、特征维数高时,存在识别准确率不高和训练速度较慢的问题。将超球支持向量机应用到多类问题,为每个类建立一个超球体模型,通过多个超球体划分样本空间。采用改进的基于排挤的小生境遗传算法(improved crowding niche genetic algorithm,ICNGA)进行特征选择,为不同的目标类别寻找最优的特征子集,优化超球支持向量机的输入。利用UCI标准数据集的数值实验表明,在分类数据类别较多、特征维数较高时,经过ICNGA特征选择之后的多超球支持向量机的识别准确度更好,非常适合解决类别数多、特征维数高的分类问题。     

基于多级SVM分类的语音情感识别算法

为了提高语音情感识别系统的识别准确率,本文在传统支持向量机(SVM)方法的基础之上,提出了一种基于PCA的多级SVM情感分类算法。首先将容易区分的情感分开,针对混淆度大且不能再利用多级分类策略直接进行区分的情感,采用主成分分析法(PCA)进行特征降维,然后逐级地判断出输入语音所属的情感类型。与传统基于SVM分类算法的语音情感识别相比,本文提出的方法可将7种情感的平均识别率提高5.05%,并且特征维度可降低58.3%,从而证明了本文所提出的方法的正确性与有效性。     

Towards subject independent continuous sign language recognition: A segment and merge approach

This paper presents a segment-based probabilistic approach to robustly recognize continuous sign language sentences. The recognition strategy is based on a two-layer conditional random field (CRF) model, where the lower layer processes the component channels and provides outputs to the upper layer for sign recognition. The continuously signed sentences are first segmented, and the sub-segments are labeled SIGN or ME (movement epenthesis) by a Bayesian network (BN) which fuses the outputs of independent CRF and support vector machine (SVM) classifiers. The sub-segments labeled as ME are discarded and the remaining SIGN sub-segments are merged and recognized by the two-layer CRF classifier; for this we have proposed a new algorithm based on the semi-Markov CRF decoding scheme. With eight signers, we obtained a recall rate of 95.7% and a precision of 96.6% for unseen samples from seen signers, and a recall rate of 86.6% and a precision of 89.9% for unseen signers.     

户外天气状况分类识别

针对户外监控系统需要利用图像画面进行天气状态识别的问题,提出了一种新的词袋模型,以及SVM和随机森林相结合的分类方法,对晴天与阴天两类天气状态进行识别.词袋模型利用SIFT特征,通过聚类构建词典,并用最小二乘法求解最佳图像的词典结构参数,最终根据金字塔匹配得到多尺度图像词袋模型特征.分类器的构造采用支持向量机（SVM）作为一级分类器,对小置信样本进行粗分类,之后,再利用随机森林构造作为二级分类器进行判别.通过对两类天气图像集的10 000张图像进行测试,其识别准确率验证了方法的有效性.     

多层组合分类器研究

为了提高监督分类的精度,本文从组合分类器的结构出发,提出一种横向多层组合模型,并对这种模型的运行方式与组合特性进行分析。该模型每层含有一个分类器,每个分类器的输入和输出一起作为其后面一层的输入。我们将简单贝叶斯法与BP神经网络组合成两层分类器。实验结果表明,这种组合方式有效地提高了单个方法的分类精度。     

基于改进BP神经网络的非均衡数据分类算法

传统的分类算法大都默认所有类别的分类代价一致,导致样本数据非均衡时产生分类性能急剧下降的问题.对于非均衡数据分类问题,结合神经网络与降噪自编码器,提出一种改进的神经网络实现非均衡数据分类算法,在神经网络模型输入层与隐层之间加入一层特征受损层,致使部分冗余特征值丢失,降低数据集的不平衡度,训练模型得到最优参数后进行特征分类得到结果.选取UCI标准数据集的3组非均衡数据集进行实验,结果表明采用该算法对小数据集的分类精度有明显改善,但是数据集较大时,分类效果低于某些分类器.该算法的整体分类效果要优于其他分类器.     

Feature elimination based random subspace ensembles learning for ECG arrhythmia diagnosis

Various methods for ensembles selection and classifier combination have been designed to optimize the performance of ensembles of classifiers. However, use of large number of features in training data can affect the classification performance of machine learning algorithms. The objective of this paper is to represent a novel feature elimination (FE) based ensembles learning method which is an extension to an existing machine learning environment. Here the standard 12 lead ECG signal recordings data have been used in order to diagnose arrhythmia by classifying it into normal and abnormal subjects. The advantage of the proposed approach is that it reduces the size of feature space by way of using various feature elimination methods. The decisions obtained from these methods have been coalesced to form a fused data. Thus the idea behind this work is to discover a reduced feature space so that a classifier built using this tiny data set would perform no worse than a classifier built from the original data set. Random subspace based ensembles classifier is used with PART tree as base classifier. The proposed approach has been implemented and evaluated on the UCI ECG signal data. Here, the classification performance has been evaluated using measures such as mean absolute error, root mean squared error, relative absolute error, F-measure, classification accuracy, receiver operating characteristics and area under curve. In this way, the proposed novel approach has provided an attractive performance in terms of overall classification accuracy of 91.11 % on unseen test data set. From this work, it is shown that this approach performs well on the ensembles size of 15 and 20.     

基于粗糙集支持向量机的红外步态识别

为进一步提高红外步态识别精度,构建了一种多分类器融合识别新模型,在根据各单分类器识别输出值构建度量向量的基础上,进行基于粗糙集支持向量机的多分类器融合识别.通过在Matlab7.5平台利用中科院红外步态库进行识别仿真实验,获得识别率和累积匹配分值的实验数据及对比结果.实验结果表明,基于粗糙集支持向量机的多分类器融合识别模型比单分类器在识别率方面有大幅度提高,识别性能理想,识别精度高.     

分层特征模板筛选的维吾尔语韵律边界预测

韵律边界的正确预测是连续语音合成系统中首要解决的关键问题。针对维吾尔语分层韵律结构,通过基于条件随机场（CRF）的分层自底向上方法预测了维吾尔语的韵律词和韵律短语边界,并将维吾尔语形态特征作为韵律边界预测模型的重要特征。根据不同韵律边界层次的特点,对分层韵律边界预测方法进行了改进,针对分层方法的不同层次进行独立特征模板筛选,从而进一步提高韵律边界预测性能。通过对不同的特征模板和不同韵律边界预测模型进行反复实验,得到了最好的预测性能。实验结果表明,该方法明显提高了韵律边界预测结果。     

一种组合式特征选择算法及其在网络流量识别中的应用

当前网络流量日趋复杂,给网络管理带来许多困难.为了准确地识别出网络中的各种流量,本文以支持向量机为分类器,以流的统计学特征为分类依据,提出一种组合式特征选择算法,该算法首先快速去除和分类不相关的特征,针对余下的特征,再利用遗传算法引导特征的选择和支持向量机模型参数的寻优,最终获得了最优的特征集和最佳的支持向量机分类模型.经过实验验证,基于该算法的网络流量识别方法在识别P2P流量时能以更少的特征获得更高的分类准确率.     

基于AdaBoost特征约减的入侵检测分类方法

提出一种基于AdaBoost的入侵特征约减算法,利用该算法约减入侵特征中的冗余特征,构造Ada-加权和Ada-域值分类器,并与支持向量机分类器进行对比。设计并实现Linux实时入侵检测实验平台,并将特征约减算法和3种分类方法应用于该平台。实验结果表明,由特征约减算法挑选出来的入侵特征集较优,Ada-加权和Ada-域值分类器的分类效果优于支持向量机分类器,且Ada-域值分类器在测试集上的检测性能最佳。     

基于分形布朗运动和Ada Boosting的多类音频例子识别

提出了一种基于分形布朗运动的音频特征提取和识别方法．这种方法使用分形布朗运动模型计算出音频例子的分形维数，并作为其分形特征．针对音频分形特征符合高斯分布的特点，使用Ada Boosting算法进行特征约减．然后分别使用Ada-加权高斯分类器和支持向量机对约减特征后的音频分类，并在两类分类的基础上构造多类分类的模型．实验表明，经过特征约减后的音频分形特征在音乐和语音的分类中都优于其他音频特征．     

感知器残差网络和超限学习机融合的3D物体识别

目的 随着3D扫描技术和虚拟现实技术的发展,真实物体的3D识别方法已经成为研究的热点之一。针对现有基于深度学习的方法训练时间长,识别效果不理想等问题,提出了一种结合感知器残差网络和超限学习机（ELM）的3D物体识别方法。方法 以超限学习机的框架为基础,使用多层感知器残差网络学习3D物体的多视角投影特征,并利用提取的特征数据和已知的标签数据同时训练了ELM分类层、K最近邻（KNN）分类层和支持向量机（SVM）分类层识别3D物体。网络使用增加了多层感知器的卷积层替代传统的卷积层。卷积网络由改进的残差单元组成,包含多个卷积核个数恒定的并行残差通道,用于拟合不同数学形式的残差项函数。网络中半数卷积核参数和感知器参数以高斯分布随机产生,其余通过训练寻优得到。结果 提出的方法在普林斯顿3D模型数据集上达到了94.18%的准确率,在2D的NORB数据集上达到了97.46%的准确率。该算法在两个国际标准数据集中均取得了当前最好的效果。同时,使用超限学习机框架使得本文算法的训练时间比基于深度学习的方法减少了3个数量级。结论 本文提出了一种使用多视角图识别3D物体的方法,实验表明该方法比现有的ELM方法和深度学习等最新方法的识别率更高,抗干扰性更强,并且其调节参数少,收敛速度快。     

基于集成随机森林模型的肺结节良恶性分类*

针对目前计算机辅助肺结节良恶性分类模型精度较低的问题,提出了一种基于CT图像的集成随机森林模型肺结节良恶性鉴别方法。首先,分割肺结节区域,提取其影像学特征向量输入多个基分类器;然后,利用每个基分类器的置信度构建集成模型的分类损失函数,求出每个基分类器的权重;最后,根据每个基分类器输出的类别概率值进行加权求和,求得其中概率最大值的类作为分类类别。为验证提出的分类模型性能,本文设计3种实验方案进行测试,准确率分别达到：96.41%,91.36%,95.82%;并与已有的肺结节良恶性分类模型进行对比,结果表明,集成随机森林分类模型能够有效提高肺结节鉴别良恶性的准确度。