基于最小代价的多分类器的动态集成

本文提出一种基于最小代价准则的分类器动态集成方法。与一般方法不同,动态集成是 根据“性能预测特征”,动态地为每一样本选择最适合的一组分类器进行集成。该选择基于使误识代价与时间代价最小化的准则,改变代价函数的定义可以方便地达到识别率与识别速度之间的不同折衷。本文中提出了两种分类器动态集成的方法,并介绍了在联机手写汉字识别中的具体应用。在实验中使了３个分类器进行动态集成,因此,得到７种分类组合,在预先     

基于遗传算法和模糊积分的多分类器集成

多分类器联合是解决复杂模式识别问题的有效办法。模糊积分是其中一种多分类器联合方法。但是对于模糊积分。如何计算模糊积分密度是一个尚未解决的问题。本文提出了一种基于模糊积分和遗传算法的分类器集成方法，该方法利用遗传算法计算模糊积分密度函数，再利用模糊积分把分类器输出信息联合起来。实验结果表明，该方法比其他方法能够得到更好的识别性能。     

基于差异性度量的多分类器集成系统设计

为了解决在分类器集成过程中分类性能要求高和集成过程复杂等问题,分析常规集成方法的优缺点,研究已有的分类器差异性度量方法,提出了筛选差异性尽可能大的分类器作为基分类器而构建的一个层级式分类器集成系统.构建不同的基分类器,选择准确率较高的备选,分析其差异性,选出差异大的分类器作为系统所需基分类器,构成集成系统.通过在UCI数据集上进行的试验,获得了很好的分类识别效果,验证了这种分类集成系统的优越性.     

基于实例的强分类器快速集成方法

针对集成分类器由于基分类器过弱,需要牺牲大量训练时间才能取得高精度的问题,提出一种基于实例的强分类器快速集成方法——FSE。首先通过基分类器评价方法剔除不合格分类器,再对分类器进行精确度和差异性排序,从而得到一组精度最高、差异性最大的分类器;然后通过FSE集成算法打破已有的样本分布,重新采样使分类器更多地关注难学习的样本,并以此决定各分类器的权重并集成。实验通过与集成分类器Boosting在UCI数据库和真实数据集上进行比对,Boosting构造的集成分类器的识别精度最高分别能达到90.2%和90.4%,而使用FSE方法的集成分类器精度分别能达到95.6%和93.9%;而且两者在达到相同精度时,使用FSE方法的集成分类器分别缩短了75%和80%的训练时间。实验结果表明,FSE集成模型能有效提高识别精度、缩短训练时间。     

基于聚类选择的分类器集成

提出了一种基于聚类选择的分类器集成方法,通过聚类把模式特征空间划分成不相交的区域,对于初始分类器集合,各区域给出分类器的删除分值,各分类器总分值确定其删除优先级别,由删除优先级别选择一组分类器组成集成。理论分析和实验结果表明,基于聚类选择的分类器集成方法能够更好地对模式进行分类。     

离线签名验证中的多分类器集成

在离线签名验证的分类器设计中,为了减少特征向量分布不均和维数过高对实验结果的影响,给出一种多分类器集成的方法.根据特征向量数量级的不同进行分组,各组分类器自适应地确定分类器权重,通过投票表决得出集成判决结果.实验结果表明,通过分组和加权后,分类正确率有明显提高.     

基于TF-IDF进化集成分类器的铁路安全故障文本分类

铁路安全问题是铁路运输保证的核心问题,铁路安全问题非结构化文本数据量大,文本内容无特定规律,对于综合分析解决安全故障问题造成很高的难度.针对铁路安全问题数据智能分类,提出进化集成分类器模型.运用TF-IDF算法,通过分析接触网安全问题的数据特点提取文本特征.采用决策树作为基分类器的Bagging集成分类器将文本数据分类...     

基于类别信息的分类器集成方法Cagging

提出一种基于类别信息的分类器集成方法Cagging.基于类别信息重复选择样本生成基本分类器的训练集,增强了基本分类器之间的差异性;利用基本分类器对不同模式类的分类能力为每个基本分类器设置一组权重.使用权重对各分类器输出结果进行加权决策,较好地利用了各个基本分类器之间的差异性.在人脸图像库ORL上的实验验证了Cagging的有效性.此外,Cagging方法的基本分类器生成方式适合于通过增量学习生成集成分类器,扩展Cagging设计了基于增量学习的分类器集成方法Cagging-Ⅰ,实验验证了它的有效性.     

基于分类器判决可靠度估计的最优线性集成方法

多分类器集成的目标是充分利用每一个分类器的长处，既要发挥它们的最佳性能，又能克服单个分类器的弱点，以达到最优的系统识别性能，该文提出一种基于发类器判决可靠度估计的多分类器集成方法，利用各分类器对当前输入样本的判决兵验概率，实时估计它们的分类判决可靠度，并指导集成权重系数的分配，该方法能够使集成权重更灵活地适应不同的输入变化，充分利用每个分类器当前的识别能力，从而获得更好的集成效果，该文结合最小均方误差准则（MSE）下的最优线性集成方法给出了权重模型和训练算法，并与其它的线性集成模型作了比较，实验表明，不论在最优化准则下的最终误差还是在实际识别性能上，作者提出的方法都取得了最好的效果。     

基于集成分类器的数据流分类算法

作为一种典型的大数据,数据流具有连续、无限、概念漂移和快速到达等特点,因此传统的分类技术无法直接有效地应用于数据流挖掘。本文在经典的精度加权集成（Accuracy weighted ensemble,AWE）算法的基础上提出概念自适应快速决策树更新集成（Concept very fast decision tree update ensemble,CUE）算法。该算法不仅在基分类器的权重分配方面进行了改进,而且在解决数据块大小的敏感性问题以及增加基分类器之间的相异性方面,有明显的改善。实验表明在分类准确率上,CUE算法高于AWE算法。最后,提出聚类动态分类器选择（Dynamic classifier selection with clustering,DCSC）算法。该算法基于分类器动态选择的思想,没有繁琐的赋权值机制,所以时间效率较高。实验结果验证了DCSC算法的有效和高效性,并能有效地处理概念漂移。     

基于改进卷积神经网络与集成学习的人脸识别算法

针对复杂卷积神经网络(CNN)在中小型人脸数据库中的识别结果容易出现过拟合现象,提出一种基于改进CNN网络与集成学习的人脸识别算法。改进CNN网络结合平面网络和残差网络的特点,采用平均池化层代替全连接层,使得网络结构简单且可移植性强。在改进CNN网络的基础上,利用基于投票法的集成学习策略将所有个体学习器结果凸组合为最终结果,实现更准确的人脸识别。实验结果表明,该算法在Color FERET、AR和ORL人脸数据库上的识别准确率分别达到98.89%、99.67%和100%,并且具有较快的收敛速度。     

基于仿生模式识别的用户概貌攻击集成检测方法

针对有监督方法在检测用户概貌攻击时准确率不高的问题,通过引入仿生模式识别理论和集成学习技术提出一种集成检测方法.首先,通过计算被覆盖直线段与最近邻真实概貌的距离,提出一种自适应神经元超球半径计算算法,为每个神经元确定合适的超球半径;然后利用该超球半径对现有的一个3层神经网络进行重新设计,使其能够对攻击概貌样本进行更合理覆盖,以提高分类性能;最后,提出一种用户概貌攻击集成检测框架,通过组合多种攻击类型,利用提出的基训练集生成算法建立不同的基训练集,以训练新设计的神经网络生成基分类器,基于信息论得分(information theoretic score, ITS)算法提出一种选择性集成检测算法对基分类器进行筛选,并采用多数投票策略融合基分类器的输出结果.在MovieLens和Netflix两个不同规模的真实数据集上的实验结果表明,所提出的集成检测方法能够在保持较高召回率的条件下有效提高用户概貌攻击检测的准确率.     

基于选择性集成分类器的面部表情识别研究*

为了提高面部表情的分类识别性能,基于集成学习理论,提出了一种二次优化选择性(Quadratic Optimization Choice, QOC)集成分类模型。首先,对于9个基分类器,依据性能进行排序,选择前30%的基分类器作为集成模型的候选基分类器。其次,依据组合规则产生集成模型簇。最后,对集成模型簇进行二次优化选择,选择具有最小泛化误差的集成分类器的子集,从而确定最优集成分类模型。为了验证QOC集成分类模型的性能,选择采用最大值、最小值和均值规则的集成模型作为对比模型,实验结果表明：相对基分类器,QOC集成分类模型取得了较好的分类效果,尤其是对于识别率较差的悲伤表情类,平均识别率提升了21.11%。相对于非选择性集成模型,QOC集成分类模型识别性能也有显著提高。     

集成胶囊网络的脑电情绪识别

为了充分提取脑电信号多频带的时频信息和保留导联空间分布的位置信息,提出了一种基于集成胶囊网络的情绪识别模型.对预处理过的脑电信号进行小波包特征提取,并将Theta、Alpha、Beta、Gamma四个频带的小波系数能量值填充于根据导联空间分布映射的稀疏矩阵中,拼接构成多频带特征矩阵,通过胶囊网络对特征数据进行训练,对不...     

基于异构分类器集成的增量学习算法

将集成学习的思想引入到增量学习之中可以显著提升学习效果,近年关于集成式增量学习的研究大多采用加权投票的方式将多个同质分类器进行结合,并没有很好地解决增量学习中的稳定-可塑性难题。针对此提出了一种异构分类器集成增量学习算法。该算法在训练过程中,为使模型更具稳定性,用新数据训练多个基分类器加入到异构的集成模型之中,同时采用局部敏感哈希表保存数据梗概以备待测样本近邻的查找;为了适应不断变化的数据,还会用新获得的数据更新集成模型中基分类器的投票权重;对待测样本进行类别预测时,以局部敏感哈希表中与待测样本相似的数据作为桥梁,计算基分类器针对该待测样本的动态权重,结合多个基分类器的投票权重和动态权重判定待测样本所属类别。通过对比实验,证明了该增量算法有比较高的稳定性和泛化能力。     

Measures of Diversity in Classifier Ensembles and Their Relationship with the Ensemble Accuracy

Diversity among the members of a team of classifiers is deemed to be a key issue in classifier combination. However, measuring diversity is not straightforward because there is no generally accepted formal definition. We have found and studied ten statistics which can measure diversity among binary classifier outputs (correct or incorrect vote for the class label): four averaged pairwise measures (the Q statistic, the correlation, the disagreement and the double fault) and six non-pairwise measures (the entropy of the votes, the difficulty index, the Kohavi-Wolpert variance, the interrater agreement, the generalized diversity, and the coincident failure diversity). Four experiments have been designed to examine the relationship between the accuracy of the team and the measures of diversity, and among the measures themselves. Although there are proven connections between diversity and accuracy in some special cases, our results raise some doubts about the usefulness of diversity measures in building classifier ensembles in real-life pattern recognition problems.     

基于集成学习的规范化LDA人脸识别

针对人脸识别问题中经常面临的“小样本”问题,在规范化的LDA算法的基础上加以改进,并结合集成学习的方法,利用Adaboost算法,在每一次的迭代过程中引进一个加权函数对难以分离的样本增加权重。增加分类器之间的差异度,从而提高样本在新的特征空间中的可分离性,将识别率提高至98.5%。通过ORL数据库的大量实验表明,该算法比传统算法有更好的性能。     

基于拆分集成的不均衡数据分类算法

为改进SVM对不均衡数据的分类性能,提出一种基于拆分集成的不均衡数据分类算法,该算法对多数类样本依据类别之间的比例通过聚类划分为多个子集,各子集分别与少数类合并成多个训练子集,通过对各训练子集进行学习获得多个分类器,利用WE集成分类器方法对多个分类器进行集成,获得最终分类器,以此改进在不均衡数据下的分类性能.在UCI数据集上的实验结果表明,该算法的有效性,特别是对少数类样本的分类性能.     

Image Region Selection and Ensemble for Face Recognition

In this paper, a novel framework for face recognition, namely Selective Ensemble of Image Regions （SEIR）, is proposed. In this framework, all possible regions in the face image are regarded as a certain kind of features. There are two main steps in SEIR： the first step is to automatically select several regions from all possible candidates; the second step is to construct classifier ensemble from the selected regions. An implementation of SEIR based on multiple eigenspaces, namely SEME, is also proposed in this paper. SEME is analyzed and compared with eigenface, PCA ＋ LDA, eigenfeature, and eigenface ＋ eigenfeature through experiments. The experimental results show that SEME achieves the best performance.     

基于差异性聚类的选择性集成人体行为识别模型

为了提高基于智能手机的人体行为识别率,优化多分类器集成系统的泛化性能及个体分类器的差异性,提出了基于差异性增量聚类(Diversity Measure Increment-Affinity Propagation clustering,DMI-AP)的选择性集成人体行为识别模型。首先对训练集的所有样本进行bootstrap抽样并训练基分类器,选出大于平均识别率的基分类器构成分类器集合;然后将集合的基分类器作为聚类对象进行分组,通过计算基分类器间的双误差异性值求出表征个体分类器特征的双误差异性增量值,输入近邻传播聚类算法得到k个类簇,选取每簇的中心分类器构成多分类器集成系统;最后使用等概率均值法融合k个分类器的输出结果。实验表明,该模型算法使个体分类器的差异性增大、分类器搜索空间缩小;与传统的Bagging,Adaboost以及RF方法相比,该模型的识别准确率平均提高了8.11%。