基于k-means聚类的神经网络分类器集成方法研究

针对差异性是集成学习的必要条件,研究了基于k-means聚类技术提高神经网络分类器集成差异性的方法。通过训练集并使用神经网络分类器学习算法训练许多分类器模型,在验证集中利用每个分类器的分类结果作为聚类的数据对象;然后应用k-means聚类方法对这些数据聚类,在聚类结果的每个簇中选择一个分类器代表模型,以此构成集成学习的成员;最后应用投票方法实验研究了这种提高集成学习差异性方法的性能,并与常用的集成学习方法bagging、adaboost进行了比较。     

基于差异性的分类器集成:有效性分析及优化集成

差异性是分类器集成具有高泛化能力的必要条件. 然而,目前对差异性度量、有效性及分类器优化集成都没有统一的分析和处理方法. 针对上述问题,本文一方面从差异性度量方法、差异性度量有效性分析和相应的分类器优化集成技术三个角度,全面总结与分析了基于差异性的分类器集成. 同时,本文还通过向量空间模型形象地论证了差异性度量的有效性. 另一方面,本文针对多种典型的基于差异性的分类器集成技术（Bagging,boosting GA-based,quadratic programming （QP）、semi-definite programming （SDP）、regularized selective ensemble （RSE））在UCI数据库和USPS数据库上进行了对比实验与性能分析,并对如何选择差异性度量方法和具体的优化集成技术给出了可行性建议.     

多分类器选择集成方法

针对目前人们对分类性能的高要求和多分类器集成实现的复杂性,从基分类器准确率和基分类器间差异性两方面出发,提出了一种新的多分类器选择集成算法。该算法首先从生成的基分类器中选择出分类准确率较高的,然后利用分类器差异性度量来选择差异性大的高性能基分类器,在分类器集成之前先对分类器集进行选择获得新的分类器集。在UCI数据库上的实验结果证明,该方法优于bagging方法,取得了很好的分类识别效果。     

基于拆分集成的不均衡数据分类算法

为改进SVM对不均衡数据的分类性能,提出一种基于拆分集成的不均衡数据分类算法,该算法对多数类样本依据类别之间的比例通过聚类划分为多个子集,各子集分别与少数类合并成多个训练子集,通过对各训练子集进行学习获得多个分类器,利用WE集成分类器方法对多个分类器进行集成,获得最终分类器,以此改进在不均衡数据下的分类性能.在UCI数据集上的实验结果表明,该算法的有效性,特别是对少数类样本的分类性能.     

梯度优化决策树的集成学习及其应用

集成学习通过构建具有一定互补功能的多个分类器来完成学习任务,以减少分类误差。但是当前研究未能考虑分类器的局部有效性。为此,在基于集成学习的框架下,提出了一个分层结构的多分类算法。该算法按预测类别分解问题,在分层的基础上,集成多个分类器以提高分类准确度。在美国某高校招生录取这一个实际应用的数据集及3个UCI数据集上进行实验,实验结果验证了该算法的有效性。     

一种模糊分类器集成的方法

提出了一种基于模糊积分的模糊分类器集成的方法，该方法能在模糊分类器生成过程中，进一步减少主观因素的参与成份，使分类模器具有更好的稳定性和更高的分类识别率。给出了基于隶属度矩阵的模糊积分密度确定方法，介绍了基于模糊积分的分类器集成算法。用权威的数据集作为实验数据集，将提出方法与已有的分类器集成方法进行实验比较，评测了所提出方法的有效性。     

融合DECORATE的异构分类器集成算法

在基于Stacking框架下异构分类器集成方式分析的基础上,引入同构分类器集成中改变训练样本以增强成员分类器间差异性的思想,提出融合DECORATE的异构分类器集成算法SDE;在1-层泛化利用DECORATE算法,向1-层训练集增加一定比例的人工数据,使得生成的多个1-层成员分类器间具有差异性。实验表明,该方法在分类精度上要优于传统Stacking方法。     

并行集成具有高可解释的TSK模糊分类器

针对分层Takagi-Sugeno-Kang (TSK)模糊分类器可解释性差,以及当增加或删除一个TSK模糊子分类器时Boosting模糊分类器需要重新训练所有TSK模糊子分类器等问题,提出一种并行集成具有高可解释的TSK模糊分类器EP-Q-TSK.该集成模糊分类器每个TSK模糊子分类器可以使用最小学习机(LLM)被并行地快速构建.作为一种新的集成学习方式,该分类器利用每个TSK模糊子分类器的增量输出来扩展原始验证数据空间,然后采用经典的模糊聚类算法FCM获取一系列代表性中心点,最后利用KNN对测试数据进行分类.在标准UCI数据集上,分别从分类性能和可解释性两方面验证了EP-Q-TSK的有效性.     

基于全信息相关度的动态多分类器融合

AdaB00st采用级联方法生成各基分类器,较好地体现了分类器之间的差异性和互补性.其存在的问题是,在迭代的后期,训练分类器越来越集中在某一小区域的样本上,生成的基分类器体现不同区域的分类特征.根据基分类器的全局分类性能得到固定的投票权重,不能体现基分类器在不同区域上的局部性能差别.因此,本文基于Ada-Boost融合方法,利用待测样本与各分类器的全信息相关度描述基分类器的局部分类性能,提出基于全信息相关度的动态多分类器融合方法,根据各分类器对待测样本的局部分类性能动态确定分类器组合和权重.仿真实验结果表明,该算法提高了融合分类性能.     

基于集成学习的入侵检测方法

入侵检测是近年来网络安全研究的热点。利用多分类器技术,研究了基于集成学习的入侵检测方法。应用Bootstrap技术生成分类器个体,为了提高分类器的差异性,应用聚类技术对分类器进行聚类,在相应的聚类结果中选取不同的分类器个体,并选择不同的融合方法对分类结果进行融合。针对入侵检测数据的实验表明了该集成技术的有效性。     

类空间规整度的计算几何组合分类器权重分配

在计算几何组合分类器中,子分类器的权重分配一直未能充分利用空间视觉信息,使得分类器的可视化特性无法完全得到发挥.本文从类空间类别分布特性出发,提出基于类空间规整度的权重分配方法.该方法首先将子分类器由空间的类别表示转变为类别的空间表示,进而利用共生原则分析不同类别在空间中的分布规整度.由于分布规整度为类别分布信息的整体体现,可以用于刻画类空间中不同类别样本的离散程度,因此可以利用当前类空间的规整度信息作为该子分类器的权重.实验表明,利用规整度信息进行加权后的分类器不但与可视化特性更好的吻合,增强了分类过程的可理解性,而且在分类精度上得到了进一步的提升,扩展了应用领域.     

一种基于迭代学习的文本分类器构造方法

文本自动分类系统是信息处理的重要研究方向。针对文本分错类和相似度低找不到合适类别等两种错误 ,提出一种迭代的学习算法 ,它利用分错的文本向量来提高或降低相应类别向量的权重 ,从而纠正分类错误 ,提高了分类准确率 ,并且最终得到了较精确的类别描述向量和较优的分类器。     

基于HOG和block权重的快速人体检测方法

为解决HOG行人检测过程缓慢的问题,在梯度向量直方图HOG中引入block权重的概念,通过合理筛选block,组成行人的特征向量,然后使用线性SVM作为分类器,重新进行学习,达到减少信息冗余、提高检测效率的目的。在INRIA库上进行实验,结果表明,通过合理选择block,能够在不影响检测效果的情况下,显著减少block的数目,达到提高检测速度的目的。     

CFV-NB：基于概念特征向量的NB文档分类模型 

提出了一种基于概念特征向量的NB文档分类方法。该方法在未标注文档集上通过SOM（Self-Organizing Maps）聚类产生若干初始文档类，并为每个文档类分配一个类标签，使用最大信息熵的方法建立每个文档类的概念特征向量。在概念特征向量空间上建立最终的文档分类器：CFB-NB。     

贝叶斯分类器的关联向量机多模型软测量建模

为了改善软测量模型的估计精度,提出了一种基于贝叶斯分类算法和关联向量机的多模型软测量建模方法。采用贝叶斯分类器对样本数据集进行分类,并对不同类别的输入数据分别建立关联向量回归机子模型,用“切换开关”方式组合作为最终的软测量模型输出。将该方法应用于双酚A生产过程的质量指标软测量建模,仿真结果表明：与单模型支持向量机相比,该方法估计精度较高,具有一定的应用价值。     

基于模糊度的计算几何分类器权重分配

为了充分发挥计算几何组合分类器的可视化特性,从类空间类别分布模糊特性出发,提出一种基于类空间模糊度的权重分配方法.该方法首先将子分类器由空间的类别表示转变为类别的空间表示,进而利用粗糙集理论分析各空间的模糊度,并将其作为该子分类器的权重.实验表明,利用模糊度信息进行加权后的分类器不但能与可视化特性更好地吻合,增强分类过程的可理解性,而且在分类精度上得到了进一步的提升,扩展了应用领域.     

一种新的基于SVM权重向量的云分类器*

提出了一种用支持向量机（SVM）权重向量解决高维对象分类的方法,并结合云理论建立了基于SVM权重向量的云分类器。采用云模型建立训练集的各属性模型,分类模型由属性模型集成得到,属性权重根据SVM权重向量得到,属性权重越大,其对分类的贡献越大;反之,越小。将新分类器与云模型分类器对积雨云、卷云和卷层云进行分类模拟实验,新分类器的分类准确度比后者总体提升了, 经过交叉验证, 结果表明新分类器性能稳定。     

Cluster‐based ensemble of classifiers

This paper presents cluster‐based ensemble classifier – an approach toward generating ensemble of classifiers using multiple clusters within classified data. Clustering is incorporated to partition data set into multiple clusters of highly correlated data that are difficult to separate otherwise and different base classifiers are used to learn class boundaries within the clusters. As the different base classifiers engage on different difficult‐to‐classify subsets of the data, the learning of the base classifiers is more focussed and accurate. A selection rather than fusion approach achieves the final verdict on patterns of unknown classes. The impact of clustering on the learning parameters and accuracy of a number of learning algorithms including neural network, support vector machine, decision tree and k‐NN classifier is investigated. A number of benchmark data sets from the UCI machine learning repository were used to evaluate the cluster‐based ensemble classifier and the experimental results demonstrate its superiority over bagging and boosting.     

Double-layer bayesian classifier ensembles based on frequent itemsets

Numerous models have been proposed to reduce the classification error of Na¨ ve Bayes by weakening its attribute independence assumption and some have demonstrated remarkable error performance. Considering that ensemble learning is an effective method of reducing the classification error of the classifier, this paper proposes a double-layer Bayesian classifier ensembles (DLBCE) algorithm based on frequent itemsets. DLBCE constructs a double-layer Bayesian classifier (DLBC) for each frequent itemset the new instance contained and finally ensembles all the classifiers by assigning different weight to different classifier according to the conditional mutual information. The experimental results show that the proposed algorithm outperforms other outstanding algorithms.     

Fuzzy multi-category proximal support vector classification via generalized eigenvalues

Given a dataset, where each point is labeled with one of M labels, we propose a technique for multi-category proximal support vector classification via generalized eigenvalues (MGEPSVMs). Unlike Support Vector Machines that classify points by assigning them to one of M disjoint half-spaces, here points are classified by assigning them to the closest of M non-parallel planes that are close to their respective classes. When the data contains samples belonging to several classes, classes often overlap, and classifiers that solve for several non-parallel planes may often be able to better resolve test samples. In multicategory classification tasks, a training point may have similarities with prototypes of more than one class. This information can be used in a fuzzy setting. We propose a fuzzy multi-category classifier that utilizes information about the membership of training samples, to improve the generalization ability of the classifier. The desired classifier is obtained by using one-from-rest (OFR) separation for each class, i.e. 1: M -1 classification. Experimental results demonstrate the efficacy of the proposed classifier over MGEPSVMs.