一种新的基于ART的支持向量机多类分类方法

基于支持向量机的二值分类原理，提出了一种由自适应共振理论方法与支持向量机相结合的改进型多类分类方法,此方法改进了传统支持向量机的一对一多类分类方法；对于每个二值分类器的结果进行决策时没有采用投票原则，而是采用自适应共振理论网络融合二值分类器的输出信息，从而克服了当分类器输出结果接近于O时投票法容易出现决策错误和票数相同时无法决策的不足．此算法已应用于玻璃的分类．仿真实验证明，此方法具有较好的分类效果．     

基于SVM的多分类器构造算法的研究

在对传统的多类分类算法研究的基础上,针对基于二值分类器的多分类器构造算法存在的预测精度低、训练时间长的缺点,提出了一种基于SVM的组合回归机构造多类分类器的算法。该算法解决了二值分类器方法中存在的信息丢失问题,同时避免了由于参数调整而造成的计算代价过大的问题。实验结果表明:新的SVM多分类算法大大降低了计算代价,提高了运行效率和预测的精度,减少了运行时间。     

基于SVM的多分类器构造算法的研究

在对传统的多类分类算法研究的基础上,针对基于二值分类器的多分类器构造算法存在的预测精度低、训练时间长的缺点,提出了一种基于SVM的组合回归机构造多类分类器的算法.该算法解决了二值分类器方法中存在的信息丢失问题,同时避免了由于参数调整而造成的计算代价过大的问题.实验结果表明:新的SVM多分类算法大大降低了计算代价,提高了运行效率和预测的精度,减少了运行时间.     

一种新的二叉树多类支持向量机算法

采用二叉树结构对多个二值支持向量机(SVM)子分类器组合,可实现多类问题的分类,并且还可克服传统多类SVM算法存在的不可分区域的情况。针对现有二叉树多类SVM方法未采用有效的二叉树生成算法,该文采用聚类分析中的类距离思想,提出了一种新的基于二叉树的多类SVM分类方法。实验结果表明,新算法具有较高的推广性能。     

一种基于有向无环图的多类SVM分类器

本文提出了一种多类SVM分类器--ACDMSVM,它是基于决策有向无环图和积极约束的多类SVM分类器.对于k类问题,它将k(k-1)/2个改进的二类SVM分类器进行组合.为了提高分类器的训练及决策速度,对标准的二类SVM分类器进行三个方面的改进:利用大间隔方法,对软间隔错误变量采用2-范数形式并应用积极约束.在训练阶段,使用含有根的二元有向无环图进行节点的选择,该有向无环图含k(k-1)/2个内部节点和k个叶节点.数值实验表明这是一种快速的多类SVM分类器.     

基于概率投票策略的多类支持向量机及应用

传统的支持向量机是基于两类问题提出的,如何将其有效地推广至多类分类仍是一个研究的热点问题。在分析比较现有支持向量机多类分类OVO方法存在的问题及缺点的基础上,该文提出一种新的基于概率投票策略的多类分类方法。在该策略中,充分考虑了OVO方法中各个两类支持向量机分类器的差异,并将该差异反映到投票分值上。所提多类支持向量机方法不仅具有较好的分类性能,而且有效解决了传统投票策略中存在的拒分区域问题。将基于概率投票的多分类支持向量机作为关键技术应用于实际齿轮箱故障诊断,并与传统投票策略的结果进行对比,表明所提方法的上述优点。     

一种新的分裂层次聚类SVM多值分类器

提出一种分裂层次聚类SVM分类树分类方法.该方法通过融合模糊聚类技术和支持向量机算法,利用分裂的层次聚类策略,有选择地重新构造学习样本集和SVM子分类器,得到了一种树形多值分类器.研究结果表明,对于k类别模式识别问题,该方法只需构造k-1个SVM子分类器,克服了SVM子分类器过多以及存在不可区分区域的缺点,具有良好的分类性能.实验结果验证了该方法的优越性.     

基于支持矢量机和决策树的多值分类器

基于SVM理论的分类器已经发展为一种通用的二值分类器,但它不适用于多值的场合。该文在分析经典的SVM分类算法和决策树分类算法的基础上,采用了将SVM和二叉决策树结合的方法来实现多类问题的分类,实验表明它与一对一的多值分类器具有相似的分类精度,并比一对一的分类算法具有快的测试速度。     

一种基于分类器投票的车牌定位方法

为解决类似车牌和失真车牌的定位难题,提出一种基于分类器投票的车牌定位方法。方法从两个方面提升车牌定位精度:首先,针对类似车牌和失真车牌的图像特点,提出两种新的车牌图像描述子,针对性地提升两类车牌的定位效果;其次,使用多种描述子分别训练SVM分类器,采用分类器投票融合的方式决定最终分类结果,进一步提升定位准确度。实验结果表明:(1)相比传统的小波和LBP车牌图像描述子,所提算法有效地提高了失真车牌的定位精度,降低了类似车牌的识别错误率。(2)构建的投票融合分类器方法使车牌图像的分类错误率从单个描述子最优的3.05%下降到了0.8%。     

最大间隔分类器及其在入侵检测中的应用

本文研究了基于SVM的最大间隔分类器的建立及其应用,即将最大间隔理论应用到了SVM的多类分上上,提出了一种新的基于SVM的多类分类器。本文将该模型应用到了入侵检测上,并在试验上取得了很好的效果。     

一种新的多类支持向量机算法

提出了一种新的多类支持向量机算法OC-K-SVM.对k类分类问题,该方法构造了k个分类器,每一个分类器只对一类样本进行训练.使用Benchmark的数据集进行了初步的实验,实验结果验证了算法的有效性.     

A multi-class classification strategy for Fisher scores: Application to signer independent sign language recognition

Fisher kernels combine the powers of discriminative and generative classifiers by mapping the variable-length sequences to a new fixed length feature space, called the Fisher score space. The mapping is based on a single generative model and the classifier is intrinsically binary. We propose a multi-class classification strategy that applies a multi-class classification on each Fisher score space and combines the decisions of multi-class classifiers. We experimentally show that the Fisher scores of one class provide discriminative information for the other classes as well. We compare several multi-class classification strategies for Fisher scores generated from the hidden Markov models of sign sequences. The proposed multi-class classification strategy increases the classification accuracy in comparison with the state of the art strategies based on combining binary classifiers. To reduce the computational complexity of the Fisher score extraction and the training phases, we also propose a score space selection method and show that, similar or even higher accuracies can be obtained by using only a subset of the score spaces. Based on the proposed score space selection method, a signer adaptation technique is also presented that does not require any re-training.     

SVM在多源遥感图像分类中的应用研究

在利用遥感图像进行土地利用/覆盖分类过程中,可采用以下两种途径来提高分类精度:一是通过增加有利于分类的数据源,引入地理辅助数据和归一化植被指数(NDVI)来进行多源信息融合;二是选择更好的分类方法,例如支持向量机(SVM)学习方法,由于该方法克服了最大似然法和神经网络的弱点,非常适合高维、复杂的小样本多源数据的分类。为了提高多源遥感图像分类的精度,还研究了支持向量机在遥感图像分类中模型的选择,包括多类模型和核函数的选择。分类结果表明,支持向量机比传统的分类方法具有更高的精度,尤其是基于径向基核函数和一对一多类方法的支持向量机模型更适合多源遥感图像分类,因此,基于支持向量机的多源土地利用/覆盖分类能大大提高分类精度。     

基于对支持向量机的多类分类算法在入侵检测中的应用

针对基于传统支持向量机(SVM)的多类分类算法在处理大规模数据时训练速度上存在的弱势,提出了一种基于对支持向量机(TWSVM)的多类分类算法。该算法结合二叉树SVM多类分类思想,通过在二叉树节点处构造基于TWSVM的分类器来达到分类目的。为减少二叉树SVM的误差累积,算法分类前首先通过聚类算法得到各类的聚类中心,通过比较各聚类中心之间的距离来衡量样本的差异以决定二叉树节点处类别的分离顺序,最后将算法用于网络入侵检测。实验结果表明,该算法不仅保持了较高的检测精度,在训练速度上还表现了一定优势,尤其在处理稍大规模数据时,这种优势更为明显,是传统二叉树SVM多类分类算法训练速度的近两倍,为入侵检测领域大规模数据处理提供了有效参考价值。     

基于分解策略处理多分类不均衡问题的方法

针对多分类不均衡问题,提出了一种新的基于一对一（one-versus-one,OVO）分解策略的方法。首先基于OVO分解策略将多分类不均衡问题分解成多个二值分类问题;再利用处理不均衡二值分类问题的算法建立二值分类器;接着利用SMOTE过抽样技术处理原始数据集;然后采用基于距离相对竞争力加权方法处理冗余分类器;最后通过加权投票法获得输出结果。在KEEL不均衡数据集上的大量实验结果表明,所提算法比其他经典方法具有显著的优势。     

Statistical approaches to combining binary classifiers for multi-class classification

One of the popular methods for multi-class classification is to combine binary classifiers. In this paper, we propose a new approach for combining binary classifiers. Our method trains a combining method of binary classifiers using statistical techniques such as penalized logistic regression, stacking, and a sparsity promoting penalty. Our approach has several advantages. Firstly, our method outperforms existing methods even if the base classifiers are well-tuned. Secondly, an estimate of conditional probability for each class can be naturally obtained. Furthermore, we propose selecting relevant binary classifiers by adding the group lasso type penalty in training the combining method.     

基于超球体多类支持向量数据描述的医学图像分类新方法

针对乳腺X光医学图像多分类问题中训练速度比较慢的问题,提出超球体多分类支持向量数据描述(HSMC-SVDD)分类算法,即把超球体单分类支持向量数据描述直接扩展到超球体多分类支持向量数据描述。通过对乳腺X光图像提取灰度共生矩阵特征;然后用核主成分分析(KPCA)对数据进行降维;最后用超球体多分类支持向量数据描述分类器进行分类。由于每一类样本只参与构造一个超球体的训练,因此训练速度明显提高。实验结果表明,这种超球体多分类支持向量数据描述分类器的平均训练时间为21.369s,训练时间比Wei等(WEI L Y, YANG Y Y, NISHIKAWA R M,et al.A study on several machine-learning methods for classification of malignant and benign clustered micro-calcifications. IEEE Transactions on Medical Imaging, 2005, 24(3): 371-380)提出的组合分类器（平均训练时间40.2s）减少了10~20s,分类精度最高达76.6929%,适合解决类别数较多的分类问题。     

Cost-Sensitive back-propagation neural networks with binarization techniques in addressing multi-class problems and non-competent classifiers

Multi-class classification problems can be addressed by using decomposition strategy. One of the most popular decomposition techniques is the One-vs-One (OVO) strategy, which consists of dividing multi-class classification problems into as many as possible pairs of easier-to-solve binary sub-problems. To discuss the presence of classes with different cost, in this paper, we examine the behavior of an ensemble of Cost-Sensitive Back-Propagation Neural Networks (CSBPNN) with OVO binarization techniques for multi-class problems. To implement this, the original multi-class cost-sensitive problem is decomposed into as many sub-problems as possible pairs of classes and each sub-problem is learnt in an independent manner using CSBPNN. Then a combination method is used to aggregate the binary cost-sensitive classifiers. To verify the synergy of the binarization technique and CSBPNN for multi-class cost-sensitive problems, we carry out a thorough experimental study. Specifically, we first develop the study to check the effectiveness of the OVO strategy for multi-class cost-sensitive learning problems. Then, we develop a comparison of several well-known aggregation strategies in our scenario. Finally, we explore whether further improvement can be achieved by using the management of non-competent classifiers. The experimental study is performed with three types of cost matrices and proper statistical analysis is employed to extract the meaningful findings.     

多标签代价敏感分类集成学习算法

尽管多标签分类问题可以转换成一般多分类问题解决,但多标签代价敏感分类问题却很难转换成多类代价敏感分类问题.通过对多分类代价敏感学习算法扩展为多标签代价敏感学习算法时遇到的一些问题进行分析,提出了一种多标签代价敏感分类集成学习算法.算法的平均错分代价为误检标签代价和漏检标签代价之和,算法的流程类似于自适应提升（Adaptive boosting,AdaBoost）算法,其可以自动学习多个弱分类器来组合成强分类器,强分类器的平均错分代价将随着弱分类器增加而逐渐降低.详细分析了多标签代价敏感分类集成学习算法和多类代价敏感AdaBoost算法的区别,包括输出标签的依据和错分代价的含义.不同于通常的多类代价敏感分类问题,多标签代价敏感分类问题的错分代价要受到一定的限制,详细分析并给出了具体的限制条件.简化该算法得到了一种多标签AdaBoost算法和一种多类代价敏感AdaBoost算法.理论分析和实验结果均表明提出的多标签代价敏感分类集成学习算法是有效的,该算法能实现平均错分代价的最小化.特别地,对于不同类错分代价相差较大的多分类问题,该算法的效果明显好于已有的多类代价敏感AdaBoost算法.