一种基于支持向量机决策树多类分类器

提出一种基于支持向量机决策树的多类分类器SVMDT（Support Vector Machines based Decision Tree）。训练时,SVMDT采用样本类间最小距离原则进行决策树分叉,综合考虑局部类簇,生成一棵平衡的分类二叉树。分类时,SVMDT采用最大距离原则匹配决策。SVMDT训练时采用的距离为等效距离,综合考虑特征空间中样本类的中心距离以及样本类自身的分布特点,使得训练过程中确定各个SVM的优先级别更加合理,由此生成的决策树将特征空间严格划分开,避免了拒识区域的出现。UCI样本数据集实验结果表明,和传统的1对多SVM分类器相比,SVMDT具有训练速度快、分类速度快,分类精度高的特点。     

决策树支持向量机多分类器设计的向量投影法

针对如何有效地设计决策树支持向量机(SVM)多类分类器的层次结构这个关键问题,提出一种基于向量投影的类间可分性测度的设计方法,并给出一种基于该类间可分性测度设计决策树SVM 多分类器层次结构的方法.为加快每个SVM子分类器的训练速度且保持其高推广性,将基于向量投影的支持向量预选取方法用于每个子分类器的训练中.通过对3个大规模数据集和手写体数字识别的仿真实验表明,新方法能有效地提高决策树SVM类分类器的分类精度和速度.

     

一种设计层次支持向量机多类分类器的新方法

层次结构的设计是层次支持向量机多类分类方法应用中的关键问题,类间可分性是设计层次结构的重要依据,提出了一种基于线性支持向量机度量类间相似程度的方法,并给出了一种基于类间可分性设计层次支持向量机多类分类器的新方法。实验表明,新方法有效地提高了层次支持向量机多类分类器的分类精度和速度。     

基于类间可分性度量的支持向量机决策树

采用支持向量机解决多类分类问题一般通过多个两类分类器的组合来求解,如何组合这些两类分类器就是该方法的关键.提出一种改进的支持向量机决策树多类分类模型,该模型通过引入类间可分性度量来确定决策树结构,以类间可分性度量的高低来决定不同类别在决策树中的位置,将容易分离的类尽可能早地划分出来.最后通过一组实验证明了该模型的有效性.     

基于支持矢量机和决策树的多值分类器

基于SVM理论的分类器已经发展为一种通用的二值分类器,但它不适用于多值的场合。该文在分析经典的SVM分类算法和决策树分类算法的基础上,采用了将SVM和二叉决策树结合的方法来实现多类问题的分类,实验表明它与一对一的多值分类器具有相似的分类精度,并比一对一的分类算法具有快的测试速度。     

一种新的基于平衡决策树的SVM多类分类算法

为了有效地减少样本训练时间,提高多类分类器的识别率,同时使模型具有较好的推广能力,在综合考虑待分类样本数和类别易分性能的基础上,在"先分样本数较大的类"和"先分易分的类"之间折衷考虑,提出一种基于样本的新的类划分方案.采用半衡决策树结构,得到了一种新的决策树支持向量机多类分类算法.实验结果表明,该算法在不降低识别率的情...     

基于SVM决策树的文本分类器

研究了SVM决策树分类器在文本分类中的应用,提出了一种有效的SVM决策树分类器的优化构建方 法.该方法利用类间距离衡量两类间的可分性,并进一步用来描述各结点分类器类集合间的可分性.基于综合考虑结点分类器的类集合可分性,该方法能够获得优化的结点分类器类划分算法,由此构建的SVM决策树分类器在整体性能上得到优化,在文本分类中获得良好效果.     

支持向量机多值分类器的研究

在阐述二值支持向量机分类器的基础上,针对M类问题重点讨论了一对多与一对一分类器组合求解方案。对于纽合方案中出现的不可分类问题,论述了引入模糊隶属函数、构造有向非循环图等相关的解决思路,针对标准数据库分类问题比较了不同组合方案的分类性能。     

基于支持向量机与极端保守在线算法相结合的多类分类器

本文给出了一种将SVM和极端保守在线算法相结合的通用多类分类算法,算法利用最大置信度原则将离线训练的多个SVM组合成一个多类分类器.为了提高在线学习过程的实时性,同时保证分类器的推广能力,我们将K.Cramer等人提出的极端保守在线算法思想引入到分类器修正过程当中,修正过程中采用对应SVM的支持向量和错分样本作为训练集.实验表明,算法具有良好的实时性能,且具有良好的推广能力.     

基于模糊支持向量机与决策树的文本分类器

针对模糊支持向量机在文本分类应用中的隶属度函数确定问题,提出了一种基于模糊支持向量机与决策树的文本分类器的构建方法。该方法不仅考虑了样本与类中心之间的关系,还根据传统支持向量机中包含支持向量且平行于分类面的平面构建切球,来确定类中各个样本之间的关系,由样本点与球的位置关系计算其隶属度,可以合理地区分有效样本和噪音、孤立点样本。并与决策树方法相结合,实现多类分类。实验结果表明,该方法具有良好的分类效果。     

基于超球支持向量机的兼类文本分类算法研究

针对兼类文本,提出了一种分类算法。对属于同一类别的文本,利用超球支持向量机在特征空间中求得一个能包围该类尽可能多文本的最小超球,使各类文本之间通过超球分隔开,达到分类效果。对待分类文本,计算它到各超球球心的距离,根据距离判定该文本所属的类别。实验结果证明,该算法不仅具有较快的分类速度,而且具有较高的分类精度。     

基于Fisher鉴别分析的支持向量机训练样本缩减策略

提出一种用于支持向量机训练样本集的缩减策略。该策略运用Fisher鉴别分析方法快速地提取潜在的支持向量,并构成用于SVM的新的训练样本集。仿真实验表明,该算法能在保证不降低分类精度的前提下,对较大规模的样本进行有效的缩减,提高运算效率。     

基于模糊支持向量机的多分类算法研究

针对支持向量机理论中的多分类问题以及SVM对噪声数据的敏感性问题,提出了一种基于二叉树的模糊支持向量机多分类算法。该算法是在基于二叉树的支持向量机多分类算法的基础上引入模糊隶属度函数,根据每个样本数据对分类结果的不同影响,通过基于KNN的模糊隶属度的度量方法计算出相应的值,由此得到不同的惩罚值,这样在构造分类超平面时,就可以忽略对分类结果不重要的数据。通过实验证明,该算法有较好的抗干扰能力和分类效果。     

基于支持向量机的非线性离散动力学系统控制

提出了一种用支持向量机辨识系统状态空间模型的非线性离散动力学系统控制新方法. 在本方法中, 采用最小二乘支持向量机在每一个工作点辨识非线性系统的局部最优线性化模型. 针对该模型, 采用常规的线性控制方法在每个工作点设计局部线性控制器, 并在整个控制任务的每个工作点重复此设计过程.用该方法对两个典型的非线性离散系统采用极点配置技术进行了仿真验证, 结果显示系统对参考输入具有满意的跟踪性能, 证明该方法是有效和可行的.     

A corporate credit rating model using multi-class support vector machines with an ordinal pairwise partitioning approach

Predicting corporate credit-rating using statistical and artificial intelligence (AI) techniques has received considerable research attention in the literature. In recent years, multi-class support vector machines (MSVMs) have become a very appealing machine-learning approach due to their good performance. Until now, researchers have proposed a variety of techniques for adapting support vector machines (SVMs) to multi-class classification, since SVMs were originally devised for binary classification. However, most of them have only focused on classifying samples into nominal categories; thus, the unique characteristic of credit-rating - ordinality - seldom has been considered in the proposed approaches. This study proposes a new type of MSVM classifier (named OMSVM) that is designed to extend the binary SVMs by applying an ordinal pairwise partitioning (OPP) strategy. Our model can efficiently and effectively handle multiple ordinal classes. To validate OMSVM, we applied it to a real-world case of bond rating. We compared the results of our model with those of conventional MSVM approaches and other AI techniques including MDA, MLOGIT, CBR, and ANNs. The results showed that our proposed model improves the performance of classification in comparison to other typical multi-class classification techniques and uses fewer computational resources.     

一种新的模糊支持向量机多分类算法

在模糊多分类问题中,由于训练样本在训练过程中所起的作用不同,对所有数据包括异常数据赋予一个隶属度。针对模糊支持向量机（fuzzy support vector machines,FSVM）的第一种形式,引入类中心的概念,结合一对多1-a-a(one-against-all)组合分类方法,提出了一种基于一对多组合的模糊支持向量机多分类算法,并与1-a-1(one-against-one)组合和1-a-a组合的分类算法比较。数值实验表明,该算法是有效的,有较高的分类准确率,有更好的泛化能力。     

Sparse representation based on projection method in online least squares support vector machines

A sparse approximation algorithm based on projection is presented in this paper in order to overcome the limitation of the non-sparsity of least squares support vector machines （LS-SVM）. The new inputs are projected into the subspace spanned by previous basis vectors （BV） and those inputs whose squared distance from the subspace is higher than a threshold are added in the BV set, while others are rejected. This consequently results in the sparse approximation. In addition, a recursive approach to deleting an exiting vector in the BV set is proposed. Then the online LS-SVM, sparse approximation and BV removal are combined to produce the sparse online LS-SVM algorithm that can control the size of memory irrespective of the processed data size. The suggested algorithm is applied in the online modeling of a pH neutralizing process and the isomerization plant of a refinery, respectively. The detailed comparison of computing time and precision is also given between the suggested algorithm and the nonsparse one. The results show that the proposed algorithm greatly improves the sparsity just with little cost of precision.     

核函数支持向量机

概述了基于核函数方法的支持向量机。首先简要叙述支持向量机的基本思想和核特征空间,然后重点介绍核函数支持向量机的前沿理论与领先技术,同时描述了核函数支持向量机在关键领域的应用。     

基于主动学习支持向量机的文本分类

提出基于主动学习支持向量机的文本分类方法,首先采用向量空间模型（VSM）对文本特征进行提取,使用互信息对文本特征进行降维,然后提出主动学习算法对支持向量机进行训练,使用训练后的分类器对新的文本进行分类,实验结果表明该方法具有良好的分类性能。     

基于支持向量机的不平衡数据分类算法的研究*

针对不平衡数据分类问题,提出了基于Smote与核函数修改相结合的算法。首先用Smote方法处理数 据,降低不平衡度;然后以黎曼几何为依据,利用保角变换,对核函数进行修改,提高支持向量机的分类泛化能 力;最后用修改后的支持向量机对新的数据进行处理。实验结果表明,这种方法能在保持整体正确率的前提下 有效地提高少数类样本的分类准确率。