一种新的支撑向量机增量学习算法

1引言 基于统计学习理论(statistical learning theory)的支撑向量机最早由V.Vapnik提出[1],用于解决分类问题,现已推广到解决回归、时序预测、信号处理等问题[2].由于SVM实现结构风险极小化(structural risk minimization)原理,使得SVM具有很高的推广能力.目前已经成为一种通用有效的机器学习方法.     

一种改进的多类支持向量机超光谱图像分类方法

支持向量机(SVM)是建立在统计学理论基础上的一种机器学习方法,用于解决二类分类问题,如何有效地将其推广到多类分类问题是一个正在研究的课题.总结了现有的主要的支持向量机多类分类算法,并在1-a-1 SVM分类算法基础上提出一种二次分类的方法.改良了惩罚因子,提高了不易分的类别之间的可分程度.通过对超光谱图像进行分类实验,结果表明该方法具有较高的分类精度.     

基于SVM二叉决策树方法的矿井提升机故障诊断

介绍了几种传统的支持向量机(SVM)多分类方法,分析了其存在的问题及缺点.提出了一种基于二叉决策树的SVM多分类方法,该方法具有简单、直观,训练样本少的特点.通过将其应用于提升机运行状态的故障诊断,结果表明,采用该方法比传统多类SVM方法和BP神经网络具有更高的诊断正确率.     

一种新的分裂层次聚类SVM 多值分类器

提出一种分裂层次聚类SVM分类树分类方法.该方法通过融合模糊聚类技术和支持向量机算法,利用分裂的层次聚类策略,有选择地重新构造学习样本集和SVM子分类器,得到了一种树形多值分类器.研究结果表明,对于k类别模式识别问题,该方法只需构造k-1个SVM子分类器,克服了SVM子分类器过多以及存在不可区分区域的缺点,具有良好的分类性能.实验结果验证了该方法的优越性.     

一种改进的SVM回归估计算法

支持向量机是一种基于结构风险最小化原理的学习技术,也是一种新的具有很好泛化性能的回归方法.目前,如何设计快速有效的回归估计算法仍然是支持向量机实际应用中的问题之一.文中对标准SVM回归估计算法加以改进,提出一种改进的SVM回归估计算法,并从学习速度和回归估计精度两个方面对提出的改进的SVM回归估计算法与标准SVM回归估计算法进行了比较.实验结果表明,在学习速度与回归估计精度之间取折衷时,文中提出的回归估计算法自由度更大.     

脱机手写体汉字识别的支持向量机方法研究

提出一种采用二叉树粗分类与SVM细分类结合的分类识别方法,充分发挥SVM在二类分类问题方面相对于单一SVM方法的优势 .实验结果表明提出的识别方法在解决复杂多分类脱机手写体汉字分类识别问题上有效的提高了分类精度和速度.     

一种基于FCOWA-ER 的SVM多分类方法

支持向量机(SVM) 在处理多分类问题时, 需要综合利用多个二分类SVM, 以获得多分类判决结果. 传统多分类拓展方法使用的是SVM的硬输出, 在一定程度上造成了信息的丢失. 为了更加充分地利用信息, 提出一种基于证据推理-多属性决策方法的SVM多分类算法, 将多分类问题视为一个多属性决策问题, 使用证据推理-模糊谨慎有序加权平均方法(FCOWA-ER) 实现SVM的多分类判决. 实验结果表明, 所提出方法可以获得更高的分类精度.

     

一种基于感知器的样本空间划分方法

二类分类问题是机器学习中的最基本的一类重要问题.目前广泛使用的,也是最为有效的学习算法是支持向量机 (SVM).然而对于某些非线性分类问题,SVM 还不能给出令人满意的解,因此希望能找到一种方法对 SVM 解决非线性分类问题的能力加以改进.对二类分类问题,提出一种基于感知器的样本空间划分方法.该方法首先用感知器提取样本的分布信息,将整体问题划分为局部空间中的分类问题,而后使用 SVM 求出各个局部问题的最优分界面,并用最小最大模块化网络对局部分界面进行综合,得到问题的全局解.仿真实验表明,新方法能够有效地分析样本空间,提取样本分布信息,在测试数据上得到了比原有方法更好的准确率.新方法实现了预期的目标,提高了分类器处理非线性分类问题的能力.     

应用本体对特征向量降维研究

在应用SVM对文本进行分类时,用传统的TFIDF算法对文本特征进行选择会产生高维特征向量问题,这个问题干扰了SVM的效率和准确性,使SVM的性能下降.为了解决SVM文本分类过程中产生的这个问题,提出一种基于本体的特征项约简方法.该方法通过本体找出特征向量中具有同义关系、组成关系和上下位关系的冗余特征项,然后对它们进行合并降低特征向量的维数.试验结果表明,采用本体约简特征向量的方法改进了SVM分类器的性能.     

海量数据分类v-SVM问题的软最小球方法

海量数据分类问题是目前SVM学习算法研究的一个热点.传统的SVM方法是通过计算二次规划问题求解的,当训练样本数较大时存在一定的困难.文章介绍一种新的方法,该方法把二分类问题看作特殊的软最小球覆盖问题,提出求解SVM问题的全新的最小球覆盖几何解释,通过软最小球算法进行求解,避免了计算复杂度高的问题,可以用来求解11目标函数海量数据v-SVM分类问题.实验结果表明,文章提出的算法与同类算法相比具有相当的竞争力.     

Novel ensemble methods for regression via classification problems

Regression via classification (RvC) is a method in which a regression problem is converted into a classification problem. A discretization process is used to covert continuous target value to classes. The discretized data can be used with classifiers as a classification problem. In this paper, we use a discretization method, Extreme Randomized Discretization (ERD), in which bin boundaries are created randomly to create ensembles. We present two ensemble methods for RvC problems. We show theoretically that the proposed ensembles for RvC perform better than RvC with the equal-width discretization method. We also show the superiority of the proposed ensemble methods experimentally. Experimental results suggest that the proposed ensembles perform competitively to the method developed specifically for regression problems.     

Consistency of randomized and finite sized decision tree ensembles

Regression via classification (RvC) is a method in which a regression problem is converted into a classification problem. A discretization process is used to covert continuous target value to classes. The discretized data can be used with classifiers as a classification problem. In this paper, we use a discretization method, Extreme Randomized Discretization, in which bin boundaries are created randomly to create ensembles. We present an ensemble method for RvC problems. We show theoretically for a set of problems that if the number of bins is three, the proposed ensembles for RvC perform better than RvC with the equal-width discretization method. We use these results to show that infinite-sized ensembles, consisting of finite-sized decision trees, created by a pure randomized method (split points are created randomly), are not consistent. We also theoretically show, using a set of regression problems, that the performance of these ensembles is dependent on the size of member decision trees.     

基于支持向量机的数据库学习算法

文中介绍了一个利用数据库中的大量数据进行决策的方法。对于仅涉及数据库中部分数据的问题,对数据库中与当前问题相关的数据采用具有强泛化能力的支持向量机方法学习分类规则和回归函数,完成对当前问题的分类和估值。支持向量机算法用非线性映射把数据映射到一个高维特征空间,在高维特征空间进行线性分类和线性回归,将原问题转化为一个凸次优化问题。上述算法实现了一个隧道工程支护设计系统,并取得了较好的效果。     

一种基于多项式逻辑回归高光谱影像分类方法的改进

针对多项式逻辑回归分类器在参数寻优过程中精度提升不明显和运行速度缓慢的问题,提出一种利用DFP修正拟牛顿算法进行多项式逻辑回归参数求解的方法来提高多项式逻辑回归参数优化的效率,该算法以弦截法代替牛顿算法中的二阶Hessian矩阵,并采用DFP修正法不断修正。利用该算法对两幅高光谱影像进行分类实验,结果表明:与传统的多项式回归分类方法相比,该算法在分类精度和效率方面都有明显的改进。     

一种基于变分相关向量机的特征选择和分类结合方法

相关向量机(Relevance vector machine, RVM)是一种函数形式等价于支持向量机(Support vector machine, SVM)的全概率模型,利用变分贝叶斯(Variational Bayesian, VB)方法求解的RVM可以给出所有参数的后验分布. 进一步,通过对样本所在原始特征空间的稀疏化,基于线性核的RVM可以在分类的同时实现对原始特征的线性选择. 本文在传统VB-RVM的基础上提出一种特征选择和分类结合方法. 该方法采用Probit模型将分类问题与回归问题有机地结合起来, 同时,通过对特征维的幂变换扩展,不仅在分类时增加了样本的信息量, 可以构造非线性分类面,而且实现了非线性特征选择的功能. 通过对仿真数据和实测数据分别进行实验, 证明了该特征选择和分类结合方法的实用性和有效性.     

模糊线性支持向量回归机

该文研究了当训练点的输出为三角模糊数时,支持向量回归机的构建问题。首先将模糊回归问题转化为模糊分类问题,并将求模糊最优分类超平面问题转化为求解带有模糊决策的机会约束规划问题。利用基于模糊模拟的遗传算法求解带有模糊决策的机会约束规划,得到模糊最优分类超平面(模糊方程),解模糊方程得到模糊回归函数。在此基础上,得出模糊线性支持向量回归机(算法)。从而较好地解决了支持向量机中含有模糊信息的模糊回归问题。最后,给出显示模糊线性支持向量回归机特点的模糊支持向量集的定义。     

基于PCA与分类回归树的疾病诊断应用研究

提出基于主成份分析和分类回归树方法（CART）的分类判别法。针对皮肤病学中鳞片状红斑疾病区分诊断的难题,首先利用主成份分析对病例属性进行约简,然后通过构造的分类回归树用于识别不同种类的红斑疾病。实验表明该方法能够准确的对病例进行识别,且达到了相当的精度要求。     

基于隐含语义索引的文本情感序列回归方法

传统上,文本情感分析技术仅限于情感分类,即仅局限于简单的将评论分为正面或负面两类。而在实际中,有时更需要将评论进行分级,比如把商品划分为“好”、“中”、“差”、“极差”等若干个级别,以便更准确表达评论者的情感;现有的情感分类方法无法解决评论分级问题。为此,提出了基于潜在语义索引的评论文本情感序列回归方法,首先采用潜在语义索引对评论文本进行特征变换,并在此基础上采用核判别学习序列回归方法进行序列回归,实现对评论文本的情感分级。通过在Movie Reviews数据库的实验,验证了提出方法的有效性。     

Hierarchical discriminant regression

The main motivation of this paper is to propose a classification and regression method for challenging high-dimensional data. The proposed technique casts classification problems and regression problems into a unified regression problem. This unified view enables classification problems to use numeric information in the output space that is available for regression problems but are traditionally not readily available for classification problems. A doubly clustered subspace-based hierarchical discriminating regression (HDR) method is proposed. The major characteristics include: (1) Clustering is performed in both output space and input space at each internal node, termed "doubly clustered." Clustering in the output space provides virtual labels for computing clusters in the input space. (2) Discriminants in the input space are automatically derived from the clusters in the input space. (3) A hierarchical probability distribution model is applied to the resulting discriminating subspace at each internal node. This realizes a coarse-to-fine approximation of probability distribution of the input samples, in the hierarchical discriminating subspaces. (4) To relax the per class sample requirement of traditional discriminant analysis techniques, a sample-size dependent negative-log-likelihood (NLL) is introduced. This new technique is designed for automatically dealing with small-sample applications, large-sample applications, and unbalanced-sample applications. (5) The execution of the HDR method is fast, due to the empirical logarithmic time complexity of the HDR algorithm. Although the method is applicable to any data, we report the experimental results for three types of data: synthetic data for examining the near-optimal performance, large raw face-image databases, and traditional databases with manually selected features along with a comparison with some major existing methods.     

基于SVM的大样本数据回归预测改进算法

针对支持向量机回归预测精度与训练样本尺寸不成正比的问题,结合支持向量机分类与回归算法,提出一种大样本数据分类回归预测改进算法。设计训练样本尺寸寻优算法,根据先验知识对样本数据进行人为分类,训练分类模型,基于支持向量机得到各类别样本的回归预测模型,并对数据进行预测。使用上证指数的数据进行实验,结果表明,支持向量机先分类再回归算法预测得到的均方误差达到12.4,低于人工神经网络预测得到的47.8,更远低于支持向量机直接回归预测得到的436.9,验证了该方法的有效性和可行性。