一种基于拟牛顿法的大类别分类算法

支持向量机利用接近边界的少数向量来构造一个最优分类面。然而当两类中的样本数量差别悬殊时，PSVM算法则会过度拟合样本量大的那一类，而对样本量很小的那一类的错分率相当高。为解决此问题，本文提出了一种改进的支持向量机算于拟牛顿法的大类别分类算法。同时，这个问题也是大类别分类问题所采用的留一法面临的问题，在DFP-PSVM的基础上，提出了基于拟牛顿法的大类别分类算法。通过仿真实验证实了此算法在精度上优于PSVM算法。     

一种非平衡分布数据的支持向量机新算法

支持向量机是近几年发展起来的机器学习方法，它是利用接近边界的少数向量来构造一个最优分类面。然而当两类中的样本数量差别悬殊时，支持向量机的分类能力会下降。为了解决此问题，文中提出了一种改进的支持向量机算法——DFP-SVM算法。实验表明，此方法在解决两类样本数量十分不均衡问题时有着很强的分类能力。     

用于医学图像分类的支持向量机算法研究

支持向量机(SVM)方法就是利用最优分类面(线)将两类样本在特征空间或输入空间中无错误地分开，而且要使两类的分类空隙最大。因此标准的SVM方法需要求解二次规划问题，计算量很大，本文介绍一种方法解决这个问题，并成功地将该算法应用干医学图像数据挖掘的分类问题。     

预抽取支持向量机的支持向量

训练支持向量机，可以归结为求解二次规划问题，而求解二次规划时的复杂度随着样本数量的增加而显著增长，这样就大大延长了支持向量机的训练时间。为了提高支持向量机的训练速度，根据支持向量机的基本原理，该文提出了一种从给定训练样本中预抽取支持向量的新方法，即两凸包相对边界向量方法(FFEVM)，此方法大幅度减小了训练支持向量机的训练样本的数量，从而大大提高了支持向量的训练速度，而支持向量机的分类能力不受任何影响。     

基于马氏距离的孪生多分类支持向量机

孪生支持向量机(TWSVM)的研究是近来机器学习领域的一个热点。TWSVM具有分类精度高、训练速度快等优点,但训练时没有充分利用样本的统计信息。作为TWSVM的改进算法,基于马氏距离的孪生支持向量机(TMSVM)在分类过程中考虑了各类样本的协方差信息,在许多实际问题中有着很好的应用效果。然而TMSVM的训练速度有待提高,并且仅适用于二分类问题。针对这两个问题,将最小二乘思想引入TMSVM,用等式约束取代TMSVM中的不等式约束,将二次规划问题的求解简化为求解两个线性方程组,得到基于马氏距离的最小二乘孪生支持向量机(LSTMSVM),并结合有向无环图策略(DAG)设计出基于马氏距离的最小二乘孪生多分类支持向量机。为了减少DAG结构的误差累积,构造了基于马氏距离的类间可分性度量。人工数据集和UCI数据集上的实验均表明,所提算法不仅有效,而且相对于传统多分类SVM,其分类性能有明显提高。     

一种新型的多元分类支持向量机

最小二乘支持向量机采用最小二乘线性系统代替传统的支持向量机采用二次规划方法解决模式识别问题。该文详细推理和分析了二元分类最小二乘支持向量机算法，构建了多元分类最小二乘支持向量机，并通过典型样本进行测试，结果表明采用多元分类最小二乘支持向量机进行模式识别是有效、可行的。     

SVM算法及其在多类字母图象识别中的应用

支持向量机是一种新的统计学习算法,其学习原则是使结构风险最小,与经典的学习方法的经验风险最小原则不同,这使得支持向量机具有很强的泛化能力。因为支持向量机算法是一个凸二次优化问题,能够保证所求的局部最优解就是全局最优解。目前,研究的绝大多数是两类问题。然而,即使我们能够将两类问题正确分类,也不能意味着实际应用中多类分类问题的解决。在这篇文章中,我们介绍了支持向量机算法,并且通过多类字母图象分类问题说明支持向量机算法在多类分类问题中的应用。     

一种快速最小二乘支持向量机分类算法

最小二乘支持向量机不需要求解凸二次规划问题,通过求解一组线性方程而获得最优分类面,但是,最小二乘支持向量机失去了解的稀疏性,当训练样本数量较大时,算法的计算量非常大。提出了一种快速最小二乘支持向量机算法,在保证支持向量机推广能力的同时,算法的速度得到了提高,尤其是当训练样本数量较大时算法的速度优势更明显。新算法通过选择那些支持值较大样本作为训练样本,以减少训练样本数量,提高算法的速度;然后,利用最小二乘支持向量机算法获得近似最优解。实验结果显示,新算法的训练速度确实较快。     

一种改善非平衡分布数据SVM分类能力的新策略

支持向量机利用接近边界的少数向量来构造一个最优分类面。但是若两分类问题中的样本呈现非平衡分布时，即两类样本数目相差很大时，分类能力就会有所下降。提出分别使用重复数量少的一类样本、选择数量多的类样本以及引入类惩罚因子的三个方法来改善分类能力。实验表明，三种方法对不同类型数据集合，一定程度上都改善了支持向量的分类能力。     

基于支持向量机的多分类增量学习算法

支持向量机被成功地应用在分类和回归问题中，但是由于其需要求解二次规划，使得支持向量机在求解大规模数据上具有一定的缺陷，尤其是对于多分类问题，现有的支持向量机算法具有太高的算法复杂性。该文提出一种基于支持向量机的增量学习算法，适合多分类问题，并将之用于解决实际问题。     

基于乘性规则的支持向量域分类器

该文提出了一种基于支持向量域描述(SVDD)的学习分类器．在两类样本分类中，该算法在训练时通过对1类样本的描述求取包含1类样本的球形边界．然后通过该边界对两类样本数据进行分类，并且在求取边界的优化问题中，采用乘性规则来直接求取Lagrange乘子，而不是用传统的二次优化方法．该文所获得的学习算法和支持向量机(SVM)与序列最小优化(SMO)算法相比，不仅降低了样本的采集代价，而且在优化速度上有了很大提高．通过CBCL人脸库的仿真实验．将该算法和SVM、SOM算法的实验结果进行对比，说明了该学习算法的有效性．     

基于最小二乘支持向量机的非平衡分布数据分类

支持向量机是在统计学习理论基础上发展起来的一种十分有效的分类方法。然而当两类样本数量相差悬殊时,会引起支持向量机分类能力的下降。为了提高支持向量机的非平衡数据分类能力,文章分析了最小二乘支持向量机的本质特征,提出了一种非平衡数据分类算法。在UCI标准数据集上进行的实验表明,该算法能够有效提高支持向量机对非均衡分布数据的正确性,尤其对于大规模训练集的情况,该算法在保证不损失训练精度的前提下,使训练速度有较大提高。     

计算机辅助诊断中的肿瘤形状特征分类

为了克服传统的蛇形算法不能收敛于边缘凹陷处以及对蛇的初始化过于敏感的缺点，本文提出用基于可变形模型的梯度矢量流方法提取乳腺X光片中的肿瘤区域。在此基础上，提出三个新的基于边缘的价矩，和其它肿瘤的形状特征作为改进的支持向量机分类法的特征输入，进行恶性肿瘤和良性肿瘤的计算机辅助诊断，取得了良好效果。     

基于向量投影的支撑向量预选取

支撑向量机是近年来新兴的模式识别方法,在解决小样本、非线性及高维模式识别问题中表现出了突出的优点．但在支撑向量机中,支撑向量的选取相当困难,这也成为限制其应用的瓶颈问题．该文对支撑向量机的机理经过认真分析,研究其支撑向量的分布特性,在不影响分类性能的前提下,提出了基于向量投影的支撑向量预选取法,从训练样本中预先选择具有一定特征的边界向量来代替训练样本进行训练,这样就减少了训练样本,大大加快了支撑向量机的训练速度。     

Multicategory Proximal Support Vector Machine Classifiers

Given a dataset, each element of which labeled by one of k labels, we construct by a very fast algorithm, a k-category proximal support vector machine (PSVM) classifier. Proximal support vector machines and related approaches (Fung & Mangasarian, 2001; Suykens & Vandewalle, 1999) can be interpreted as ridge regression applied to classification problems (Evgeniou, Pontil, & Poggio, 2000). Extensive computational results have shown the effectiveness of PSVM for two-class classification problems where the separating plane is constructed in time that can be as little as two orders of magnitude shorter than that of conventional support vector machines. When PSVM is applied to problems with more than two classes, the well known one-from-the-rest approach is a natural choice in order to take advantage of its fast performance. However, there is a drawback associated with this one-from-the-rest approach. The resulting two-class problems are often very unbalanced, leading in some cases to poor performance. We propose balancing the k classes and a novel Newton refinement modification to PSVM in order to deal with this problem. Computational results indicate that these two modifications preserve the speed of PSVM while often leading to significant test set improvement over a plain PSVM one-from-the-rest application. The modified approach is considerably faster than other one-from-the-rest methods that use conventional SVM formulations, while still giving comparable test set correctness.Editor Shai Ben-David     

基于ODR和BSMOTE 结合的不均衡数据SVM分类算法

针对传统的支持向量机（SVM）算法在数据不均衡的情况下分类效果不理想的缺陷,为了提高SVM算法在不均衡数据集下的分类性能,提出一种新型的逐级优化递减欠采样算法.该算法去除样本中大量重叠的冗余和噪声样本,使得在减少数据的同时保留更多的有用信息,并且与边界人工少数类过采样算法相结合实现训练样本数据集的均衡.实验表明,该算法不但能有效提高SVM算法在不均衡数据中少数类的分类性能,而且总体分类性能也有所提高.