不等距超球体支持向量机

针对现实中经常遇到的各类样本分布范围相差很多、将各类样本误判的危害程度不同、或者各类样本数量差异悬殊等情况,提出了一种基于不等距超球体的SVM（NMS-SVM）算法。该算法以最大间隔为优化目标建立分类模型,同时引入距离比例参数λ,调整最优分类面到两类之间的距离。通过UCI数据库中数据集的分类仿真实验,比较了该算法与普通超球体算法以及最大间隔超球体算法的分类精度,证明了该算法的有效性。     

超球体多类支持向量机理论

目前的多类分类器大多是经二分类器组合而成的,存在训练速度较慢的问题,在分类类别多的时候,会遇到很大困难,超球体多类支持向量机将超球体单类支持向量机扩展到多类问题,由于每类样本只参与一个超球体支持向量机的训练.因此,这是一种直接多类分类器,训练效率明显提高.为了有效训练超球体多类支持向量机,利用SMO算法思想,提出了超球体支持向量机的快速训练算法.同时对超球体多类支持向量机的推广能力进行了理论上的估计.数值实验表明,在分类类别较多的情况,这种分类器的训练速度有很大提高,非常适合解决类别数较多的分类问题.超球体多类支持向量机为研究快速直接多类分类器提供了新的思路.     

超球体单类支持向量机的SMO训练算法

由于One-class支持向量机能用于无监督学习,被广泛用于信息安全、图像识别等领域中.而超球体One class支持向量机能生成一个合适的球体,将训练样本包含其中,故更适合于呈球形分布的样本学习.但由于超球体One-class支持向量机没有一种快速训练算法,使其在应用中受到限制.SMO算法成功地训练了标准SVM,其训练思想也可用于超球体One-class支持向量机的训练.本文提出了超球体One-class支持向量机的SMO训练算法,并对其空间和时间复杂度进行了分析.实验表明,这种算法能迅速、有效地训练超球体One-class支持向量机.     

知识嵌入的迁移孪生支持向量机

孪生支持向量机(TwinSVM)相比支持向量机在解决类别不平衡数据问题上具有优势,但其在训练数据不足时受训所得分类器的泛化能力较差.针对此问题,探讨一种知识嵌入的迁移孪生支持向量机(KE-T-TwinSVM). 该分类器不但继承了TwinSVM的优点,还可基于知识嵌入的思想利用从相关领域学到的知识来辅助学习以提高分类效果.各种真实数据集上的实验结果表明,所提出的分类器在目标领域数据不足和不平衡情况下具有更佳的性能.     

密度加权近似支持向量机

标准的近似支持向量机(PSVM)用求解正则化最小二乘问题代替了求解二次规划问题,它可以得到一个解析解,从而减少训练时间。但是标准的PSVM没有考虑数据集中正、负样本的分布情况,对所有的样本都赋予了相同的惩罚因子。而在实际问题中,数据集中样本的分布是不平衡的。针对此问题,在PSVM的基础上提出了一种基于密度加权的近似支持向量机(DPSVM),其先计算样本的密度指标,不同的样例有不同的密度信息,因此对不同的样例给予不同的惩罚因子,并将原始优化问题中的惩罚因子由数值变为一个对角矩阵。在UCI数据集上用这种方法进行了实验,并与SVM和PSVM方法进行了比较,结果表明,DPSVM在正负类样本分布不平衡的数据集上有较好的分类性能。     

不平衡数据知识挖掘：类分布对支持向量机分类的影响

基于标准支持向量机及其启发，提出并证明支持向量数（率）和边界支持向量数（率）的界，并分别推广到正例类和反例类．在此基础上，证明正例的分类精度依概率小于反例的分类精度．虚拟数据仿真和Benchmark数据仿真表明本文所提方法的有效性和结论的正确性．     

改善的支持向量机图像分割分类器构造

构造分类器是图像分割中重要的处理环节,论文将先验知识引入支持向量机,对支持向量机做了改善,在改善的支持向量机基础上构造实现了一个分类器,重点是将为了检验分类器的有效性,通过对UCI机器学习数据库的数据进行的实验,实验结果表明改善的支持向量机分类准确率比支传统持向量机的准确率高。     

支持向量机在个人信用评估中的应用

个人信用评估在银行信贷业务中有着举足轻重的作用.为了提高银行对个人信用评估的准确率,将支持向量机应用到个人信用评估中,以德国信贷数据为数据集,采用网格-5折交叉验证方法获取核函数最优参数,然后选择不同的核函数及其最优参数进行训练建模,实验得出RBF核函数更适合该数据集.针对样本中数据小平衡的问题,通过改变权重的方式对不同类别设置不同的惩罚参数.实验结果表明,该方法在保证总的预测准确率较好的前提下,有效地平衡了第一类和第二类错误率,可以作为银行信贷决策的参考依据.     

改进的二叉树支持向量机在多分类中的应用

在多分类问题中,分类算法的优劣直接影响到最终分类结果的好坏。现有的多分类算法中,基于支持向量机的多分类算法在综合性能方面要优于其他算法,但是,这些较优算法同样面临一些多分类中常见的问题,如不可分问题和效率低问题。针对这些问题,文中提出了一种改进的二叉树支持向量机多分类算法,该算法综合考虑了两个类之间的距离和分布情况对可分离性的影响,并采用最容易分离的类最先分割出来的策略来建立树的结构。通过在不同的数据集上进行测试,表明该方法不仅解决了多分类的不可分问题,还能提高分类的效率和准确度,可更好地解决现实中的多分类问题。     

改进的超球支持向量机算法

超球支持向量机算法用于解决多类别数据的分类问题。对超球重叠区域的数据正确分类对球结构支持向量机的分类性能至关重要。在分析这些样本点特点的基础上,提出了一种新的分类规则,使超球支持向量机算法的泛化性能高于现有的算法。实验结果表明该算法有效可行,提高了最小包围球分类器的分类精度。     

去边缘模糊支持向量机

针对两类分类问题中样本点数量多,类别模糊且有孤立野点的情况,提出了去边缘模糊支持向量机。该方法用一类分类思想,预先去掉那些可能不是支持向量的点,并引入了模糊隶属度计算公式,使其适合模糊分类的性能特点。从理论和实证分析两个方面将该方法与一般的模糊支持向量机进行了对比分析,结果显示该方法不但大大减少了训练点数目,从而减少了内存和计算量,提高了训练速度和分类准确率。     

以多类支持向量机为基础的小样本信息融合策略*

通过将多类支持向量机作为分类器,运用Dempster-Shafer理论等信息融合方法对分类结果进行融合,实现对小样本的分类。主要采用对多类支持向量机的分类结果进行求和后取最大值、Dempster-Shafer理论以及使用Dempster-Shafer理论后第二次使用支持向量机三种方式进行融合。由于支持向量机本身是适用于小样本的机器学习算法,Dempster-Shafer理论又可以较好地处理不确定性,两者的结合可以较好地处理小样本分类问题,并提高最终的分类精度。实验结果表明,提出的几种融合策略确实可以在小样     

基于模糊支持向量机的Web挖掘

WEB挖掘是基于文本流的挖掘,由于样本向量的特征往往有几万个,分类算法的运算速度直接影响其实际应用。提出了基于T-S模型的模糊支持向量机分类算法,算法的优势体现在下面几个方面,第一,充分利用了语言信息。第二,由于只需通过局部样本求解二次规划最优解,因此,解决了海量数据的二次规划求最优解的困难。第三,从算法中可看出,在计算机上其算法可实行并行运算,这样提高了算法的运行速度。     

Semiparametric mixed-effect least squares support vector machine for analyzing pharmacokinetic and pharmacodynamic data

In this paper we propose a semiparametric mixed-effect least squares support vector machine (LS-SVM) regression model for the analysis of pharmacokinetic (PK) and pharmacodynamic (PD) data. We also develop the generalized cross-validation (GCV) method for choosing the hyperparameters which affect the performance of the proposed LS-SVM. The performance of the proposed LS-SVM is compared with those of NONMEM and the regular semiparametric LS-SVM via four measures, which are mean squared error (MSE), mean absolute error (MAE), mean relative absolute error (MRAE) and mean relative prediction error (MRPE). Through paired-t test statistic we find that the absolute values of four measures of the proposed LS-SVM are significantly smaller than those of NONMEM for PK and PD data. We also investigate the coefficient of determinations R²'s of predicted and observed values. The R²'s of NONMEM are 0.66 and 0.59 for PK and PD data, respectively, while the R²'s of the proposed LS-SVM are 0.94 and 0.96. Through cross validation technique we also find that the proposed LS-SVM shows better generalization performance than the regular semiparametric LS-SVM for PK and PD data. These facts indicate that the proposed LS-SVM is an appealing tool for analyzing PK and PD data.     

处理非平衡数据的粒度SVM学习方法

通过多维关联规则挖掘,将粒度计算（Granular Computing,GrC）和支持向量机（Support Vector Machine,SVM）有效融合,提出一种粒度支持向量机（Granular SVM,GSVM）学习方法,称为AR-GSVM。该方法用于非平衡数据处理时,不仅可以有效降低分类器的复杂性,而且本质上可以进行并行计算以提高学习效率,同时提高分类器的泛化能力。考虑到保持数据在原始空间和特征空间的分布一致性,在AR-GSVM的基础上又提出核空间上的粒度支持向量机学习方法,称为AR-KGSVM,该方法具有更好的泛化性能。通过在UCI数据集上的实验表明：AR-GSVM和AR-KGSVM的泛化能力优于一些常用非平衡数据处理的方法。     

基于样本特性欠取样的不均衡支持向量机

针对传统支持向量机在数据失衡的情况下分类效果很不理想的问题,提出一种基于样本特性欠取样的不均衡SVM分类算法。该算法首先在核空间中依据样本信息量选择一定比例的靠近不均衡分类界面的多数类样本;然后根据样本密度信息选择最具有代表性的均衡多数类样本点,在减少多数类样本的同时使分类界面向多数类方向偏移。实验结果表明,所提出的算法与其他不均衡数据预处理方法相比,能有效提高SVM算法在失衡数据中少数类的分类性能、总体分类性能和鲁棒性。     

适用于不确定类标签数据学习的迁移支持向量机

为了解决包含不确定信息的分类学习问题,提出一种新的适用于不确定类标签数据的迁移支持向量机。该方法基于结构风险最小化模型,同时将源领域中所学知识、领域间的共享数据、目标领域中已标定的和不确定的数据纳入学习框架中,进而实现了源领域和目标领域的知识迁移。在多种真实数据集上的实验结果表明了所提出方法的有效性。     

基于球结构支持向量机的多标签分类的主动学习

为了实现数据的多标签分类,减少多标签训练样本开销,将球结构支持向量机与主动学习方法结合用于多标签分类,依据球重叠区域样本距离差值度确定样本类别,分析多标签分类特性,采用样本近邻方法更新分类器。实验结果表明,该方法可以用较少的训练样本获得更有效的分类结果。     

最大间隔最小体积球形支持向量机

结合支持向量机（ＳＶＭ）类间最大分类间隔和支持向量数据描述（ＳＶＤＤ）类内最小描述体积思想,提出一种新的学习机器模型———最大间隔最小体积球形支持向量机（ＭＭＨＳＶＭ）．模型建立两个大小不一的同心超球,将正负类样本分别映射到小超球内和大超球外,模型目标函数最大化两超球间隔,实现正负类类间间隔的最大化和各类类内体积的最小化,提高了模型的分类能力．理论分析和实验结果表明该算法是有效的．     

非均衡数据的支持向量机新方法*

为了弥补支持向量机对非均衡样本集分类时倾向于较大类的不足,提出一种平衡策略。基于Fisher判别思想,计算出两类样本在分类超平面法向量上投影后的均值和方差,再依据两类错分概率相等准则,给出新的阈值计算方法对超平面进行调整。该方法可补偿非平衡数据分类的倾向性,提高预测分类精度。最后在非均衡的人工和真实数据集上的数值实验表明了该方法的可行性与有效性。