基于间隔区域样本数量的加权支持向量机

分析了数量不对称的样本在允许训练误差的支持向量机训练时产生的最优分界面偏移的问题，认为支持向量机的最优分界面位置取决于间隔（margin）区域中正反例样本数量的比例，而不是传统加权支持向量机所采用的全部正反例样本的数量比。对间隔区域中正反例数量不对称的两类样本采用同样的折衷因子将导致最优分界面向间隔区域中样本较少的类别方向偏移。提出了将折中因子与问隔区域中样本的数量比例联系起来的加权支持向量机，并提出了一种在核函数特征空间估计间隔区域样本数量的方法。试验证明该方法町以提高加权支持向量机的分类性能。     

一种基于反例样本修剪支持向量机的事件追踪算法

支持向量机（SVM）在各类别样本数目分布不均匀时，样本数量越多其分类误差越小，而样本数量越少其分类误差越大．在分析这种倾向产生原因的基础上，提出了一种基于反例样本修剪支持向量机（NEP—SVM）的事件追踪算法．该算法首先修剪反例样本，根据距离和类标决定一反例样本的取舍，然后使用SVM对新的样本集进行训练以得到分类器，补偿了上述倾向性问题造成的不利影响．另外，由于后验概率对于提高事件追踪的性能至关重要，而传统的支持向量机不提供后验概率，本文通过一个sigmoid函数的参数训练将SVM的输出结果映射成概率．实验结果表明NEP—SVM是有效的．     

基于确定性退火聚类的LSSVM短期负荷预测

提出了确定性退火聚类和最小二乘支持向量机（Least Square Support Vectorma—chine,LSSVM）相结合的电力系统短期负荷预测方法。考虑影响负荷变化的各种因素构造负荷样本数据,利用确定性退火聚类算法对样本数据进行分类,得到的分类样本数据作为最小二乘支持向量机的学习样本,保证最小二乘支持向量机具有较高的预测精度。利用某电力公司2007年负荷数据和气象数据进行仿真实验,仿真结果表明该方法具有较高的预测精度。     

改进的基于K均值聚类的SVDD学习算法

针对基于K均值聚类的支持向量数据描述（SVDD）学习算法（KMSVDD）识别精度低于传统SVDD学习算法的问题,提出一种改进算法。将各聚类簇中支持向量合并学习生成中间模型,从支持向量以外的非支持向量数据中找出违背中间模型KKT条件的学习数据,并将这些数据与聚类簇中支持向量合并学习继而得到最终学习模型。实验结果证明,该改进算法的计算开销与KMSVDD相近,但识别精度却高于KMSVDD,与传统SVDD相近。     

一种基于类中心最大间隔的支持向量机

传统的支持向量机分类超平面对噪声和野值非常敏感．使用传统的支持向量机对含有噪声的数据分类时，所得到的超平面往往不是最优超平面．为了解决这个问题，本文以两个类中心距离最大为准则建立分类超平面，构造一个新的支持向量机,称作类中心最大间隔支持向量机．理论分析和仿真实验结果证明了该方法的正确性和有效性．     

基于决策树对支持向量机的医学图像分类新方法

针对传统对支持向量机多类分类算法（Multi-TWSVM）中出现的模糊性问题,提出了一种基于遗传算法的决策树对支持向量机（GA-DTTSVM）多类分类算法。GA-DTTSVM用遗传算法对特征数据建立决策树,通过构建决策树可以分离样本的模糊区域,提高模糊区域样本的识别率。在决策树的每个节点上用对支持向量机（TWSVM）训练分类器,最后用训练的分类器进行分类和预测。实验结果表明,与决策树对支持向量机（DTTSVM）多类分类算法以及Multi-TWSVM相比,GA-DTTSVM多类分类算法具有较高的分类精度和较快的训练速度。     

结合SVM和KNN实现求解大规模复杂问题的分治算法

针对于使用支持向量机求解大规模复杂问题存在训练时间过长和分类精度不高等困难,本文提出了一种结合支持向量机(SvM)和K-最近邻(KNN)分类的分治算法.首先对支持向量机分类机理进行分析可以得出它作为分类器实际相当于每类只选一个代表点的最近邻分类器.在此基础上,根据分治算法的基本思想将训练集划分为多个训练子集,用每个子集单独训练一个SVM,这样每个训练子集由训练后的SVM可以分别得到正例和反例的一个代表点,由这些代表点的全体构成了整个训练集的正例和反例代表点的集合,然后在这个代表点集合基础上使用KNN分类器最为整个问题的解.实验结果表明该分治算法对于大规模数据可使训练时间大幅度下降且使分类精度不同程度提高.     

基于支持向量的Kernel判别分析

提出了一种新的基于支持向苗的核化判别分析方法（SV—KFD）．首先深入地分析了支持向量机（SVM）以及核化费舍尔判别分析（Kernel Fisher）方法的相互关系．基于作者证明的SVM本身所同有的零空间性质；SVM分类面的法向量在基于支持向量的类内散度矩阵条件下，具有零空间特性，提山了利用SVM的法向量定义核化的决策边界特征矩阵（Kernelized Decision Boundary Feature Matrix，KDBFM）的方法．进一步结合均值向量的差向量构建扩展决策边界特征矩阵（Ex—KDBFM）．最后以支持向量为训练集合，结合零空间方法来计算投影空间，该投影空间被用来从原始图像中提取判别特征．以人脸识别为例，作者在FERET和CAS—PEAL—R1大规模人脸图像数据怍上对所提出的方法进行了实验验证，测试结果表明该方法具有比传统核判别分析方法更好的识别性能．     

基于确定性退火聚类的LSSVM短期负荷预测

提出了确定性退火聚类和最小二乘支持向量机(Least square Support Vectormachine.LSSVM)相结合的电力系统短期负荷预测方法.考虑影响负荷变化的各种因素构造负荷样本数据,利用确定性退火聚类算法对样本数据进行分类,得到的分类样本数据作为最小二乘支持向量机的学习样本,保证最小二乘支持向量机具有较高的预测精度.利用某电力公司2007年负荷数据和气象数据进行仿真实验,仿真结果表明该方法具有较高的预测精度.     

高光谱数据分类新方法研究

传统的独立分量分析（ICA）算法无法确定高光谱数据中独立分量的个数,利用概率神经网络（PNN）训练时间短的优点,根据分类精度可以较快地确定出独立分量的个数。提出了一种在确定高光谱数据的维数之后利用支持向量机（SVM）分类的新算法思想,首先利用ICA对高光谱数据降维,并利用PNN确定出独立分量的个数,而后对降维后的数据利用SVM作交叉验证,并采用混合核函数进行分类的算法思想。通过仿真实验表明,该算法可以在保证分类精度的同时大大减少分类的时间。     

密度加权近似支持向量机

标准的近似支持向量机(PSVM)用求解正则化最小二乘问题代替了求解二次规划问题,它可以得到一个解析解,从而减少训练时间。但是标准的PSVM没有考虑数据集中正、负样本的分布情况,对所有的样本都赋予了相同的惩罚因子。而在实际问题中,数据集中样本的分布是不平衡的。针对此问题,在PSVM的基础上提出了一种基于密度加权的近似支持向量机(DPSVM),其先计算样本的密度指标,不同的样例有不同的密度信息,因此对不同的样例给予不同的惩罚因子,并将原始优化问题中的惩罚因子由数值变为一个对角矩阵。在UCI数据集上用这种方法进行了实验,并与SVM和PSVM方法进行了比较,结果表明,DPSVM在正负类样本分布不平衡的数据集上有较好的分类性能。     

基于支持向量上采样的不平衡数据分类方法

传统的支持向量机在处理不平衡数据时效果不佳。为了提高少类样本的识别精度,提出了一种基于支持向量的上采样方法。首先根据K近邻的思想清除原始数据集中的噪声;然后用支持向量机对训练集进行学习以获得支持向量,进一步对少类样本的每一个支持向量添加服从一定规律的噪声,增加少数类样本的数目以获得相对平衡的数据集;最后将获得的新数据集用支持向量机学习。实验结果显示,该方法在人工数据集和UCI标准数据集上均是有效的。     

基于球边界的不平衡数据分类方法

现有分类算法对不平衡数据挖掘通常表现出有偏性,即正类样本(通常是更重要的一类)的分类和预测性能差于负类样本的分类和预测性能,为此提出一种不平衡数据的分类方法。该方法对不同类引入不同的惩罚参数来灵活控制两类错分率的上界,通过一个超球面将两类数据以最大分离比率分离,从而提高不平衡数据对正类分类和预测的性能。实验结果表明,该方法可以有效提高不平衡数据的分类性能。     

基于复随机样本的结构风险最小化原则

统计学习理论目前是处理小样本学习问题的最佳理论.然而,该理论主要是针对实随机样本的,它难以讨论和处理现实世界中客观存在的涉及复随机样本的小样本统计学习问题.结构风险最小化原则是统计学习理论的核心内容之一,是构建支持向量机的重要基础.基于此,研究了基于复随机样本的统计学习理论的结构风险最小化原则.首先,给出了标志复可测函数集容量的退火熵、生长函数和VC维的定义,并证明了它们的一些性质;其次,构建了基于复随机样本的学习过程一致收敛速度的界;最后,给出了基于复随机样本的结构风险最小化原则,证明了该原则是一致的,同时推导出了收敛速度的界.     

An asymmetric classifier based on partial least squares

This paper investigates the effect of partial least squares (PLS) in unbalanced pattern classification. Beyond dimension reduction, PLS is proved to be superior to generate favorable features for classification. The PLS classifier (PLSC) is illustrated to give extremely better prediction accuracy to the class with the smaller data number. In this paper, an asymmetric PLS classifier (APLSC) is proposed to boost the poor performance of PLSC to the class with the larger data number. PLSC and APLSC are compared with five state-of-arts algorithms, support vector machines (SVMs), unbalanced SVMs, asymmetric principal component and discriminant analysis (APCDA), SMOTE and Adaboost. Experimental results on six UCI data sets show that APLSC improves PLSC in promoting overall classification accuracy, at the same time, APLSC and PLSC perform better than other five algorithms even under seriously unbalanced distribution.     

Boosting support vector machines for imbalanced data sets

Real world data mining applications must address the issue of learning from imbalanced data sets. The problem occurs when the number of instances in one class greatly outnumbers the number of instances in the other class. Such data sets often cause a default classifier to be built due to skewed vector spaces or lack of information. Common approaches for dealing with the class imbalance problem involve modifying the data distribution or modifying the classifier. In this work, we choose to use a combination of both approaches. We use support vector machines with soft margins as the base classifier to solve the skewed vector spaces problem. We then counter the excessive bias introduced by this approach with a boosting algorithm. We found that this ensemble of SVMs makes an impressive improvement in prediction performance, not only for the majority class, but also for the minority class.     

面向不均衡分类的隶属度加权模糊支持向量机

针对不均衡分类问题,提出了一种基于隶属度加权的模糊支持向量机模型。使用传统支持向量机对样本进行训练,并通过样本点与所得分类超平面之间的距离构造模糊隶属度,这不仅能够消除噪点和野值点的影响,而且可以在一定程度上约减样本;利用正负类的平均隶属度和样本数量求得平衡调节因子,消除数据不平衡时造成的分类超平面的偏移现象;通过实验结果验证了该算法的可行性和有效性。实验结果表明,该算法能有效提高分类精度,特别是对不平衡数据效果更加明显,在训练速度和分类性能上比传统支持向量机和模糊支持向量机有进一步的提升。     

A novel fuzzy compensation multi-class support vector machine

This paper presents a novel fuzzy compensation multi-class support vector machine (FCM-SVM) to improve the outlier and noise sensitivity problem of traditional support vector machine (SVM) for multi-class data classification. The basic idea is to give the dual effects to penalty term through treating every data point as both positive and negative classes, but with different memberships. We fuzzify penalty term, compensate weight to classification, reconstruct the optimization problem and its restrictions, reconstruct {Lagrangian} formula, and present the theoretic deduction. By this way the new fuzzy compensation multi-class support vector machine is expected to have more generalization ability while preserving the merit of insensitive to outliers. Experimental results on benchmark data set and real data set show that the proposed method reduces the effect of noise data and yields higher classification rate than traditional multi-class SVM does.     

Localized generalization error model and its application to architecture selection for radial basis function neural network

The generalization error bounds found by current error models using the number of effective parameters of a classifier and the number of training samples are usually very loose. These bounds are intended for the entire input space. However, support vector machine (SVM), radial basis function neural network (RBFNN), and multilayer perceptron neural network (MLPNN) are local learning machines for solving problems and treat unseen samples near the training samples to be more important. In this paper, we propose a localized generalization error model which bounds from above the generalization error within a neighborhood of the training samples using stochastic sensitivity measure. It is then used to develop an architecture selection technique for a classifier with maximal coverage of unseen samples by specifying a generalization error threshold. Experiments using 17 University of California at Irvine (UCI) data sets show that, in comparison with cross validation (CV), sequential learning, and two other ad hoc methods, our technique consistently yields the best testing classification accuracy with fewer hidden neurons and less training time.     

Imbalanced classification using support vector machine ensemble

Imbalanced data sets often have detrimental effects on the performance of a conventional support vector machine (SVM). To solve this problem, we adopt both strategies of modifying the data distribution and adjusting the classifier. Both minority and majority classes are resampled to increase the generalization ability. For minority class, an one-class support vector machine model combined with synthetic minority oversampling technique is used to oversample the support vector instances. For majority class, we propose a new method to decompose the majority class into clusters and remove two clusters using a distance measure to lessen the effect of outliers. The remaining clusters are used to build an SVM ensemble with the oversampled minority patterns, the SVM ensemble can achieve better performance by considering potentially suboptimal solutions. Experimental results on benchmark data sets are provided to illustrate the effectiveness of the proposed method.