A locality correlation preserving support vector machine

This paper proposes a locality correlation preserving based support vector machine (LCPSVM) by combining the idea of margin maximization between classes and local correlation preservation of class data. It is a Support Vector Machine (SVM) like algorithm, which explicitly considers the locality correlation within each class in the margin and the penalty term of the optimization function. Canonical correlation analysis (CCA) is used to reveal the hidden correlations between two datasets, and a variant of correlation analysis model which implements locality preserving has been proposed by integrating local information into the objective function of CCA. Inspired by the idea used in canonical correlation analysis, we propose a locality correlation preserving within-class scatter matrix to replace the within-class scatter matrix in minimum class variance support machine (MCVSVM). This substitution has the property of keeping the locality correlation of data, and inherits the properties of SVM and other similar modified class of support vector machines. LCPSVM is discussed under linearly separable, small sample size and nonlinearly separable conditions, and experimental results on benchmark datasets demonstrate its effectiveness.     

Enhanced algorithm for high-dimensional data classification

Minimum class variance support vector machine (MCVSVM) and large margin linear projection (LMLP) classifier, in contrast with traditional support vector machine (SVM), take the distribution information of the data into consideration and can obtain better performance. However, in the case of the singularity of the within-class scatter matrix, both MCVSVM and LMLP only exploit the discriminant information in a single subspace of the within-class scatter matrix and discard the discriminant information in the other subspace. In this paper, a so-called twin-space support vector machine (TSSVM) algorithm is proposed to deal with the high-dimensional data classification task where the within-class scatter matrix is singular. TSSVM is rooted in both the non-null space and the null space of the within-class scatter matrix, takes full advantage of the discriminant information in the two subspaces, and so can achieve better classification accuracy. In the paper, we first discuss the linear case of TSSVM, and then develop the nonlinear TSSVM. Experimental results on real datasets validate the effectiveness of TSSVM and indicate its superior performance over MCVSVM and LMLP.     

融合PCA的支持向量机人脸检测研究

支持向量机（Support Vector Machine,SVM）作为一种经典的非线性分类器,用于模式识别,可以将训练样本从不可线性分类的低维空间映射到可线性分类的高维空间,再做分类,本文主要训练支持向量机使它学会区分人脸和非人脸。支持向量机的数学推导完备,算法逻辑严密,整体上比Adaboost算法复杂,但在样本量较少的情况下效果良好,因此有样本优势。支撑它的理论包含泛化性理论、最优化理论和核函数等,这些理论也被学术界广泛用于其他机器学习算法如神经网络,几十年来被证明具有很高的可靠性。同时本文论述主成分分析技术（PCA）用于压缩数据,实现数据降维,在数据预处理方面算法提供了很大帮助,使SVM支持向量机的输入数据维数大幅下降,大大提高了运算和检测时间。     

Optimal Locality Regularized Least Squares Support Vector Machine via Alternating Optimization

The least squares support vector machine (LSSVM), like standard support vector machine (SVM) which is based on structural risk minimization, can be obtained by solving a simpler optimization problem than that in SVM. However, local structure information of data samples, especially intrinsic manifold structure, is not taken full consideration in LSSVM. To address this problem and inspired by manifold learning technique, we propose a novel iterative least squares classifier, coined optimal locality preserving least squares support vector machine (OLP-LSSVM). The idea is to combine structural risk minimization and locality preserving criterion in a unified framework to take advantage of the manifold structure of data samples to enhance LSSVM. Furthermore, inspired by the recent development of simultaneous optimization technique, adjacent graph of locality preserving criterion is optimized simultaneously to give rise to improved discriminative performance. The resulting model can be solved by alternating optimization method. The experimental results on several publicly available benchmark data sets show the feasibility and effectiveness of the proposed method.     

基于PCA和SVM算法的人脸识别

人脸识别是计算机视觉和图像模式识别领域的一个重要技术。主成分分析（PCA）是人脸图像特征提取的一个重要算法。而支持向量机（SVM）有适合处理小样本问题、高维数及泛化性能强等多方面的优点。文章将两者结合,先用PCA算法进行人脸图像特征提取,再用SVM进行分类识别。通过基于ORL人脸数据库的计算机仿真实验表明,该方法具有很好的可行性和实际意义。     

基于LS-SVM的非线性多功能传感器信号重构方法研究

提出了基于最小二乘支持向量机(Least squares support vector machine, LS-SVM)的非线性多功能传感器信号重构方法. 不同于通常采用的经验风险最小化重构方法, 支持向量机(Support vector machine, SVM)是基于结构风险最小化准则的新型机器学习方法, 适用于小样本标定数据情况, 可有效抑制过拟合问题并改善泛化性能. 在SVM基础上, LS-SVM将不等式约束转化为等式约束, 极大地简化了二次规划问题的求解. 研究中通过L-折交叉验证实现调整参数优化, 在两种非线性情况下对多功能传感器的输入信号进行了重构, 实验结果显示重构精度分别达到0.154\%和1.146\%, 表明提出的LS-SVM重构方法具有高可靠性和稳定性, 验证了方法的有效性.     

基于支持向量机的商业银行信用风险评估

支持向量机(SupportVectorMachine,简称SVM)是在经验风险最小化原理上发展出的一种新的机器学习技术,在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势。论文首先详细介绍了支持向量机的线性和非线性分类算法,然后将支持向量机非线性分类器应用于银行信用风险的评估中,最后分析对比了选用不同核函数和参数的实验结果。     

可补偿类别差异的加权支持向量机算法

支持向量机(SVM)算法在各类别样本数多少不同时,样本数量多的类别,其分类误差小,而样本数量少的类别,其分类误差大.针对这种倾向性问题,在分析其产生原因的基础上,提出了加权SVM算法,从而克服了常规SVM算法不能灵活处理每一个样本的缺陷,同时补偿了这种倾向性造成的不利影响.这种以牺牲大类别精度来提高小类别精度的加权支持向量机方法,可应用于诸如故障诊断等关注小类别分类精度的场合.户外图象识别的实验结果证明,该算法是有效的.     

基于SVM主动学习的入侵检测系统

研究在入侵检测中,采用基于支持向量机(SVM)的主动学习算法,解决小样本下的机器学习问题。该文提出了基于SVM主动学习算法的系统框架及适用于入侵检测系统的SVM主动学习算法,讨论了候选样本集的组成比例、候选样本集数量及核函数的不同参数选取对检测结果的影响。通过实验验证,基于SVM主动学习算法与传统SVM算法相比,能有效地减少学习样本数,提高检测精度。     

基于向量投影的支撑向量预选取

支撑向量机是近年来新兴的模式识别方法,在解决小样本、非线性及高维模式识别问题中表现出了突出的优点．但在支撑向量机中,支撑向量的选取相当困难,这也成为限制其应用的瓶颈问题．该文对支撑向量机的机理经过认真分析,研究其支撑向量的分布特性,在不影响分类性能的前提下,提出了基于向量投影的支撑向量预选取法,从训练样本中预先选择具有一定特征的边界向量来代替训练样本进行训练,这样就减少了训练样本,大大加快了支撑向量机的训练速度。     

基于类向心度的模糊支持向量机

传统支持向量机(SVM)训练含有噪声或野值点的数据时,容易产生过拟合,而模糊支持向量机可以有效地处理这种问题。针对使用样本与类中心之间的距离关系来构建模糊支持向量机隶属度函数的不足,提出了一种基于类向心度的模糊支持向量机(CCD FSVM)。该方法不仅考虑到样本与类中心之间的关系,还考虑到类中各个样本之间的联系,并用类向心度来表示。将类向心度应用于模糊隶属度函数的设计,能够很好地将有效样本与噪声、野值点样本区分开来,而且可以通过向心度的大小,对混合度比较高的样本进行区分,从而达到提高分类精度的效果。实验结果表明,基于类向心度的模糊支持向量机其分类正确率比支持向量机高,在使用三种不同隶属度函数的FSVM中,该方法的抗噪性能最好,分类性能最强。     

基于向量集约简的精简支持向量机

目前的支持向量集约简法在寻找约简向量的过程中需要求解一个无约束的多参数优化问题,这样,像其他非线性优化问题一样,求解过程需要面对数值不稳定或局部最小值问题.为此,提出了一种基于核聚类的SVM(support vector machine)简化方法.此方法首先在特征空间中对支持向量进行聚类,然后寻找特征空间中的聚类中心在输入空间中的原像以形成约简向量集.该方法概念简单,在简化过程中只需求解线性代数问题,从而解决了现存方法存在的瓶颈问题.实验结果表明,该简化法能够在基本保持SVM泛化性能的情况下极大地约简支持向量,从而提高SVM的分类速度.     

基于偏最小二乘法与支持向量机的人脸识别

该文认为在人脸识别中,偏最小二乘回归方法作为一种新的降维方法,在处理小样本问题时具有明显优势,而主元分析方法作为一种传统的降维方法在选择分量时没有考虑类信息,因而有可能忽略掉重要的分类信息。支持向量机（SVM）模式识别方法具备良好的分类性能和鲁棒性。该文提出了一种基于偏最小二乘与支持向量机的人脸识别方法。利用偏最小二乘回归分析对人脸图像进行降维和特征提取,再利用支持向量机对特征向量进行分类识别。ORL人脸库的仿真结果证明偏最小二乘回归方法比主元分析方法更有效。     

一种基于反例样本修剪支持向量机的事件追踪算法

支持向量机（SVM）在各类别样本数目分布不均匀时，样本数量越多其分类误差越小，而样本数量越少其分类误差越大．在分析这种倾向产生原因的基础上，提出了一种基于反例样本修剪支持向量机（NEP—SVM）的事件追踪算法．该算法首先修剪反例样本，根据距离和类标决定一反例样本的取舍，然后使用SVM对新的样本集进行训练以得到分类器，补偿了上述倾向性问题造成的不利影响．另外，由于后验概率对于提高事件追踪的性能至关重要，而传统的支持向量机不提供后验概率，本文通过一个sigmoid函数的参数训练将SVM的输出结果映射成概率．实验结果表明NEP—SVM是有效的．     

基于支持向量机的非线性系统模型预测控制

支持向量机是基于统计学习理论的新一代机器学习技术。由于使用结构风险最小化原则代替经验风险最小化原则．使它较好的解决了小样本情况下的学习问题。又由于其采用了核函数思想．使它把非线性问题转化为线性问题来解决,降低了算法的难度．具有全局最优、良好泛化能力等优越性能．得到广泛的研究。基于上述特性提出了一种基于支持向量机的非线性模型预测控制结构．其中使用遗传算法来求解预测控制律．随后用计算机仿真证明了此控制算法的正确性和有效性。     

改进粒子群算法优化支持向量机在故障诊断中的应用研究

支持向量机(SVM)作为当前新型的机器学习方式,凭借解决小样本问题、高维问题和局部极值问题等方面的优越性,在当前故障诊断方面有突出的表现;文章根据对支持向量机的研究,发现其在分类模型参数选择上存在困难,为此,提出利用改进粒子群算法优化的办法,解决粒子群前期收敛速度过快导致后期容易优化不均的现象;通过粒子群算法优化与支持向量机分类模型结合,以轴承故障检测和诊断为例,分析次方法的优越性和提高支持向量机在故障诊断过程中的精准度;通过实际检测得出,这种算法优化的方法改进的支持向量机对于聚类性较差的故障分类具有很好的诊断功能。     

快速增量加权支持向量机预测证券指数

传统支持向量机是对小样本提出,对于大样本会出现训练速度慢、内存占用多等问题．并且不具有增量学习性能．而常用的增量学习方法又会出现局部极小等问题．本文阐述了一种改进的支持向量机算法(快速增量加权支持向量机算法)用于证券指数预测．该算法先对指数样本做相空间重构,再分解成若干个工作子集,针对样本重要程度给出不同权重构建预测模型．实验分析表明,在泛化精度保持略好情况下,训练速度明显提高．     

基于最小二乘的最小类方差支撑向量机

针对最小类方差支撑向量机(MCVSVM)在小样本情况下仅利用类内散度矩阵非零空间中信息的问题,提出基于最小二乘的最小类方差支撑向量机(LS-MCVSVM)算法,通过牛顿优化法迭代求解LS-MCVSVM的优化问题,从而有效解决了小样本问题。实验结果表明,相对于MCVSVM,LS-MCVSVM算法可进一步提高泛化能力,减少训练时间开销。     

Foley-Sammon optimal discriminant vectors using kernel approach

A new nonlinear feature extraction method called kernel Foley-Sammon optimal discriminant vectors (KFSODVs) is presented in this paper. This new method extends the well-known Foley-Sammon optimal discriminant vectors (FSODVs) from linear domain to a nonlinear domain via the kernel trick that has been used in support vector machine (SVM) and other commonly used kernel-based learning algorithms. The proposed method also provides an effective technique to solve the so-called small sample size (SSS) problem which exists in many classification problems such as face recognition. We give the derivation of KFSODV and conduct experiments on both simulated and real data sets to confirm that the KFSODV method is superior to the previous commonly used kernel-based learning algorithms in terms of the performance of discrimination.     

基于增量式拉普拉斯嵌入和SVM的图像识别

提出了一种基于增量式拉普拉斯嵌入和支持向量机的图像识别方法,该方法首先利用增量式拉普拉斯特征映射对数据点进行维数约减和特征提取;再应用以统计学习理论为基础的支持向量机对图像进行分类识别.在降维过程中,该方法能够最优保持原始空间数据点的局部信息,克服了PCA降维算法从全局考虑而丢失局部信息的缺点,并且对测试集的嵌入坐标增量式计算的特点很好地减少了运算量.实验证明,该方法的图像识别率明显高于传统的PCA线性降维方法,具有可行性.