基于最小二乘的最小类方差支撑向量机

针对最小类方差支撑向量机(MCVSVM)在小样本情况下仅利用类内散度矩阵非零空间中信息的问题,提出基于最小二乘的最小类方差支撑向量机(LS-MCVSVM)算法,通过牛顿优化法迭代求解LS-MCVSVM的优化问题,从而有效解决了小样本问题。实验结果表明,相对于MCVSVM,LS-MCVSVM算法可进一步提高泛化能力,减少训练时间开销。     

完备正交邻域保持判别嵌入的人脸识别

为解决邻域保持判别嵌入算法所面临的小样本问题,并充分利用类内邻域散度矩阵零空间和非零空间中的判别信息进行人脸识别,提出一种完备正交邻域保持判别嵌入的人脸识别算法。首先间接地利用特征分解方法去除总体邻域散度矩阵的零空间;然后分别在类内邻域散度矩阵零空间和非零空间中提取最优判别矢量。此外,为进一步提高算法的识别性能,给出了基于瘦QR分解的正交投影矩阵的求解方法。在ORL和Yale人脸库上验证了以上算法的有效性。     

基于三维最小类内散度SVM的肺CT中的结节识别

提出一种基于三维类内散度的多分类支持向量机的肺部结节识别算法。首先设计可直接处理基于三维矩阵模式的输入样本的多分类SVM,并结合最小类内散度SVM,进一步提出基于三维最小类内散度的多分类SVM。该方法通过直接分析肺部候选结节的三维特征并继承最小类内散度SVM的优点,有效提高分类器的识别精度,降低假阳性。利用其它4种计算机辅助肺部结节检测算法及两位放疗师作为比较,对于来自吉林省肿瘤医院的200组临床病例进行实验,结果证明三维最小类内散度多分类SVM在计算机辅助肺部结节识别中的优越性。     

Fisher大间距线性分类器

作为一种著名的特征抽取方法,Fisher线性鉴别分析的基本思想是选择使得Fisher准则函数达到最大值的向量(称为最优鉴别向量)作为最优投影方向,以便使得高维输入空间中的模式样本在该向量投影后,在类间散度达到最大的同时,类内散度最小。大间距线性分类器是寻找一个最优投影矢量(最优分隔超平面的法向量),它可使得投影后的两类样本之间的分类间距(Margin)最大。为了获得更佳的识别效果,结合Fisher线性鉴别分析和大间距分类器的优点,提出了一种新的线性投影分类算法——Fisher大间距线性分类器。该分类器的主要思想就是寻找最优投影矢量wbest(最优超平面的法向量),使得高维输入空间中的样本模式在wbest上投影后,在使类间间距达到最大的同时,使类内离散度尽可能地小。并从理论上讨论了与其他线性分类器的联系。在ORL人脸库和FERET人脸数据库上的实验结果表明,该线性投影分类算法的识别率优于其他分类器。     

一种改进的线性判别分析算法在人脸识别中的应用

线性判别分析算法是一种经典的特征提取方法,但其仅在大样本情况下适用。本文针对传统线性判别分析算法面临的小样本问题和秩限制问题,提出了一种改进的线性判别分析算法ILDA。该方法在矩阵指数的基础上,重新定义了类内离散度矩阵和类间离散度矩阵,有效地同时提取类内离散度矩阵零空间和非零空间中的信息。若干人脸数据库上的比较实验表明了ILDA在人脸识别方面的有效性。     

基于支持向量的Kernel判别分析

提出了一种新的基于支持向苗的核化判别分析方法（SV—KFD）．首先深入地分析了支持向量机（SVM）以及核化费舍尔判别分析（Kernel Fisher）方法的相互关系．基于作者证明的SVM本身所同有的零空间性质;SVM分类面的法向量在基于支持向量的类内散度矩阵条件下,具有零空间特性,提山了利用SVM的法向量定义核化的决策边界特征矩阵（Kernelized Decision Boundary Feature Matrix,KDBFM）的方法．进一步结合均值向量的差向量构建扩展决策边界特征矩阵（Ex—KDBFM）．最后以支持向量为训练集合,结合零空间方法来计算投影空间,该投影空间被用来从原始图像中提取判别特征．以人脸识别为例,作者在FERET和CAS—PEAL—R1大规模人脸图像数据怍上对所提出的方法进行了实验验证,测试结果表明该方法具有比传统核判别分析方法更好的识别性能．     

基于混淆矩阵和集成学习的分类方法研究

针对多分类问题,本文提出一种基于混淆矩阵和集成学习的分类方法。从模式间的相似性关系入手,基于混淆矩阵产生层次化分类器结构;以支持向量机(SVM)作为基本的两类分类器,对于分类精度不理想的SVM,通过AdaBoost算法对SVM分类器进行加权投票。以变电站环境监控中的目标识别为例(涉及到人、动物、普通火焰(红黄颜色火焰)、白色火焰、白炽灯),实现了变电站环境监控中的目标分类。实验表明,所提出的方法有效提高了分类精度。     

结合图模型的优化多类SVM及智能交通应用

为提高多类支持向量机分类器对多目标的分类准确度,提出一种结合无向图模型优化的多类支持向量机分类器。首先,利用余弦测度计算训练数据之间的相似度,构建包含训练数据和相似度矩阵的无向图模型,求解相似度约束矩阵。然后,将相似度约束矩阵引入多类支持向量机求解的目标函数,构建优化的多类支持向量机分类器。最后,将优化的多类支持向量机分类器用于智能交通领域,结合梯度方向直方图特征检测行人和车辆目标。实验表明,该方法检测行人和车辆目标的错误率低于经典的多类支持向量机分类器和目前主流的目标检测方法。     

一种人脸本征空间的特征提取算法

传统线性子空间算法在提取类内散度矩阵的特征向量时,存在偏差、过拟合和推广能力差的问题。为此,提出一种新的子空间算法。将类内散度矩阵的特征空间分解为2个子解空间,即主成分空间和零空间,再利用本征谱模型对2个空间分别进行正则化。在ORL人脸库上的实验表明,该算法使用较少的特征维数就能达到与传统算法相同的识别率。     

基于局部类内结构的鉴别性字典学习方法

针对支持向量引导的字典学习(support vector guided dictionary learning,SVGDL)的鉴别约束项只体现了大间隔原理,而没有很好地利用数据空间内在结构信息的问题,提出了一种新颖的鉴别性字典学习方法——基于局部类内结构的鉴别性字典学习方法。该方法结合了大间隔原理和局部Fisher线性鉴别分析作为鉴别约束条件来指导指点学习。通过建立一个局部类内散度矩阵来编码数据空间的分布结构,增强了挖掘同类数据空间局部结构的能力并进一步地表示了编码向量在数据空间中的局部相似性。为了评价提出方法在图像识别上的表现,在几个常见图像数据集上进行了实验。结果表明,提出方法与大间隔方法相比,在平均识别率上有着明显的提高。     

Enhanced algorithm for high-dimensional data classification

Minimum class variance support vector machine (MCVSVM) and large margin linear projection (LMLP) classifier, in contrast with traditional support vector machine (SVM), take the distribution information of the data into consideration and can obtain better performance. However, in the case of the singularity of the within-class scatter matrix, both MCVSVM and LMLP only exploit the discriminant information in a single subspace of the within-class scatter matrix and discard the discriminant information in the other subspace. In this paper, a so-called twin-space support vector machine (TSSVM) algorithm is proposed to deal with the high-dimensional data classification task where the within-class scatter matrix is singular. TSSVM is rooted in both the non-null space and the null space of the within-class scatter matrix, takes full advantage of the discriminant information in the two subspaces, and so can achieve better classification accuracy. In the paper, we first discuss the linear case of TSSVM, and then develop the nonlinear TSSVM. Experimental results on real datasets validate the effectiveness of TSSVM and indicate its superior performance over MCVSVM and LMLP.     

公共矢量的最小类内方差SVM与噪音人脸分类

提出基于公共矢量的最小类内方差支持向量机（CV-MCVSVM）,用于提高噪音人脸图像分类问题中的抗噪性能。它继承了最小类内方差支持向量机（MCVSVMs）的优点,引入了由公共矢量（CVs）构成的散度矩阵Scom,由于CVs包含了样本中的共同信息,因此CV-MCVSVM在定义中将每个样本减去了CVs的均值,保留了更多的分类信息,进一步提高了抗噪能力。给出了CV-MCVSVM的推导过程。经实验验证,在含有噪音人脸图像的分类问题中,CV-MCVSVM获得了比MCVSVMs和总间隔v-支持向量机（TM-v-SVM）更好的分类性能。     

SVMDT分类器及其在文本分类中的应用研究

基于SVM(Support Vectort Machine)理论的分类器已经发展为一种通用的二值分类器，但它不量要于多值的场合。在分析经典的SVM分类算法和决策树分类算法的基础上，提出了将SVM和二叉决等掣结合的方法来实现多值分类器(SVMDT)，并将其应用于文本分类，实验表明在分类精度和速度上具有良好的性能。     

基于启发式信息的支持向量机规则抽取

提出一种基于启发式信息的支持向量机规则抽取方法,解决了规则抽取中处理连续属性困难的问题。将支持向量回归（SVR）分类超曲面位置和形状特征作为启发式信息指导属性选择和属性区间的合理分割,然后给出了分类规则抽取的具体算法。通过UCI中多个数据集进行测试,证明与其他规则抽取方法相比,该方法显著提高了分类规则抽取的效率,尤其对复杂的分类问题。     

弹球支持张量机分类器*

机器学习、模式识别、数据挖掘等领域中的输入模式常常是高阶张量.文中首先从向量模式推广到张量模式,提出弹球支持张量机模型.然后给出求解弹球支持张量机模型的序贯最小优化算法(SMO).为了保持张量的自然结构信息,同时加速训练过程,采用张量的秩-1分解代替原始张量计算张量内积.在向量数据和张量数据上进行的大量实验表明:对于向量数据,相比经典的积极集法,SMO的计算速度更快;对于张量数据,相比弹球支持向量机,弹球支持张量机具有更快的训练速度和更好的泛化能力.     

基于加权量子粒子群的分类器设计

针对支持向量机在大样本情况下训练速度慢的缺点,引入权重最优位置策略改进量子粒子群优化算法,通过改进的Michigan编码方案对语音参数进行编码,构造分类规则适应度函数实现基于加权量子粒子群的分类器设计。在说话人识别中的应用结果表明,该分类器具有较好的抗噪性能和较高的识别速度。     

基于加权量子粒子群的分类器设计

针对支持向量机在大样本情况下训练速度慢的缺点,引入权重最优位置策略改进量子粒子群优化算法,通过改进的Michigan编码方案对语音参数进行编码,构造分类规则适应度函数实现基于加权量子粒子群的分类器设计。在说话人识别中的应用结果表明,该分类器具有较好的抗噪性能和较高的识别速度。     

On minimum class locality preserving variance support vector machine

In this paper, a so-called minimum class locality preserving variance support machine (MCLPV_SVM) algorithm is presented by introducing the basic idea of the locality preserving projections (LPP), which can be seen as a modified class of support machine (SVM) and/or minimum class variance support machine (MCVSVM). MCLPV_SVM, in contrast to SVM and MCVSVM, takes the intrinsic manifold structure of the data space into full consideration and inherits the characteristics of SVM and MCVSVM. We discuss in the paper the linear case, the small sample size case and the nonlinear case of the MCLPV_SVM. Similar to MCVSVM, the MCLPV_SVM optimization problem in the small sample size case is solved by using dimensionality reduction through principal component analysis (PCA) and one in the nonlinear case is transformed into an equivalent linear MCLPV_SVM problem under kernel PCA (KPCA). Experimental results on real datasets indicate the effectiveness of the MCLPV_SVM by comparing it with SVM and MCVSVM.