泛化误差界指导的鉴别字典学习

在提高字典鉴别能力的过程中，最大间隔字典学习忽视了利用重新获得的数据构建分类器的泛化性能，不仅与最大间隔原理有关，还与包含数据的最小包含球（MEB）半径有关。针对这一事实，提出泛化误差界指导的鉴别字典学习算法GEBGDL。首先，利用支持向量机（SVM）的泛化误差上界理论对支持向量引导的字典学习算法（SVGDL）的鉴别条件进行改进；然后，利用SVM大间隔分类原理和MEB半径作为鉴别约束项，促使不同类编码向量间的间隔最大化，并减小包含所有编码向量的MEB半径；最后，为了更充分考虑分类器的泛化性能，采用交替优化策略分别更新字典、编码系数和分类器，进而获得编码向量相对间隔更大的分类器，从而促使字典更好地学习，提升字典鉴别能力。在USPS手写数字数据集，Extended Yale B、AR、ORL三个人脸集，Caltech101、COIL20、COIL100物体数据集中进行实验，讨论了超参数和数据维度对识别率的影响。实验结果表明，在七个图像数据集中，多数情况下所提算法的识别率优于类标签一致K奇异值分解（LC-KSVD）、局部特征和类标嵌入约束字典学习（LCLE-DL）算法、Fisher鉴别字典学习（FDDL）和SVGDL等算法；且在七个数据集中，该算法也取得了比基于稀疏表示的分类（SRC）、基于协作表示的分类（CRC）和SVM更高的识别率。     

最大间隔最小体积球形支持向量机

结合支持向量机（ＳＶＭ）类间最大分类间隔和支持向量数据描述（ＳＶＤＤ）类内最小描述体积思想,提出一种新的学习机器模型———最大间隔最小体积球形支持向量机（ＭＭＨＳＶＭ）．模型建立两个大小不一的同心超球,将正负类样本分别映射到小超球内和大超球外,模型目标函数最大化两超球间隔,实现正负类类间间隔的最大化和各类类内体积的最小化,提高了模型的分类能力．理论分析和实验结果表明该算法是有效的．     

基于局部类内结构的鉴别性字典学习方法

针对支持向量引导的字典学习(support vector guided dictionary learning,SVGDL)的鉴别约束项只体现了大间隔原理,而没有很好地利用数据空间内在结构信息的问题,提出了一种新颖的鉴别性字典学习方法——基于局部类内结构的鉴别性字典学习方法。该方法结合了大间隔原理和局部Fisher线性鉴别分析作为鉴别约束条件来指导指点学习。通过建立一个局部类内散度矩阵来编码数据空间的分布结构,增强了挖掘同类数据空间局部结构的能力并进一步地表示了编码向量在数据空间中的局部相似性。为了评价提出方法在图像识别上的表现,在几个常见图像数据集上进行了实验。结果表明,提出方法与大间隔方法相比,在平均识别率上有着明显的提高。     

一分类最优间隔分布机

现有的一分类支持向量机算法基于优化最小间隔的思想，只考虑了样本靠近空间原点一侧的噪声，对噪声信息较为敏感。针对该问题，通过优化间隔分布思想，同时考虑样本靠近空间原点和远离空间原点两侧的噪声，提高一分类支持向量机算法的抗噪声能力。为此，提出了一种基于最优间隔分布的一分类学习方法(one-class optimal margin distribution machine, OCODM),该方法通过最大化间隔的均值和最小化间隔方差的方式来优化间隔分布。实验结果表明，相比于现有的一分类支持向量机算法，该方法具有更好的鲁棒性，是现有一分类支持向量机方法的有益补充，能够增强现有方法的抗噪声能力。     

最大间隔最小体积球形支持向量机

结合支持向量机（ＳＶＭ）类间最大分类间隔和支持向量数据描述（ＳＶＤＤ）类内最小描述体积思想,提出一种新的学习机器模型———最大间隔最小体积球形支持向量机（ＭＭＨＳＶＭ）．模型建立两个大小不一的同心超球,将正负类样本分别映射到小超球内和大超球外,模型目标函数最大化两超球间隔,实现正负类类间间隔的最大化和各类类内体积的最小化,提高了模型的分类能力．理论分析和实验结果表明该算法是有效的．

     

公共矢量的最小类内方差SVM与噪音人脸分类

提出基于公共矢量的最小类内方差支持向量机（CV-MCVSVM）,用于提高噪音人脸图像分类问题中的抗噪性能。它继承了最小类内方差支持向量机（MCVSVMs）的优点,引入了由公共矢量（CVs）构成的散度矩阵Scom,由于CVs包含了样本中的共同信息,因此CV-MCVSVM在定义中将每个样本减去了CVs的均值,保留了更多的分类信息,进一步提高了抗噪能力。给出了CV-MCVSVM的推导过程。经实验验证,在含有噪音人脸图像的分类问题中,CV-MCVSVM获得了比MCVSVMs和总间隔v-支持向量机（TM-v-SVM）更好的分类性能。     

一种新的孪生大间隔分布机算法

为了提高孪生支持向量机的泛化能力,提出一种新的孪生大间隔分布机算法,以增加间隔分布对于训练模型的影响.理论研究表明,间隔分布对于模型的泛化性能有着非常重要的影响.该算法在标准孪生支持向量机优化目标函数上增加了间隔分布的影响,间隔分布通过一阶和二阶数据统计特征来体现.在标准数据集上的实验结果表明,所提出的算法比SVM、TWSVM、TBSVM算法的分类精确度更高.     

基于最大间隔最小体积超球支持向量机的多主题分类算法

针对多主题分类,结合最大间隔最小体积超球支持向量机和模糊理论,提出一种多主题最大间隔最小体积超球支持向量机来实现多主题分类.该算法首先基于最大间隔最小体积超球支持向量机,采用1-a-r方法训练子分类器,通过子分类器得到待分类样本的隶属度向量,再依据隶属度向量判定该待分类样本所属类别.实验结果表明,该算法具有较好的准确率、召回率、F1值.     

基于最小二乘支持向量机的非平衡分布数据分类

支持向量机是在统计学习理论基础上发展起来的一种十分有效的分类方法。然而当两类样本数量相差悬殊时,会引起支持向量机分类能力的下降。为了提高支持向量机的非平衡数据分类能力,文章分析了最小二乘支持向量机的本质特征,提出了一种非平衡数据分类算法。在UCI标准数据集上进行的实验表明,该算法能够有效提高支持向量机对非均衡分布数据的正确性,尤其对于大规模训练集的情况,该算法在保证不损失训练精度的前提下,使训练速度有较大提高。     

基于核字典学习的图像分类

航拍图像往往具有场景复杂、数据维度大的特点,对于该类图像的自动分类一直是研究的热点。针对航拍原始数据特征维度过高和数据线性不可分的问题,在字典学习和稀疏表示的基础上提出了一种结合核字典学习和线性鉴别分析的目标识别方法。首先学习核字典并通过核字典获取目标样本的稀疏表示,挖掘数据的内部结构;其次采用线性鉴别分析,加强稀疏表示的可分性;最后利用支持向量机对目标进行分类。实验结果表明,与传统基于子空间特征提取的算法和基于字典学习的算法相比,基于核字典学习与鉴别分析的算法分类性能优越。     

结构化支持向量机研究综述

结构化支持向量机（Structural Support Vector Machine,SSVM）是支持向量机（Support Vector Machine,SVM）的变体算法,被广泛应用于多个领域。阐述了SSVM的发展过程,详细分析了SSVM各种具体实现算法的思想及表现上的优劣;并通过实验的对比讨论,发现了SSVM的各种具体实现算法在分类性能和分类效率上优于其他SVM算法,而在稳定性上则逊于后者;基于此,给出了SSVM的后续研究方向。     

一种用于中文主题分类的CSVM算法

提出一种新的级联支持向量机分类算法CSVM,结合AdaBoost算法框架与支持向量机(SVM)进行多分类处理。针对多分类问题中支持向量机处理样本数量多和计算时间过长的问题,引入最小闭合球算法对原始样本数据进行提取,以缩短SVM的训练时间。实验结果表明,CSVM算法具有与AdaBoost-SVM算法相似的精确度,而计算时间仅为AdaBoost-SVM算法的35%。     

基于Gabor特征和支持向量引导字典学习的人脸识别

稀疏编码中的字典学习在稀疏表示的图像识别中扮演着重要的作用。由于Gabor特征对表情、光照和姿态等变化具有一定的鲁棒性,提出一种基于Gabor特征和支持向量引导字典学习（GSVGDL）的稀疏表示人脸识别算法。先提取图像的Gabor特征,然后用增广Gabor特征矩阵来构造初始字典。字典学习模型中综合了重构误差项、判别项和正则化项,判别项公式化定义为所有编码向量对平方距离的加权总和;通过字典学习同时得到字典原子与类别标签相对应的结构化字典和线性分类器。该字典学习方法能够自适应地为不同的编码向量对分配不同的权值,提高了字典的判别性能。实验结果表明该方法具有很好的识别精度和较高的识别效率。     

核向量机与支持向量机相结合的二阶段快速学习方法

支持向量机(SVM)作为一种有效的模式分类方法,当数据集规模较大时,学习时间长、泛化能力下降;而核向量机(CVM)分类算法的时间复杂度与样本规模无关,但随着支持向量的增加,CVM的学习时间会快速增长。针对以上问题,提出一种CVM与SVM相结合的二阶段快速学习算法(CCS),首先使用CVM初步训练样本,基于最小包围球(MEB)筛选出潜在核向量,构建新的最有可能影响问题解的训练样本,以此降低样本规模,并使用标记方法快速提取新样本;然后对得到的新训练样本使用SVM进行训练。通过在6个数据集上与SVM和CVM进行比较,实验结果表明,CCS在保持分类精度的同时训练时间平均减少了30%以上,是一种有效的大规模分类学习算法。     

基于最小二乘的最小类方差支撑向量机

针对最小类方差支撑向量机(MCVSVM)在小样本情况下仅利用类内散度矩阵非零空间中信息的问题,提出基于最小二乘的最小类方差支撑向量机(LS-MCVSVM)算法,通过牛顿优化法迭代求解LS-MCVSVM的优化问题,从而有效解决了小样本问题。实验结果表明,相对于MCVSVM,LS-MCVSVM算法可进一步提高泛化能力,减少训练时间开销。     

支持向量的信息冗余和SVM改进方法

在研究RBF核函数的几何特性和分析SVM数据依赖性改进方法的基础上,提出了支持向量携带数据冗余信息的论点。冗余信息掩盖了所研究对象的特征,影响SVM的性能。基于黎曼几何的SVM数据依赖性改进方法能够剔除支持向量携带的冗余信息,改进SVM的性能。理论分析和实验研究表明,该方法能够有效提高SVM的分类能力和分类速度。     

基于回归树的支持向量机规则提取及应用

支持向量机（SVM）因为核函数应用内积运算造成了模型较强的“黑箱性”。目前SVM的“黑箱性”研究主要采用规则提取方法解决分类问题,而回归问题鲜有提及。针对回归问题,尝试性提出基于回归树算法的SVM回归规则提取方法,算法充分利用支持向量的特殊性以及回归树的优势,建立支持向量的决策树模型,成功提取出决策能力高,包含变量少,计算量小且容易读取的规则。通过标准数据集Auto MPG和实际的煤制甲醇生产数据集进行了验证,与其他算法对比分析结果表明,所提取的回归规则在训练精度和预测精度等方面都有一定程度的提高。     

基于支持向量机的遥感图像舰船目标识别方法

针对高分辨率遥感图像舰船目标识别问题,提出了一种基于支持向量机的舰船目标分类方法。支持向量机(SVM)是一类新型机器学习方法,基于结构风险最小化归纳原则,具有出色的学习能力。与传统的方法相比,支持向量机不但结构简单,而且技术性能特别是泛化能力明显提高。该文简要介绍了有关统计学习理论和支持向量机算法,将支持向量机应用于遥感图像舰船目标识别,并同传统的舰船识别方法进行了相关的对比实验,实验结果说明本文提出的分类器在识别性能上明显优于其它传统分类器,具有更高的识别性能率。