最小类内方差支持向量引导的字典学习

支持向量引导的字典学习算法依据大间隔分类原则,仅考虑每类编码向量边界条件建立决策超平面,未利用数据的分布信息,在一定程度上限制了模型的泛化能力.为解决该问题,提出最小类内方差支持向量引导的字典学习算法.将融合Fisher线性鉴别分析和支持向量机大间隔分类准则的最小类内方差支持向量机作为鉴别条件,在模型分类器的交替优化过程中,充分考虑编码向量的分布信息,保障同类编码向量总体一致的同时降低向量间的耦合度并修正分类矢量,从而挖掘编码向量鉴别信息,使其更好地引导字典学习以提高算法分类性能.在人脸、物体和手写数字识别数据集上的实验结果表明,在大部分样本和原子数量条件下,该算法的识别率和原子鲁棒性均优于K奇异值分解、局部特征和类标嵌入约束等经典字典学习算法.     

基于局部类内结构的鉴别性字典学习方法

针对支持向量引导的字典学习(support vector guided dictionary learning,SVGDL)的鉴别约束项只体现了大间隔原理,而没有很好地利用数据空间内在结构信息的问题,提出了一种新颖的鉴别性字典学习方法——基于局部类内结构的鉴别性字典学习方法。该方法结合了大间隔原理和局部Fisher线性鉴别分析作为鉴别约束条件来指导指点学习。通过建立一个局部类内散度矩阵来编码数据空间的分布结构,增强了挖掘同类数据空间局部结构的能力并进一步地表示了编码向量在数据空间中的局部相似性。为了评价提出方法在图像识别上的表现,在几个常见图像数据集上进行了实验。结果表明,提出方法与大间隔方法相比,在平均识别率上有着明显的提高。     

基于拓展稀疏表示模型和LC-KSVD的人脸识别

为了提高人脸的识别率和识别速度及其识别的鲁棒性,提出了基于拓展稀疏表示模型和LC-KSVD（Label Consist K-SVD）的人脸识别算法。针对字典学习中只包含表示能力没有包含类别信息的问题,在原始的稀疏表示模型中添加了残差向量作为系数修正向量,使得拓展稀疏表示模型具有更强的鲁棒性;在字典学习中添加稀疏编码和分类器参数约束项,通过字典学习同时更新稀疏编码和分类器参数,使字典中包含很好的表示能力和判别分类能力。实验结果表明,基于拓展稀疏表示模型和LC-KSVD的人脸识别具有高识别率和低识别速度,并且有很好的鲁棒性。     

基于字典学习的软件缺陷检测算法

针对目前存在的字典学习方法不能有效构造具有鉴别能力字典的问题,提出具有鉴别表示能力的字典学习算法,并将其应用于软件缺陷检测。首先,重新构建稀疏表示模型,通过在目标函数中设计字典鉴别项学习具有鉴别表示能力的字典,使某一类的字典对于本类的样本具有较强的表示能力,对于异类样本的表示效果则很差;其次,添加Fisher准则系数鉴别项,使得不同类的表示系数具有较好的鉴别能力;最后对设计的字典学习模型进行优化求解,以获得具有强鉴别和稀疏表示能力的结构化字典。选择经过预处理的NASA软件缺陷数据集作为实验数据,与主成分分析（PCA）、逻辑回归、决策树、支持向量机（SVM）和代表性的字典学习方法进行对比,结果表明所提出的具有鉴别表示能力的字典学习算法的准确率与F-measure值均有提高,能在改善分类器性能的基础上提高检测精度。     

一种新的软间隔支持向量机分类算法

软间隔支持向量机（SVM）分类算法是目前最具有代表性的模式分类算法之一,它在应用中的一个主要困难是确定控制参数C.提出一种新的软间隔SVM分类算法,通过松弛变量改变约束条件,允许数据点进入分离区域但不越过分类超平面,从而避免了参数C的确定问题.计算机实验和故障诊断实例表明,基于新算法的SVM分类器有较高的分类准确性和较好的泛化性能,能够实际应用于模式分类.     

一种改进的支持向量机及其在癌症诊断中的应用

为了改善支持向量机的泛化能力,提出了一种改进的支持向量机——SUB SVM,它把对所有训练数据训练得到的主支持向量再次训练，用得到的次支持向量构造SVM非线性分类器,将该算法应用在癌症诊断中，取得了比传统SVM分类器更高的识别率。     

综合航电分区间通信元模型设计研究

真实数据集中存在的对抗样本一方面易导致分类器取得较差分类结果,另一方面如果能够被合理利用,分类器的泛化能力将得到显著提高。针对现有大部分分类算法并没有利用对抗样本训练分类模型,提出一种攻击标签信息的对抗分类算法（ACA）。该方法从给定数据集中选取一定比例样本并攻击所选取的样本标签使之成为对抗样本,即将样本标签替换成其他不同类型的标签。利用支持向量机（support vector machine,SVM）训练包含对抗样本的数据集,计算生成的SVM输出误差对于输入样本的一阶梯度信息并嵌入到输入样本特征中以更新输入样本。再次利用SVM训练更新后的样本以生成对抗的SVM（A-SVM）。原理分析与实验结果表明,一阶梯度信息不仅提供了一种分类器输出与输入之间的正相关关系,而且可提高A-SVM的实际分类性能     

基于主动学习不平衡多分类AdaBoost算法的心脏病分类

针对不平衡分类中小类样本识别率低问题,提出一种基于主动学习不平衡多分类AdaBoost改进算法。首先,利用主动学习方法通过多次迭代抽样,选取少量的、对分类器最有价值的样本作为训练集;然后,基于不确定性动态间隔的样本选择策略,降低训练集的不平衡性;最后,利用代价敏感方法对多分类AdaBoost算法进行改进,对不同的类别给予不同的错分代价,调整样本权重更新速度,强迫弱分类器"关注"小类样本。在临床经胸超声心动图（TTE）测量数据集上的实验分析表明：与多分类支持向量机（SVM）相比,心脏病总体识别率提升了5.9%,G-mean指标提升了18.2%,瓣膜病（VHD）识别率提升了0.8%,感染性心内膜炎（IE）（小类）识别率提升了12.7%,冠心病（CAD）（小类）识别率提升了79.73%;与SMOTE-Boost相比,总体识别率提升了6.11%,G-mean指标提升了0.64%,VHD识别率提升了11.07%,先心病（CHD）识别率提升了3.69%。在TTE数据集和4个UCI数据集上的实验结果表明,该算法在不平稳多分类时能有效提高小类样本识别率,并且保证其他类别识别率不会大幅度降低,综合提升分类器性能。     

基于代价敏感思想和自适应增强集成的SVM多分类算法

针对数据识别分类在传统的支持向量机(SVM)个体分类器上正确识别率不理想的问题，提出一种基于代价敏感思想(cost-sensitive)和自适应增强(AdaBoost)的SVM集成数据分类算法(CAB-SVM)。在自适应增强算法每次迭代训练SVM弱分类器之前，根据样本总数设置初始样本权值，并抽取样本组成临时训练集训练SVM弱分类器。其中在权重迭代更新阶段，赋予被分错样本更高的误分代价，使得被分错样本权重增加更快，有效地减少了算法迭代次数。同时，算法迭代过程极大地优化了个体分类器的识别鲁棒性能，使得提出的CAB-SVM算法获得了更优越的数据分类性能。利用UCI数据样本集的实验结果表明CAB-SVM分类算法的正确识别率高于SVM和SVME算法。     

基于改进字典学习算法的人脸识别

为了提高基于稀疏表示的人脸识别速度和对图像的噪声、遮挡、损坏的鲁棒性,提出了拓展的稀疏表示模型和D-KSVD(Discrimination K-SVD)的人脸识别算法。在原始的稀疏表示模型中添加了残差向量作为系数修正向量,使得拓展的稀疏表示模型具有更强的鲁棒性。针对字典学习中只包含表示能力没有包含类别信息的问题,在字典学习中添加了稀疏编码和分类器参数约束项,在字典学习的过程中同时更新稀疏编码和分类器参数,使字典中包含很好的表示能力和判别分类能力,用其稀疏编码系数进行人脸识别分类时能获得更好的识别性能。     

基于原子Fisher判别准则约束字典学习算法

为了提高字典的判别性能,提出基于原子Fisher判别准则约束的字典学习算法AFDDL。首先,利用特定类字典学习算法为每个原子分配一个类标,计算同类原子和不同类原子间的散度矩阵。然后,利用类内散度矩阵和类间散度矩阵的迹的差作为判别式约束项,促使不同类原子间的差异最大化,并在最小化同类原子间差异的同时减少原子间的自相关性,使得同类原子尽可能地重构某一类样本,提高字典的判别性能。在AR、FERET和LFW三个人脸数据库和USPS手写字体数据库中进行实验,实验结果表明,在四个图像数据库中,所提算法在识别率和训练时间方面均优于类标一致的K奇异值分解（LC-KSVD）算法、局部特征和类标嵌入约束的字典学习（LCLE-DL）算法、支持矢量指导的字典学习（SVGDL）算法和Fisher判别字典学习算法;且在四个数据库中,该算法也比稀疏表示分类（SRC）和协同表示分类（CRC）取得更高的识别率。     

基于Gabor特征和支持向量引导字典学习的人脸识别

稀疏编码中的字典学习在稀疏表示的图像识别中扮演着重要的作用。由于Gabor特征对表情、光照和姿态等变化具有一定的鲁棒性,提出一种基于Gabor特征和支持向量引导字典学习（GSVGDL）的稀疏表示人脸识别算法。先提取图像的Gabor特征,然后用增广Gabor特征矩阵来构造初始字典。字典学习模型中综合了重构误差项、判别项和正则化项,判别项公式化定义为所有编码向量对平方距离的加权总和;通过字典学习同时得到字典原子与类别标签相对应的结构化字典和线性分类器。该字典学习方法能够自适应地为不同的编码向量对分配不同的权值,提高了字典的判别性能。实验结果表明该方法具有很好的识别精度和较高的识别效率。     

一种基于支持向量机思想的无监督聚类算法

支持向量机作为一种新的机器学习方法,由于其建立在结构风险最小化准则之上,而不是仅仅使经验风险达到最小,从而使对支持向量分类器具有较好的推广能力。本文分析了支持向量机在解决无监督分类问题上的不足,提出一种基于支持向量机思想的最大间距的聚类新方法。实验结果表明,该算法能成功地解决很多非监督分类问题。     

基于支持向量机的遥感图像舰船目标识别方法

针对高分辨率遥感图像舰船目标识别问题,提出了一种基于支持向量机的舰船目标分类方法。支持向量机(SVM)是一类新型机器学习方法,基于结构风险最小化归纳原则,具有出色的学习能力。与传统的方法相比,支持向量机不但结构简单,而且技术性能特别是泛化能力明显提高。该文简要介绍了有关统计学习理论和支持向量机算法,将支持向量机应用于遥感图像舰船目标识别,并同传统的舰船识别方法进行了相关的对比实验,实验结果说明本文提出的分类器在识别性能上明显优于其它传统分类器,具有更高的识别性能率。     

Fisher和支持向量的综合分类器

结合Fisher判别分析和支持向量机的优点,提出了一种新的分类算法—Fisher-SV分类器（简称FSVC）。该分类器的核心思想就是寻找最优分类面的法向量w*,使得样本向量在w*上做投影后,不仅使分类间隔达到最大,而且使类内离散程度尽可能小。对于线性情况,可以转化为传统的支持向量机求解,而不需要设计新的求解算法。对于非线性情况,利用再生核理论得出新的求解算法。实验结果表明,该分类器具有很高的准确度和可靠性。     

一种用于中文主题分类的CSVM算法

提出一种新的级联支持向量机分类算法CSVM,结合AdaBoost算法框架与支持向量机(SVM)进行多分类处理。针对多分类问题中支持向量机处理样本数量多和计算时间过长的问题,引入最小闭合球算法对原始样本数据进行提取,以缩短SVM的训练时间。实验结果表明,CSVM算法具有与AdaBoost-SVM算法相似的精确度,而计算时间仅为AdaBoost-SVM算法的35%。     

核向量机与支持向量机相结合的二阶段快速学习方法

支持向量机(SVM)作为一种有效的模式分类方法,当数据集规模较大时,学习时间长、泛化能力下降;而核向量机(CVM)分类算法的时间复杂度与样本规模无关,但随着支持向量的增加,CVM的学习时间会快速增长。针对以上问题,提出一种CVM与SVM相结合的二阶段快速学习算法(CCS),首先使用CVM初步训练样本,基于最小包围球(MEB)筛选出潜在核向量,构建新的最有可能影响问题解的训练样本,以此降低样本规模,并使用标记方法快速提取新样本;然后对得到的新训练样本使用SVM进行训练。通过在6个数据集上与SVM和CVM进行比较,实验结果表明,CCS在保持分类精度的同时训练时间平均减少了30%以上,是一种有效的大规模分类学习算法。     

基于模糊分割的支持向量机分类器

支持向量机算法对噪声点和异常点是敏感的,为了解决这个问题,人们提出了模糊支持向量机,但其中的模糊隶属度函数需要人为设置。提出基于模糊分割的支持向量机分类器。在该算法中,首先根据聚类有效性用模糊c-均值聚类分别对训练集中的正负类数据聚类;然后,选择距离最近的c个聚类对构成c个二分类问题;最后,对c个二分类器用加权平均策略得到最终分类结果。为了验证所提算法的有效性,对三个UCI数据集进行了数值实验,结果表明,该算法能有效提高带噪声点和异常点数据集分类的预测精度。     

基于多尺度特征融合Hessian稀疏编码的图像分类算法

针对传统稀疏编码图像分类算法提取单一类型特征,忽略图像的空间结构信息,特征编码时无法充分利用特征拓扑结构信息的问题,提出了基于多尺度特征融合Hessian稀疏编码的图像分类算法（HSC）。首先,对图像进行空间金字塔多尺度划分;其次,在各个子空间层将方向梯度直方图（HOG）和尺度不变特征转换（SIFT）进行有效的融合;然后,为了充分利用特征的拓扑结构信息,在传统稀疏编码目标函数中引入二阶Hessian能量函数作为正则项;最后,利用支持向量机（SVM）进行分类。在Scene15数据集上的实验结果表明,HSC的准确率比局部约束线性编码（LLC）高了3~5个百分点,比支持区别性字典学习（SDDL）等对比方法高了1~3个百分点;在Caltech101数据集上的耗时实验结果表明,HSC的用时比多核学习稀疏编码（MKLSC）少40%左右。所提HSC可以有效提高图像分类准确率,算法的效率也优于对比算法。