支持向量机最优模型选择的研究

通过对核矩阵的研究,利用核矩阵的对称正定性,采用核校准的方法提出了一种SVM最优模型选择的算法——OMSA算法．利用训练样本不通过SVM标准训练和测试过程而寻求最优的核参数和相应的最优学习模型,弥补了传统SVM在模型选择上经验性强和计算量大的不足．采用该算法在UCI标准数据集和FERET标准人脸库上进行了实验,结果表明,通过该算法找到的核参数以及相应的核矩阵是最优的,得到的SVM分类器的错误率最小．该算法为SVM最优模型选择提供了一种可行的方法,同时对其他基于核的学习方法也具有一定的参考价值．     

基于核函数的入侵检测方法研究*

基于SVDD算法（一种改进的one-class支持向量机算法）提出了一种能够处理无类标非纯净训练集的异常检测方法,可以在无类标非纯净训练集上进行模型训练,在很大程度上降低了对训练数据集的要求。另外针对异构数据集,构造了一种新的基于距离的核函数,使得SVDD算法具有处理异构数据集的能力,使之能应用于入侵检测中。通过在KDD CUP’99的标准入侵检测数据集上进行实验,证明了该方法的有效性和实用性。     

一种基于标签传播的半监督核学习算法

一个好的核函数能提升机器学习模型的有效性,但核函数的选择并不容易,其与问题背景密切相关,且依赖于领域知识和经验。核学习是一种通过训练数据集寻找最优核函数的机器学习方法,能通过有监督学习的方式寻找到一组基核函数的最优加权组合。考虑到训练数据集获取标签的代价,提出一种基于标签传播的半监督核学习方法,该方法能够同时利用有标签数据和无标签数据进行核学习,通过半监督学习中被广泛使用的标签传播方法结合和谐函数获得数据集统一的标签分布。在UCI数据集上对提出的算法进行性能评估,结果表明该方法是有效的。     

半监督多示例核

在多示例学习中引入利用未标记示例的机制,能降低训练的成本并提高学习器的泛化能力。当前半监督多示例学习算法大部分是基于对包中的每一个示例进行标记,把多示例学习转化为一个单示例半监督学习问题。考虑到包的类标记由包中示例及包的结构决定,提出一种直接在包层次上进行半监督学习的多示例学习算法。通过定义多示例核,利用所有包(有标记和未标记)计算包层次的图拉普拉斯矩阵,作为优化目标中的光滑性惩罚项。在多示例核所张成的RKHS空间中寻找最优解被归结为确定一个经过未标记数据修改的多示例核函数,它能直接用在经典的核学习方法上。在实验数据集上对算法进行了测试,并和已有的算法进行了比较。实验结果表明,基于半监督多示例核的算法能够使用更少量的训练数据而达到与监督学习算法同样的精度,在有标记数据集相同的情况下利用未标记数据能有效地提高学习器的泛化能力。     

基于支持向量机的网络入侵检测

将统计学习理论引人入侵检测研究中，提出了一种基于支持向量机的入侵检测方法(SVM-Based ID)．针对入侵检测所获得的高维小样本异构数据集，将SVM算法在这种异构数据集上进行推广，构造了基于异构数据集上HVDM距离定义的RBF形核函数，并基于这种核函数将有监督的C-SVM算法和无监督One-Class SVM算法用于网络连接信息数据中的攻击检测和异常发现，通过对DARPA数据的检测试验结果表明提出的方法是可行的、高效的．     

一种多重支持向量机在线学习算法的研究

增量式支持向量机学习算法是一种重要的在线学习方法。传统的单增量支持向量机学习算法使用一个数据样本更新支持向量机模型。在增加或删除的数据样本点较多时,这种模型更新模式耗时巨大,具体原因是每个被插入或删除的样本都要进行一次模型参数更新的判断。该文提出一种基于参数规划的多重增量式的支持向量机优化训练算法,使用该训练算法,多重的支持向量机的训练时间大为减少。在合成数据集及真实测试数据集上的实验结果显示,该文提出的方法可以大大降低多重支持向量机训练算法的计算复杂度并提高分类器的精度。     

基于小样本SVR的迁移学习及其应用

当前机器学习的技术已经运用到很多工程项目中,但大部分机器学习的算法只有在样本数量充足且运用在单一场景中的时候,才能获得良好的结果。其中,经典的支持向量回归机是一种具有良好泛化能力的回归算法。但若当前场景的样本数量较少时,则得到的回归模型泛化能力较差。针对此问题,以加权ε支持向量回归机为基础,提出了一种小样本数据的迁移学习支持向量回归机算法。该算法以加权ε支持向量回归机为Bagging算法的基学习器,使用与目标任务相关联的源域数据,通过自助采样生成多个子回归模型,采用简单平均法合成一个总回归模型。在UCI数据集和现实数据集——玉米棒与花生粒储藏环节损失数据集上的实验结果表明,该算法较标准ε-SVR算法与改进的RMTL算法在小数据样本上有更好的泛化能力。     

GPU的并行支持向量机算法(英文)

提出了一种新的并行增量式支持向量机算法来解决图形处理单元(GPU)中大规模数据集的分类问题。SVM以及核相关方法可以用来创建精确分类模型,但学习过程需要大量内存和很长时间。扩展了Suykens和Vandewalle提出的最少次方SVM(LS-SVM)方法来建立增量和并行算法。新算法使用图形处理器以低代价获得高系统性能。实现表明,在UCI和Delve数据集上,基于GPU并行增量算法较CPU实现方法快130倍,而且比现行算法,如LibSVM、SVM-perf和CB-SVM等快的多(超过2500倍)。     

基于改进遗传算法的支持向量机参数优化方法

针对支持向量机算法在回归预测时由于参数选取不当导致过学习或欠学习的情况,提出一种基于改进遗传算法的支持向量机参数优化模型。该模型将遗传算法与支持向量机结合,利用遗传算法进化搜索的原理对支持向量机具有重要意义的惩罚参数、核参数和损失函数同时优化。实验选取3组标准数据集作为测试数据集,并将改进算法同时与遗传算法、网格寻址算法、粒子群算法进行仿真测试结果对比。实验结果表明改进的算法较大地提高了支持向量机算法整体的寻优能力。     

核向量机与支持向量机相结合的二阶段快速学习方法

支持向量机(SVM)作为一种有效的模式分类方法,当数据集规模较大时,学习时间长、泛化能力下降;而核向量机(CVM)分类算法的时间复杂度与样本规模无关,但随着支持向量的增加,CVM的学习时间会快速增长。针对以上问题,提出一种CVM与SVM相结合的二阶段快速学习算法(CCS),首先使用CVM初步训练样本,基于最小包围球(MEB)筛选出潜在核向量,构建新的最有可能影响问题解的训练样本,以此降低样本规模,并使用标记方法快速提取新样本;然后对得到的新训练样本使用SVM进行训练。通过在6个数据集上与SVM和CVM进行比较,实验结果表明,CCS在保持分类精度的同时训练时间平均减少了30%以上,是一种有效的大规模分类学习算法。     

融合PCA、LDA和SVM算法的人脸识别

为了提高人脸识别效率,提出了一种基于PCA、LDA和SVM算法融合的人脸识别方法。使用主成分分析（PCA）将人脸图像变换到新的特征空间中,消除图像特征间的相关性和噪声,提取人脸全局特征,在实验阶段取较多的投影方向使其尽可能多的保持原始信息;使用线性判别分析（LDA）算法进一步投影变换降低数据维度;使用支持向量机（SVM）分类识别。将PCA、LDA和SVM三种算法的优点结合起来,在ORL数据库上进行仿真实验,结果表明该方法的识别率可达99.0%。     

一类新的基于拉盖尔正交多项式的核函数

基于拉盖尔正交多项式,提出了广义的拉盖尔多项式,由此建立了一类新的核函数—拉盖尔核函数。在双螺旋集和标准UCI数据集上的实验表明,该核函数比常用的核函数(多项式核、高斯径向基核等)具有更强的鲁棒性与更好的泛化性能,而且该核函数的参数仅在自然数中取值,能大大缩短参数优化时间。     

确定高斯核参数的聚类方法

高斯核参数σ的选择,直接影响着高斯核支持向量机的分类性能。将聚类方法与最小距离分类法进行融合,构造了能有效确定高斯核参数σ的优化算法。采用高斯核支持向量机方法对测试集进行分类,以分类正确率来评判选取核参数σ的效果。实验表明,该方法适宜于较广泛的数据类型,具有良好的推广能力,并能有效提高分类效果。     

一种快速的SVM最优核参数选择方法

支持向量机是一种基于核的学习方法,核函数及核参数的选择直接影响到SVM的泛化能力。传统的参数选择方法如网格搜索法,由于其计算量大,训练过程十分耗时,提出了一种新的快速选择最优核参数方法,该方法通过计算各类别在特征空间的可分性度量值来决定最优核参数,不需训练相应SVM分类模型,从而大大缩减了训练时间,提高了训练速度,且分类精度与传统方法相比,具有相当的竞争力。实验证明,该算法是可行有效的。     

改进布谷鸟算法优化混合核LSSVM的卷烟销售量预测

为了提高卷烟销售量预测精度,提出了基于一种改进布谷鸟算法（MCS）优化混合核最小二支持向量机（LSSVM）的卷烟销售量预测模型（MCS-LSSVM）。收集卷烟销售量数据,并构建LSSVM学习样本,然后混合核函数的LSSVM对样本进行训练,并采用改进布谷鸟算法对混合核函数参数进行优化,最后建立卷烟销售量预测模型,并用于某卷烟公司卷烟销售的预测。结果表明,相对于对比模型,ICS-LSSVM模型获得了更优的建模效果和更高的预测精度。     

极小化类内散布度的大间距非线性鉴别分析

提出了一种新的非线性鉴别分析算法——极小化类内散布的大间距非线性鉴别分析。该算法的主要思想是将原始样本映射到更高维的空间中,利用核技术对传统的大间距分类算法进行改进,在新的高维空间中利用再生核技术寻找核鉴别矢量,使得在这个新的空间中核类内散度尽可能的小。在ORL人脸数据库上进行实验,分析了识别率及识别时间,结果表明该方法具有一定优势。     

用路径跟踪法和核距离矩阵优化大规模SVM

支持向量机在大规模训练集上学习时,存在学习时间长、泛化能力下降的问题。路径跟踪算法具有O(n L)的时间复杂度,能够在多项式时间内求解大规模QP问题。分析了影响SVM分类超平面的主要因素,使用路径跟踪内点算法和核距离矩阵快速约简训练集,再用约简后的训练集重新训练SVM。实验结果表明,重新训练后的SVM模型得到了简化,模型的泛化能力也得到提高。     

一种基于核函数的彩色血细胞识别方法

为有效提高血细胞识别的性能,提出一种基于核函数的彩色血细胞识别方法。利用血细胞图像的颜色直方图和局部密度直方图对血细胞图像进行归一化表示。将核主成分分析用于非线性特征和数据降维提取,采用支持向量机(SVM)对特征进行加权,SVM和最近邻构成多分类器进行分类。整个系统构成一个支持向量网络,为自动进行网络训练和参数寻优,给出一套自动相关的反馈训练方法。在相关血细胞数据库上的实验结果表明了该方法的有效性。     

基于半模糊核聚类算法的收视率预测研究

收视率是电视行业重要的指标之一,对电视机构运营决策具有重要参考价值。针对收视率数据影响因素众多,变化趋势复杂等特点,提出了一种基于半模糊核聚类的超球支持向量机分类方法,基于半模糊核聚类生成模糊类,在其边缘样本信息基础上,利用超球支持向量机进行多类分类,从而有效提高分类器性能。实验表明,该方法比传统方法具有更高的速度和精度。     

一种改进的含噪语音端点检测方法

语音端点检测是语音识别系统的重要环节之一。针对噪声环境下的语音端点检测困难,提出了一种改进的支持向量机的语音端点检测方法。利用小波分析（WA）提取含噪语音信号的特征向量。采用遗传算法（GA）得到最优的SVM核函数参数[γ]和惩罚因子[C]。建立语音端点检测模型。在Matlab软件平台下进行仿真实验,结果表明在不同的噪声条件下,GA-SVM算法的平均检测率达到94.5%,明显优于传统的双门限算法和普通的SVM算法。