基于正则化路径的支持向量机近似模型选择

模型选择问题是支持向量机的基本问题.基于核矩阵近似计算和正则化路径,提出一个新的支持向量机模型选择方法.首先,发展初步的近似模型选择理论,包括给出核矩阵近似算法KMA-α,证明KMA-α的近似误差界定理,进而得到支持向量机的模型近似误差界.然后,提出近似模型选择算法AMSRP.该算法应用KMA-α计算的核矩阵的低秩近似来提高支持向量机求解的效率,同时应用正则化路径算法来提高惩罚因子C参数调节的效率.最后,通过标准数据集上的对比实验,验证了AMSRP的可行性和计算效率.实验结果显示,AMSRP可在保证测试集准确率的前提下,显著地提高支持向量机模型选择的效率.理论分析与实验结果表明,AMSRP是一合理、高效的模型选择算法.     

正则化路径上三步式SVM贝叶斯组合

模型组合旨在整合并利用假设空间中多个模型提高学习系统的稳定性和泛化性.针对支持向量机(support vector machine,SVM) 模型组合多采用基于样本采样方法构造候选模型集的现状,研究基于正则化路径的SVM模型组合.首先证明SVM模型组合Lh-风险一致性,给出SVM模型组合基于样本的合理性解释.然后提出正则化路径上的三步式SVM贝叶斯组合方法.利用SVM正则化路径分段线性性质构建初始模型集,并应用平均广义近似交叉验证(generalized approximate cross-validation, GACV)模型集修剪策略获得候选模型集.测试或预测阶段,应用最小近邻法确定输入敏感的最终组合模型集,并实现贝叶斯组合预测.与基于样本采样方法不同,三步式SVM贝叶斯组合方法基于正则化路径在整个样本集上构造模型集,训练过程易于实现,计算效率较高.模型集修剪策略可减小模型集规模,提高计算效率和预测性能.实验结果验证了正则化路径上三步式SVM模型组合的有效性.     

正定矩阵支持向量机正则化路径算法

正则化路径算法是数值求解支持向量机 (support vector machine, SVM)分类问题的有效方法,它可在相当于一次SVM求解的时间复杂度内得到所有的正则化参数及对应SVM的解.现有的SVM正则化路径算法或者不能处理具有重复数据、近似数据或线性相关数据,或者计算开销较大.针对这些问题,应用正定矩阵方程组求解方法来求解SVM正则化路径,提出正定矩阵SVM正则化路径算法(positive definite SVM path, PDSVMP).PDSVMP算法将迭代方程组的系数矩阵转换为正定矩阵,并采用Cholesky分解方法求解路径上各拐点处Lagrange乘子增量向量;与已有算法中直接求解正则化参数不同,该算法根据活动集变化情况确定参数增量,并在此基础上计算正则化参数,这样保证了理论正确性和数值稳定性,并可降低计算复杂性.实例数据集及标准数据集上的实验表明,PDSVMP算法可正确处理包含重复数据、近似数据或线性相关数据的数据集,并具有较高的计算效率.     

SVRRPMCC:一种支持向量回归机的正则化路径近似算法

正则化路径算法是数值求解支持向量回归机(Support Vector Regression,SVR)的有效方法。根据SVR正则化路径的分段线性性质,该类算法可在相当于一次SVR求解的时间复杂度内求得正则化参数的所有可能取值及对应SVR的解。由于在解路径建立过程中需要求解线性方程组,已有的精确计算方法难以处理大规模的样本数据,因此研究了正则化路径近似算法,并提出了SVR正则化路径近似算法SVRRPMCC。首先,应用Monte Carlo方法实现线性方程组系数矩阵的随机采样,求得近似系数矩阵; 然后,应用Cholesky分解方法实现快速求解系数逆矩阵;进一步,分析了SVRRPMCC算法的近似误差和计算复杂性;最后,在标准数据集上的实验验证了SVRRPMCC算法的合理性和较高的计算效率。     

同伦支持向量机

支持向量机(SVM)作为一种新颖的人工智能技术,已越来越广泛地运用于各个学科领域。同伦正则化方法也是近几年新兴的一种正则化方法,在数理方程反问题中得到了广泛的应用。将同伦正则化的思想应用到支持向量机中,建立了一种新的支持向量机模型,并对最常用的核函数——高斯核进行了修改。与传统的正则化方法相比,新模型最大的优点就是正则化参数的取值范围由无限区间变成了有限区间(0,1),从而大大缩短了正则化参数的优化时间。     

基于自适应增强算法的支持向量机组合模型

为了提高软测量模型的泛化能力,提出一种基于AdaBoosting算法的组合支持向量机(SVM)模型.该方法在贝叶斯分析的基础上,利用样本概率初始化惩罚系数,依据回归过程中的损失函数更新惩罚系数权重,使得SVM训练模型有强、弱之分,突出一些重要样本的作用,以提高模型的估计精度和泛化能力.仿真结果表明,依据该方法建立的组合模型明显改善了软测量模型的估计能力和泛化能力.     

基于高斯模型和支持向量机的人脸检测方法

针对目前人脸检测方法速度与精度难以兼有的问题,本文提出了一种结合高斯模型和支持向量机的人脸检测方法.先利用皮肤颜色在YCbCr空间的聚类性,对肤色建立高斯模型以分割出可能的人脸区域,再将这些区域输入到支持向量机检测并标记出检测结果.实验结果证明,本文提出的方法检测效果令人满意.     

一种双重正则化支持向量机的改进算法

针对L1范数支持向量机和L2范数支持向量机在分析部分小样本、高维数、变量高相关的数据时效果不理想的问题,在综合利用这2种支持向量机优点的基础上,提出一种双重正则化支持向量机的改进算法。通过正号函数和二次多项式损失函数将问题转化为可微的无条件约束优化问题,便于采用多种优化算法进行运算。实验结果证明,该改进算法可取得较好的分类准确率。     

随机傅里叶特征空间中高斯核支持向量机模型选择

模型选择是支持向量机(support vector machines, SVMs)学习的关键问题.标准支持向量机学习本质上是求解一个凸二次优化问题,求解的时间复杂度为数据规模的立方级,而经典的模型选择方法往往需要多次训练支持向量机,这种模型选择方法对于中等规模的支持向量机学习计算代价已较高,更难以扩展到大规模支持向量机学习.基于高斯核函数的随机傅里叶特征近似,提出一种新的、高效的核支持向量机模型选择方法.首先,利用随机傅里叶特征映射,将无限维隐式特征空间嵌入到一个相对低维的显式随机特征空间,并推导在2个不同的特征空间中分别训练支持向量机所得到的模型的误差上界;然后,以模型误差上界为理论保证,提出随机特征空间中核支持向量机的模型选择方法,应用随机特征空间中的线性支持向量机来逼近核支持向量机,计算模型选择准则的近似值,从而评价所对应的核支持向量机的相对优劣;最后,在标杆数据集上验证所提出方法的可行性和高效性.实验结果表明,所提出的模型选择方法与标准交叉验证方法的测试精度基本相当,但可显著地提高核支持向量机模型选择效率.     

支持向量机的电力故障检测方法研究

为保证电力系统的安全运行,针对智能电网中故障检测模型准确率低、泛化能力差等问题,提出了一种基于机器学习的电力故障检测方法.中心双胞参数支持向量机在模式识别上具有优秀的分类能力.然而,中心双胞参数间隔支持向量机(CTPSVM)模型的解需要通过求解二次规划问题来获得,并不适合处理大规模学习问题.为解决上述问题,提出了一个新...     

包容性检验和SVM相融合的网络流量预测

模型选择对网络流量组合预测结果至关重要,为了提高网络流量的预测效果,提出一种包容性检验和支持向量机相融合的网络流量预测模型（ET-SVM）。采用多个单一模型对网络流量进行预测,根据预测结果的均方根误差对模型优劣进行排序,通过包容性检验,根据t统计量检验选择最合适的单一模型,采用支持向量机对单一模型预测结果进行组合得到最终预测结果,通过仿真实验对模型性能进行测试。仿真结果表明,ET-SVM降低了网络流量的预测误差,预测精度得到了提高。     

模糊支持向量机的偏移量计算方法

偏移量确定了支持向量机和模糊支持向量机（FSVM）的最优分类面位置,对分类性能具有较大影响。为提高模糊支持向量机的识别率,基于Fisher判别分析方法提出一种新的偏移量计算方法,将其用于FSVM多类分类器设计。对3种数据集的测试结果表明,使用新偏移量的FSVM识别率高于使用标准偏移量的FSVM识别率。     

基于偏最小二乘的支持向量机多分类方法

该文提出了一种基于偏最小二乘（PLS）的支持向量机（SVM）多分类方法,该算法利用偏最小二乘思想对样本进行预处理,消除了样本属性之间的相关性,而且得到的综合属性与类信息的相关程度达到最大。通过实验可以看出,该方法不仅可以减少用支持向量机进行分类过程中的支持向量数目,而且当样本属性较多时,可以提高一定的识别率。     

基于模糊支持向量机的步态识别

提出基于模糊支持向量机（FSVM）的步态识别方法,以人体步态的宽度向量作为特征,探讨直接取值法和模糊C均值2种模糊隶属度确定方法对FSVM步态分类效果的影响。实验结果表明,模糊C均值法的识别率均略好于SVM,直接取值法的识别率甚至低于SVM,因此,选取正确的模糊隶属度确定方法是FSVM能否成功应用于步态识别的关键。     

基于支持向量机的民族语口音识别

基于母语分别为傣语、傈僳语、纳西语和汉语普通话的发音人所发汉语普通话语句,利用支持向量机进行民族口音识别研究。实验结果表明,采用对每个语句提取12维MFCC参数、9维基频派生参数和9维短时平均能量派生参数等作为特征参数集及使用高斯径向基函数支持向量机的方法,男、女声的口音识别率均超过93%。     

基于支持向量机的文本隐写分析

通过对自然文本统计模型和特性的分析,指出隐藏消息后可能对文本统计特性带来的变化,提出基子支持向量机的通用检测算法。将文本的5个基本统计特征量作为分类特征向量,采用支持向量机对自然文本和载密文本进行有效分类检测。实验结果证明,该算法具有较好的适用性和可靠性。     

支持向量机回归的参数选择方法

综合4种支持向量机回归的参数选择方法的优点,提出一种对训练样本进行分析并直接确定参数的方法。在标准测试数据集上的试验证明,该方法与传统网格搜索法相比,在时间和预测精度方面取得了更好的结果,可以较好地解决支持向量机在实际应用中参数难以选择、消耗时间长的问题。     

用于模式分类的支持向量机的研究

SVM在解决小样本、非线性及高维模式识别问题中表现出诸多特有的优势,结合模式分类,研究SVM的基本思想、训练算法及其应用,讨论海量样本数据的改进训练算法以及多类别分类方法等方面.     

医学图像决策支持系统中的SVM算法

支持向量机(SVM)方法是利用最优分类面(线)将两类样本在特征空间或输入空间中无错误地分开,而且要使两类的分类空隙最大。因此标准的SVM方法需要求解二次规划问题,计算量很大。该文以一个医学决策支持系统为应用背景,介绍一种解决该问题的新方法。在UCI数据集和所开发的决策支持系统上的应用表明,该算法简便可行,具有更高的精度和更快的速度。     

线性支持向量机优化问题的一种光滑算法

线性支持向量机的无约束优化模型的目标函数不是一个二阶可微函数,因此不能应用一些快速牛顿算法来求解。提出了目标函数的一种光滑化技巧,从而得到了相应的光滑线性支持向量机模型,并给出了求解该光滑线性支持向量机模型的Newton-Armijo算法,该算法是全局收敛的和二次收敛的。