基于L1-范数距离的最小二乘对支持向量机

最小二乘对支持向量机(LSTSVM)是一种有效的分类技术。然而,该方法需计算点到平面的平方L2-范数距离,从而易受野值或噪声的影响。为了缓解此问题,提出了一种有效的鲁棒 LSTSVM方法,即基于L1-范数距离的LSTSVM(LSTSVML1D)。该方法由于使 用L1范数作为距离度量,因此不易受到野值或噪声数据的影响。此外,设计了一种有效的迭代算法,旨在求解目标问题,并从理论上证明了其收敛性。在人工数据集和UCI数据集上验证了LSTSVML1D 的有效性。     

基于样本分布不平衡的近似支持向量机

针对标准的近似支持向量机（PSVM）没有考虑样本分布不平衡的问题,提出了一种新的PSVM算法-BPSVM,根据训练样本数量的不平衡对正负样本集分别分配了不同的惩罚因子,并将原始优化问题的惩罚因子由数值变更为一个对角阵,最后推导出了线性和非线性BPSVM的决策函数,实验结果表明：BPSVM的性能优于PSVM与SVM方法相比效率更高.     

基于加权近似支持向量机的文本分类研究

文本分类能够很好地帮助用户整理、获取信息,在提高信息检索的速度和准确率方面显得意义重大,具有很重要的研究价值.针对以往的近似支持向量机没有考虑不均衡数据的情况,提出了通过对每个训练错误赋予一个权值来改进近似支持向量机,并给出了一种简单的参数估计方法.实验结果表明,基于加权近似支持向量机的分类算法在处理不均衡数据时,样本数少的类别分类精度得到提高,性能表现良好.     

用于非平衡样本分类的近似支持向量机

针对标准的近似支持向量机(PSVM)没有考虑样本分布不平衡的问题,提出一种改进的PSVM算法(MPSVM).根据训练样本数量的不平衡对正负样本集分别分配不同的惩罚因子,并将原始优化问题中的惩罚因子由数值变更为一个对角阵.最后推导出线性和非线性MPSVM的决策函数,并将其与PSVM、非平衡的SVM的运算机理和性能进行比较.实验结果表明,MPSVM的性能优于PSVM,与非平衡SVM方法相比效率更高.     

鲁棒r-支持向量回归机中参数r 的选择研究

为使r-支持向量回归机更具鲁棒性．研究了r-支持向量回归机r-SVR中参数r与输入噪声之间的关系．将r-SVR的优化问题转换成最大后验估计问题．推导出r-SVR后验估计最大化的条件．得出了输入噪声为高斯分布时r-SVR中参数r与σ之间的近似线性反比关系．为已知输入高斯噪声方差σ时合理选择r提供了理论依据．     

改进的支持向量机分类算法

在研究了标准SVM分类算法后,本文提出了一种快速的支持向量机分类方法.该方法通过解决两类相关的SVM问题,找到两个非平行的平面,其中每个平面靠近其相应的类样本点,远离另一类样本点,最后通过这两个平面找到一个将两类样本分开的最优平面.在处理非线性情况下,引入一种快速核函数分类方法.使用该算法可以使分类的速度得到很大提高,针对实际数据集的实验表明了该算法的有效性.     

密度加权近似支持向量机

标准的近似支持向量机(PSVM)用求解正则化最小二乘问题代替了求解二次规划问题,它可以得到一个解析解,从而减少训练时间。但是标准的PSVM没有考虑数据集中正、负样本的分布情况,对所有的样本都赋予了相同的惩罚因子。而在实际问题中,数据集中样本的分布是不平衡的。针对此问题,在PSVM的基础上提出了一种基于密度加权的近似支持向量机(DPSVM),其先计算样本的密度指标,不同的样例有不同的密度信息,因此对不同的样例给予不同的惩罚因子,并将原始优化问题中的惩罚因子由数值变为一个对角矩阵。在UCI数据集上用这种方法进行了实验,并与SVM和PSVM方法进行了比较,结果表明,DPSVM在正负类样本分布不平衡的数据集上有较好的分类性能。     

高维数据的1-范数支持向量机集成特征选择

特征选择是机器学习和模式识别领域的关键问题之一.随着模式识别与数据挖掘的深入,研究对象越来越复杂,对象的特征维数也越来越高,此时特征选择的稳定性也显得尤为重要.分析了1-范数支持向量机,用该方法对高维数据进行特征选择,并对特征选择的结果进行集成;提出了一种针对高维数据的稳定性度量方法;在基因表达数据上的实验结果表明,集成特征选择可以有效提高算法的稳定性.     

一种双重正则化支持向量机的改进算法

针对L1范数支持向量机和L2范数支持向量机在分析部分小样本、高维数、变量高相关的数据时效果不理想的问题,在综合利用这2种支持向量机优点的基础上,提出一种双重正则化支持向量机的改进算法。通过正号函数和二次多项式损失函数将问题转化为可微的无条件约束优化问题,便于采用多种优化算法进行运算。实验结果证明,该改进算法可取得较好的分类准确率。     

基于Lagrangian支持向量机的机械手鲁棒自适应控制

提出了一种基于Lagrangian支持向量机的不确定机械手鲁棒自适应控制方法。Lagrangian支持向量机采用梯度投影法学习机械手系统的未知部分,来对机械手系统进行非线性补偿。根据Lyapunov稳定性理论设计自适应律进一步在线调整支持向量机的参数,并叠加一个滑模控制项,以保证控制系统的稳定性和鲁棒性。对两关节机械手的仿真结果证明了以上控制方法的有效性。     

L1范数正则化SVM聚类算法

提出L1范数正则化支持向量机(SVM)聚类算法。该算法能够同时实现聚类和特征选择功能。给出L1范数正则化SVM聚类原问题和对偶问题形式,采用类似迭代坐标下降的方法求解困难的混合整数规划问题。在多组数据集上的实验结果表明,L1范数正则化SVM聚类算法聚类准确率与L2范数正则化SVM聚类算法相近,而且能够实现特征选择。     

基于对支持向量机的多类分类算法在入侵检测中的应用

针对基于传统支持向量机(SVM)的多类分类算法在处理大规模数据时训练速度上存在的弱势,提出了一种基于对支持向量机(TWSVM)的多类分类算法。该算法结合二叉树SVM多类分类思想,通过在二叉树节点处构造基于TWSVM的分类器来达到分类目的。为减少二叉树SVM的误差累积,算法分类前首先通过聚类算法得到各类的聚类中心,通过比较各聚类中心之间的距离来衡量样本的差异以决定二叉树节点处类别的分离顺序,最后将算法用于网络入侵检测。实验结果表明,该算法不仅保持了较高的检测精度,在训练速度上还表现了一定优势,尤其在处理稍大规模数据时,这种优势更为明显,是传统二叉树SVM多类分类算法训练速度的近两倍,为入侵检测领域大规模数据处理提供了有效参考价值。     

求解双边加权模糊支持向量机的序贯最小优化算法

高的计算复杂度限制了双边加权模糊支持向量机在实际分类问题中的应用。为了降低计算复杂度,提出了应用序贯最小优化算法（SMO）解该模型,该模型首先将整个二次规划问题分解成一系列规模为2的二次规划子问题,然后求解这些二次规划子问题。为了测试SMO算法的性能,在三个真实数据集和两个人工数据集上进行了数值实验。结果表明：与传统的内点算法相比,在不损失测试精度的情况下,SMO算法明显地降低了模型的计算复杂度,使其在实际中的应用成为可能。     

结合支持向量机与半监督K-means的新型学习算法

半监督学习结合少量有标签样本和大量无标签样本,可以有效提高算法的泛化性能。传统的半监督支持向量机（SVM）算法在目标函数中引入无标签样本的依赖项来推动决策面通过低密度区域,但往往会带来高计算复杂度和局部最优解等问题。同时,半监督K-means算法面临着如何有效利用监督信息进行质心的初始化及更新等问题。针对上述问题,提出了一种结合SVM和半监督K-means的新型学习算法（SKAS）。首先,提出一种改进的半监督K-means算法,从距离度量和质心迭代两个方面进行了改进;然后,设计了一种融合算法将半监督K-means算法与SVM相结合以进一步提升算法性能。在6个UCI数据集上的实验结果表明,所提算法在其中5个数据集上的运行结果都优于当前先进的半监督SVM算法和半监督K-means算法,且拥有最高的平均准确率。     

局部关注支持向量机算法

针对训练数据集的不均衡性这一问题,结合采样方法和集成方法,提出一种集成支持向量机分类算法。该算法首先对不均衡的训练集进行非监督聚类;然后依靠其底层的局部关注支持向量机进行数据集局部划分,以精确把控数据集间的局部特征;最后通过顶层支持向量机进行分类预测。在UCI数据集上的评测结果显示,该算法与当前流行的算法（如基于采样的核化少数类过采样技术（K-SMOTE）、基于集成的梯度提升决策树（GTB）和代价敏感集成算法（AdaCost）等）相比,分类效果有明显提升,能在一定程度上解决数据集的不均衡问题。     

核向量机与支持向量机相结合的二阶段快速学习方法

支持向量机(SVM)作为一种有效的模式分类方法,当数据集规模较大时,学习时间长、泛化能力下降;而核向量机(CVM)分类算法的时间复杂度与样本规模无关,但随着支持向量的增加,CVM的学习时间会快速增长。针对以上问题,提出一种CVM与SVM相结合的二阶段快速学习算法(CCS),首先使用CVM初步训练样本,基于最小包围球(MEB)筛选出潜在核向量,构建新的最有可能影响问题解的训练样本,以此降低样本规模,并使用标记方法快速提取新样本;然后对得到的新训练样本使用SVM进行训练。通过在6个数据集上与SVM和CVM进行比较,实验结果表明,CCS在保持分类精度的同时训练时间平均减少了30%以上,是一种有效的大规模分类学习算法。     

基于信息浓缩的隐私保护支持向量机分类算法

支持向量机(SVM)的分类决策过程涉及到对原始训练样本的学习,容易导致数据中隐私信息的泄漏。为解决上述问题,提出一种基于信息浓缩的隐私保护分类方法IC-SVM。该算法首先根据样本的邻域信息,通过模糊C均值(FCM)聚类算法进行聚类分析;接着,使用信息浓缩准则对聚类中心进行处理,得到浓缩点组成的新样本;最后,使用新样本进行训练并得到决策函数,并用它去进行分类测试,可以较好地保护数据的隐私。在UCI真实数据和PIE人脸数据上的实验结果表明,IC-SVM方法既能保护数据信息的安全,又有较高的分类准确率。     

基于支持向量回归的单步多分类算法

分析了利用支持向量回归求解多分类问题的思想,提出了一种基于局部密度比权重设置模型的加权最小二乘支持向量回归模型来单步求解多分类问题：该方法先分别对类样本中每类样本利用局部密度比权重设置模型求出每个样本的权重隶属因子,然后运用加权最小二乘支持向量回归算法对所有样本进行训练,获得回归分类器。为验证算法的有效性,对UCI三个标准数据集以及一个随机生成的数据集进行实验,对比了多种单步求解多分类问题的算法,结果表明,提出的模型分类精度高,具有良好的鲁棒性和泛化性能。     

基于支持向量机的图像型火灾探测算法

针对传统火灾探测方法存在的不足,提出了一种基于支持向量机的图像型火灾探测算法,并与基于神经网络的图像型火灾探测算法做了比较。实验结果表明支持向量机克服了神经网络容易过学习、容易陷入局部极小点等不足,同时避免了人为设定特征量识别阈值时需要做大量实验和统计的复杂性。基于支持向量机的图像型火灾探测算法识别准确率高,对于小样本、高维数、非线性的分类问题效果显著。     

代价与样本相关的简约核支持向量机

针对机器学习领域中误分类代价与样本相关的情况,提出一种以最小化总代价为目标的样本相关代价敏感的简约核支持向量机sd2sSVM。首先,在GSVM框架下,将优化目标转换为无约束数学规划问题,再引入分段多项式平滑函数逼近正号函数,使用Newton-YUAN方法求无约束问题的唯一最优解,最后引入简约核提高解非线性问题的效率。实验结果表明,与传统的样本相关代价敏感支持向量机相比,sd2sSVM的分类精度、误分类代价相当,但训练时间、预测时间则更短。另外,讨论了参数C对sd2sSVM分类性能的影响。