基于样本分布不平衡的近似支持向量机

针对标准的近似支持向量机（PSVM）没有考虑样本分布不平衡的问题,提出了一种新的PSVM算法-BPSVM,根据训练样本数量的不平衡对正负样本集分别分配了不同的惩罚因子,并将原始优化问题的惩罚因子由数值变更为一个对角阵,最后推导出了线性和非线性BPSVM的决策函数,实验结果表明：BPSVM的性能优于PSVM与SVM方法相比效率更高.     

密度加权近似支持向量机

标准的近似支持向量机(PSVM)用求解正则化最小二乘问题代替了求解二次规划问题,它可以得到一个解析解,从而减少训练时间。但是标准的PSVM没有考虑数据集中正、负样本的分布情况,对所有的样本都赋予了相同的惩罚因子。而在实际问题中,数据集中样本的分布是不平衡的。针对此问题,在PSVM的基础上提出了一种基于密度加权的近似支持向量机(DPSVM),其先计算样本的密度指标,不同的样例有不同的密度信息,因此对不同的样例给予不同的惩罚因子,并将原始优化问题中的惩罚因子由数值变为一个对角矩阵。在UCI数据集上用这种方法进行了实验,并与SVM和PSVM方法进行了比较,结果表明,DPSVM在正负类样本分布不平衡的数据集上有较好的分类性能。     

改进的PSVM及其在非平衡数据分类中的应用

标准近似支持向量机(PSVM)没有考虑非平衡分布数据的分类问题,为此,在PSVM的基础上,将优化问题中的惩罚因子由数值变更为一个对角阵,提出了一种改进的PSVM算法。该方法利用引入的对角阵对正负样本分别分配不同的惩罚因子,由于其任意性,使得该算法可以解决由多种因素引起的分布不平衡的分类问题,稳健性较好。利用实值免疫克隆算法实现了模型参数的自动选择,进一步提高了算法的泛化性能。实验结果表明新算法对于处理分布不平衡数据的分类问题相当有效。     

用于处理不平衡样本的改进近似支持向量机新算法

近似支持向量机(PSVM)在处理不平衡样本时,会过拟合样本点数较多的一类,低估样本点数较少的类的错分误差,从而导致整体样本的分类准确率下降。针对该问题,提出一种用于处理不平衡样本的改进的PSVM新算法。新算法不仅给正、负类样本赋予不同的惩罚因子,而且在约束条件中新增参数,使得分类面更具灵活性。该算法先对训练集训练获得最优参数,然后再对测试集进行训练获得分类超平面,最后输出分类结果。UCI数据库中9组数据集的实验结果表明:新算法提高了样本的分类准确率,在线性的情况下平均提高了2.19个百分点,在非线性的情况下平均提高了3.14个百分点,有效地提高了模型的泛化能力。     

增量密度加权近似支持向量机

近似支持向量机((PSVM)是一个正则化最小二乘问题,有解析解,但是它失去了支持向量机(SVM)的稀疏 性,使得所有的训练样例都成为支持向量。为了有效地控制近似支持向量机的稀疏性,提出了增量密度加权近似支持 向量机(mWPSVM),它在训练集中选取最基本的支持向量。实验表明,IvWPSVM方法与SVM, PSVM和DWPS- VM方法相比,其精度相似,收敛速度快,可有效地控制近似支持向量机的稀疏性。     

多任务学习的不平衡SVM+算法

处理不平衡数据分类时,传统支持向量机技术（SVM）对少数类样本识别率较低。鉴于SVM+技术能利用样本间隐藏信息的启发,提出了多任务学习的不平衡SVM+算法（MTL-IC-SVM+）。MTL-IC-SVM+基于SVM+将不平衡数据的分类表示为一个多任务的学习问题,并从纠正分类面的偏移出发,分别赋予多数类和少数类样本不同的错分惩罚因子,且设置少数类样本到分类面的距离大于多数类样本到分类面的距离。UCI数据集上的实验结果表明,MTL-IC-SVM+在不平衡数据分类问题上具有较高的分类精度。     

一种改进的多类支持向量机超光谱图像分类方法

支持向量机(SVM)是建立在统计学理论基础上的一种机器学习方法,用于解决二类分类问题,如何有效地将其推广到多类分类问题是一个正在研究的课题.总结了现有的主要的支持向量机多类分类算法,并在1-a-1 SVM分类算法基础上提出一种二次分类的方法.改良了惩罚因子,提高了不易分的类别之间的可分程度.通过对超光谱图像进行分类实验,结果表明该方法具有较高的分类精度.     

一种基于互信息的模糊粗糙分类特征基因快速选取方法

目前,支持向量机技术(SVM)在遥感信息获取中普遍受到参数选择不准确和小样本问题的制约。针对这些问题, 提出一种新的半监督集成SVM(EPS3VM)分类模型。模型一方面利用自适应变异粒子群优化算法对SVM参数寻优以提高基分类器精度(PSVM);另一方面采用自训练算法(Self-training),充分利用大量廉价的未标记样本产生性能差异的半监督分类器个体(PS3VM),其中,在未标记样本标注过程中,引入模糊聚类算法(Gustafson-kessel)来控制错误类别的输入,最后对个体分类器采用加权集成策略,以进一步提高分类模型的泛化能力。为了测试其性能,应用该模型进行多光谱遥感影像的土地覆盖分类实验,并与PSVM、PS3VM进行对比,分类精度从PSVM的88.48%提高到96.88%,Kappa系数由0.8546提高到0.9606。结果表明,EPS3VM在克服传统SVM参数选择不准确的同时,有效地应对了小样本问题,分类性能更优。     

Proximal SVM在脑功能分类中的应用研究

为了研究PSVM分类器用于脑功能识别的有效性与优越性,对脑功能识别做出了深入的研究和分析。采用三名受试者在睁眼和闭眼状态下的脑电实测数据,从不同角度深入分析和比较了PSVM分类器与标准SVM分类器的性能,主要衡量指标为识别率和训练时间。结果PSVM分类器优于标准SVM分类器之处在于,在保证识别率的同时,计算速度有了显著地提高。并且随着样本维数的增加,PSVM分类器的计算速度并没有下降。PSVM用于脑电信号功能识别是高效率的,这对今后的有实时要求的脑功能分类识别问题具有重要意义。     

基于社会力模型算法的SVM参数优化

为了解决支持向量机(SVM)参数优化的问题,提出一种改进的基于社会力模型群智能优化算法SFSO(Swarm Optimization algorithm based on Social Force Model)的SVM参数优化方法。SFSO通过期望力和排斥力使算法在全局搜索和局部搜索中能够较好的平衡,利用SFSO特有的搜索机制对SVM的惩罚因子和径向基函数进行优化,提高SVM的分类性能。通过对几个benchmark函数和常用的UCI数据集进行测试表明:改进后的SFSO算法不仅对于求解函数优化问题具有较强的鲁棒性和较高的求解精度,而且经改进SFSO算法优化后的SVM具有更快的收敛速度和更高的分类准确率。