基于MTC结构的支持向量机并行训练算法 贾华丁1, 2,游志胜1,王磊2

摘要：为加快支持向量机的训练速度,提出一种新型的“多重三叉级联(MTC)”学习结构,具有反馈速度快、计算节点利用率高、反馈的支持向量多等优点。基于该结构设计了支持向量机的并行训练算法,并严格证明了新算法能够收敛到支持向量机的最优解。数值实验结果表明,新算法具有非常高的加速比和并行效率,需要的训练时间显著地少于Graf等提出的Cascade SVM算法。     

一种基于多支持向量机分类器的并行学习算法

为了在并行计算系统中应用支持向量机,提出一种基于多支持向量机分类器的并行学习算法.分析了w-model算法的不足,并在训练过程中采用循环式反馈更新各支持向量机分类器以避免样本的分布状态对各分类器性能的影响,提高各分类器的训练精度.学习过程以平均分类精度为阈值,对部分分类器重新训练,实现对多分类器学习系统性能的全局优化.在UCI标准测试数据集上进行的实验结果表明,循环式反馈能有效地平衡多分类器学习性能相差过大的问题,算法较w-model具有更高的训练效率和分类效率.     

鲁棒支持向量机及其稀疏算法

基于非凸光滑损失的鲁棒支持向量机分类模型对异常点具有鲁棒性,但已有求解算法需迭代求解二次规划,计算量大且收敛速度慢,不适合训练大规模数据问题。为了克服这些缺点,首先给出收敛速度更快的方法求解鲁棒支持向量机模型;然后基于最小二乘的思想,提出了一种推广的指数鲁棒最小二乘支持向量机模型及其快速收敛的求解算法,并从理论上解释了模型的鲁棒性;最后利用核矩阵的低秩近似,提出了适于处理大规模训练问题的稀疏鲁棒支持向量机算法和稀疏指数鲁棒最小二乘支持向量机算法。实验结果表明,新算法在收敛速度、测试精度和训练时间等方面均优于相关算法。     

支持向量机的快速分类算法

支持向量机（SVM）算法在训练集的规模很大特别是支持向量很多时,支持向量机的学习过程需要占用大量的内存,算法的速度较慢。为此,笔者提出一种新的SVM快速分类算法。该算法通过选择边界向量,构造新的训练样本,减少了参与训练的样本数目。实验证明,该算法不仅能保证原算法的精度,具有良好的推广能力,而且提高了算法的速度。     

一种可减少训练时间的分层并行支持向量机方法

基于支持向量的本质和并行计算方法,提出了一种新的分层并行的机器学习方法以加速支持向量机的训练过程．该方法首先按照分而治之的思想将原分类问题分成若干子问题．然后将支持向量机的训练过程分解成级联的两个层次,在每层采用并行的方法训练各个子支持向量机．各层训练集中的非支持向量被逐步筛选掉,交叉合并的规则保证问题的一致性．仿真结果表明该方法在保证分类器推广能力的同时,缩短了训练支持向量机的时间．     

最小二乘支持向量机的半监督学习算法

将最小二乘支持向量机引入到半监督学习中,提出了一种最小二乘支持向量机的半监督学习算法.采用最小二乘支持向最机训练混合样本集,利用最小二乘支持向量机训练速度快、效率高等优点有效地克服了目前一些半监督支持向量机学习算法时间代价大、效率低的缺陷.在训练过程中采用区域标注法,减少达到收敛所需要的迭代次数,并给出了SLS-SVM算法具体的数学描述.在人造数据集及实际数据集上的实验表明,最小二乘支持向量机的半监督学习算法可以有效的减少训练时问,提高训练的速度,从而具有更好的推广能力.     

基于Fisher向量投影的支持向量机增量算法

针对支持向量机训练样本冗余导致训练效率低下的问题,提出一种基于Fisher向量投影的支持向量机增量算法。该算法根据支持向量机中支持向量的分布特性对初始训练集及增量集进行预处理,减少训练样本个数;通过判断初始样本是否满足新增样本集的卡罗需-库恩-塔克(Karush-Kuhn-Tucker conditions,KKT)条件,剔除对最终结果无用的样本,减少参与训练的样本数目。实验结果表明,与标准支持向量机算法和基于向量投影的支持向量机增量算法相比,基于Fisher向量投影的支持向量机增量算法的训练速度分别提升了86%和33%左右。该方法可用于大规模样本集的分类识别问题。     

一种改进的支持向量机E-SVM算法

在文本分类中,应用支持向量机(SVM)算法能使分类在小样本的条件下具有良好的泛化能力,但支持向量机的参数取值决定了其学习性能和泛化能力.为提高支持向量机算法的性能,提出了一种支持向量机优化算法E-SM,引入信息熵来表征惩罚系数C,提出了加权系数,算法实现了SVM训练过程中参数的智能化,减少了对支持向量机参数选择的盲目性,减少了部分训练样本集数目,提高了SVM性能.实验表明,E-SVM算法较传统算法具有更好的分类精度和时间效率.     

基于支持向量机和相关反馈技术的肿块检测算法

为了避免由于乳腺中的致密组织与肿块类似的特征表现而造成的肿块检测精度不高,设计了基于典型特征的支持向量机分类器对提取出的感兴趣区域进行分类,并引入了相关反馈算法以进一步提高分类器的性能,提出了一种新的基于支持向量机和相关反馈技术的乳腺图像中肿块的检测方案．通过对大量乳腺图像的仿真实验显示,基于典型特征的支持向量机分类器能够将无特征支持向量机分类器的检出率提高约5%,而相关反馈技术的引入则使系统的检出率进一步提高到约90%．     

基于单类支持向量机的工业控制系统入侵检测

针对工业控制系统数据非线性、高纬度和不平衡等难题,本文从提高工业控制系统入侵检测的准确性入手,结合单类支持向量机算法,提出一种单类支持向量机异常检测方法。该方法在核主成分分析过程中加入Fisher-Score算法,实现了对数据集的特征提取,降低了后续单类支持向量机入侵检测模型训练和识别的复杂度;同时加入免疫克隆选择和协同进化等策略,采用分层协同免疫粒子群参数优化算法对单类支持向量机参数进行寻优,增强算法的综合性能,解决了基本粒子群算法在单类支持向量机参数寻优过程中存在的易陷入早熟收敛和局部最小值等问题;最后构建了基于优化后的单类支持向量机算法的入侵检测模型,并进行对比实验验证。实验结果表明：优化后的检测模型在训练时间、学习泛化能力和检测性能上都有明显提升。     

并行PSVM算法及其在入侵检测中的应用(英文)

基于并行PSVM(proximal support vector machine)分类法,利用ε-支持向量与原数据集等价的特点,将PSVM和cascade SVM模型高效结合,加速训练入侵数据集.提出一种新的PSVM增量学习方法,它能快捷更新分类器.通过大量基于著名的KDD CUP1999数据集实验,研究表明,该算法相对其他SVM方法,在保证较高检测率和较低误报率的同时,其训练时间降低80%,且能通过增量学习新数据集来有效更新分类器.     

改进的球结构SVM多分类增量学习算法

针对球结构支持向量机(support vector machine,SVM)增量学习算法在训练时间和分类精度上的不足,提出了一种改进的球结构SVM多分类增量学习算法.该算法首先构造一个完全二叉树用于多类分类;分析新增样本的加入对原支持向量集的影响,将新增样本集中部分样本和原始训练集中的支持向量以及分布在球体一定范围内的样本合并做为新的训练集,完成分类器的重构.实现通过减少训练样本缩短训练时间和完善分类器提高分类精度的目的.通过UCI标准数据集实验,结果表明,该算法在所需训练的样本数、训练时间以及准确率3方面都优于球结构SVM增量学习算法,尤其当样本分布不平衡时,该算法有更高的分类准确率.     

基于壳向量的线性支持向量机快速增量学习算法

提出了一种新的基于壳向量的增量式支持向量机快速学习算法.在增量学习的过程中，利用训练样本集中的几何信息，在样本中选取一部分最有可能成为支持向量的样本--壳向量，它是支持向量集的一个规模较小的扩展集，将其作为新的训练样本集，再进行支持向量训练.这在很大程度上减少了求取支持向量过程中的二次优化运算时间，使增量学习的训练速度大为提高.与单纯使用支持向量代表样本数据集合进行增量学习的传统算法相比，使用该算法使分类精度得到了提高.针对肝功能检测标准数据集（BUPA）的实验验证了该算法的有效性.     

基于稀疏核偏最小二乘法的短期负荷预测研究

支持向量机方法已成功地应用在负荷预测领域,但它在训练数据时存在数据处理量太大、处理速度慢等缺点。为此提出了一种基于稀疏核偏最小二乘法的预测方法,通过在高维特征空间的稀疏化,可减少在训练过程中的数据量,从而提高预测的速度和精度,将该方法应用于短期负荷预测中,与SVM方法相比,得到了较高的预测精度。     

一种基于支持向量机的目标定位方法

为了提高声纳在浅水域的性能，提出了一种基于统计学习理论的目标识别器的目标定位方法.该方法选择支持向量机（SVM）作为学习算法的核心.从已知训练样本得到多通道数据的协方差矩阵，将得到的矩阵转化为SVM的输入多维特征向量，并训练SVM而获得权向量.利用此权向量和SVM输出估计，可以得到目标位置信息.理论推导和仿真结果表明，与多重信号分类（MUSIC）算法相比较，该方法具有高的定位精度和快的收敛速度.该方法能有效地对在平面波模型下的目标进行测向，并具有鲁棒性.     

膨胀土等级判别的遗传支持向量机多分类方法

针对支持向量机模型中的参数难以确定的状况,提出了遗传支持向量机方法,即利用遗传算法来搜索支持向量机与核函数的参数,避免了人为选择参数的盲目性,同时提高了支持向量机的推广预测能力,并将该方法应用于膨胀土胀缩等级的判别分类问题。考虑影响膨胀土判别的重要因素,选用液限、胀缩总率、塑性指数、天然含水量和自由膨胀率5个指标作为模型的判别因子,以4类膨胀土胀缩等级作为相应的输出,以膨胀土实测数据作为学习样本进行训练,建立相应分类函数对待判样本进行分类。研究结果表明：遗传支持向量机模型分类性能良好,预测精度高,是膨胀土胀缩等级分类的一种有效方法,可以在实际工程中进行推广。     

基于改进粒子群优化算法和CRNN的多类SVM分类

为了提高支持向量机(SVM)在多类分类中的分类效果,提出了一种基于改进粒子群优化(IMPSO)算法和协作式递归神经网络(CRNN)的多类SVM分类方法(IMPSO_CRNN_SVM算法).首先引入自适应惯性权重及自适应粒子变异,以此改进粒子群优化算法(PSO)在优化SVM参数过程中存在的容易陷入局部最优和早熟等问题; 然后基于多类SVM设计一个CRNN,并利用随机分配的训练集对该网络进行训练并构建最终决策函数,从而实现多类数据的“一次性”分类.最后利用3种数据集和实际应用对IMPSO_CRNN_SVM算法进行验证,结果表明IMPSO_CRNN_SVM算法的分类精度优于未进行参数优化的传统SVM算法、基本PSO 进行SVM参数优化的算法和未进行PSO参数优化的基于CRNN的多类支持向量机算法,因此IMPSO_CRNN_SVM算法具有一定的实用性.     

基于支持向量AAM迭代学习的性别分类算法

为了提高性别检测的精度，提出了一种支持向量机（SVM）与主动外观模型（AAM）相结合的迭代学习算法.采用AAM对初始训练样本建模，在此基础上构造SVM分类器.在当前迭代过程所产生的支持向量中随机选择不同性别的样本，对其AAM参数线性插值而生成一系列伪样本，并从中选取被当前分类器误分类或正确分类但分类可信度低的样本参与下次迭代学习.实验结果表明，采用该算法所构造的伪样本是初始训练样本的有效补充，提出的伪样本选择方案优于传统的Bootstrap方法，迭代学习方法逐步提高了性别分类器的检测精度.     

基于模糊k近邻的样本预选取的支持向量机分类算法

在支持向量机（SVM）方法中采用模糊☆近邻方法进行样本预选取,旨在保留最优分类超平面附近的样本点,去除远处样本点,使训练样本集减小,消除冗余,从而减小所需内存．实验结果表明,该方法无论是训练速度还是分类精度都远远好于单独的SVM分类器．     

一种改进的双支持向量机

双支持向量机是近年提出的一种新的支持向量机。在处理模式分类问题时,双支持向量机速度远远超过传统支持向量机,而且显示出较好的推广能力。但双支持向量机没有考虑不同输入样本点可能会对分类超平面的形成产生不同影响,在某些实际问题中具有局限性。为了克服这个缺点,提出了一种基于模糊隶属度的双支持向量机。该算法设计了一种基于距离的模糊隶属度函数,给不同的训练样本赋予不同的模糊隶属度,构建两个最优非平行超平面,最终实现二值分类。实验结果表明,这种改进双支持向量机的分类性能优于传统的双支持向量机。