增量式约简最小二乘孪生支持向量回归机

为了解决增量式最小二乘孪生支持向量回归机存在构成的核矩阵无法很好地逼近原核矩阵的问题,提出了一种增量式约简最小二乘孪生支持向量回归机(IRLSTSVR)算法。该算法首先利用约简方法,判定核矩阵列向量之间的相关性,筛选出用于构成核矩阵列向量的样本作为支持向量以降低核矩阵中列向量的相关性,使得构成的核矩阵能够更好地逼近原核矩阵,保证解的稀疏性。然后通过分块矩阵求逆引理高效增量更新逆矩阵,进一步缩短了算法的训练时间。最后在基准测试数据集上验证算法的可行性和有效性。实验结果表明,与现有的代表性算法相比,IRLSTSVR算法能够获得稀疏解和更接近离线算法的泛化性能。     

代价约束多核最小二乘支持向量机及其应用

针对多核最小二乘支持向量机(multiple kernel least squares support vector machine,MK-LSSVM)忽略了核函数的代价以及缺乏稀疏性的问题,提出了一种代价约束的稀疏多核最小二乘支持向量机方法.将MK-LSSVM的原始优化问题转化为二阶锥规划形式,引入核函数代价因子,约束复杂核函数的权重,以节约变量存储空间利计算时间,利用Schmidt 正交化理论约简核矩阵,进一步减小计算量,并根据支持向量的数目以及活动核函数的类型评估多核学习的总代价.测试数据集仿真结果表明,相比传统的MK-LSSVM,该方法利用更少的支持向量和更简单的组合核函数达到了相同的精度要求,代价更小.采用该方法预测浮选回收率的代价值降低了27.56.     

基于粗糙集与改进LSSVM的入侵检测算法研究

提出了基于粗糙集和改进最小二乘支持向量机的入侵检测算法。算法利用粗糙集理论的可辨识矩阵对样本属性进行约简,减少样本维数;利用稀疏化算法对最小二乘支持向量机进行改进,使其既具备稀疏化特性又具备快速检测的特点,提高了数据样本分类的准确性。结合算法不仅充分发挥粗糙集对数据有效约简和支持向量机准确分类的优点,同时克服了粗糙集在噪声环境中泛化性较差,支持向量机识别有效数据和冗余数据的局限性。通过实验证明,基于粗糙集和改进最小二乘支持向量机的入侵检测算法的检测精度高,误报率和漏报率较低,检测时间短,验证了算法的实效性。     

增量式约简拉氏非对称ν型孪生支持向量回归机

拉氏非对称ν型孪生支持向量回归机是一种泛化性能良好的预测算法,然而其并不适用于增量提供样本的场景。为此,提出了一种增量式约简拉氏非对称ν型孪生支持向量回归机（IRLAsy-ν-TSVR）算法。首先,引入正号函数,将有约束最优化问题转换成无约束最优化问题,并采用半光滑牛顿法在原始空间直接求解,以加快收敛速度。接着,利用矩阵求逆引理,实现半光滑牛顿法中Hessian矩阵求逆的高效增量更新,节省时间开销。然后,为了减少样本累积导致的内存消耗,使用约简技术分别筛选增广核矩阵的列向量和行向量以逼近原增广核矩阵,确保解的稀疏性。最后,在基准测试数据集上验证算法的可行性和有效性。结果表明,与一些代表性算法相比,IRLAsy-ν-TSVR算法继承了离线算法的泛化性能,能够获得稀疏解,更适合大规模数据集的在线学习。     

弹性多核学习

多核学习 (MKL) 的提出是为了解决多个核矩阵的融合问题, 多核学习求解关于多个核矩阵的最优的线性组合并同时解出对应于这个组合矩阵的支持向量机(SVM)问题. 现有的多核学习的框架倾向于寻找稀疏的组合系数, 但是当有信息的核的比例较高的时候, 对稀疏性的倾向会使得只有少量的核被选中而损失相当的分类信息. 在本文中, 我们提出了弹性多核学习的框架来实现自适应的多核学习. 弹性多核学习的框架利用了一个混合正则化函数来均衡稀疏性和非稀疏性, 多核学习和支持向量机问题都可以视作弹性多核学习的特殊情形. 基于针对多核学习的梯度下降法, 我们导出了针对弹性多核学习的梯度下降法. 仿真数据的结果显示了弹性多核学习方法相对多核学习和支持向量机的优势; 我们还进一步将弹性多核学习应用于基因集合分析问题并取得了有意义的结果; 最后, 我们比较研究了弹性多核学习与另一种利用了非稀疏思想的多核学习.     

基于核函数的支持向量机样本选取算法

使用支持向量机求解大规模数据分类需要较大内存来存储Hessian矩阵,而矩阵的大小则依赖于样本数1,因此在一定程度上导致支持向量机分类效率及质量难以提高.考虑到只有成为支持向量的样本才对决策函数起作用,为了减少训练样本时所需空间及时间开销,提高支持向量机分类效率与质量,提出了一种基于核函数的样本选取算法.该算法通过选取最大可能成为支持向量的样本,以达到减少训练时存储Hessian矩阵所需空间及时间开销的目的.实验结果表明,该算法所筛选出的样本不仅可以提高样本训练准确率,而且可以提高分类计算速度和减少存储空间开销.     

基于特征贡献度加权高斯核函数的粗糙one-class支持向量机

粗糙one-class支持向量机(ROCSVM)是一种一类支持向量机,它通过核函数映射,定义上近似超平面和下近似超平面,使得训练样本能根据在粗糙间隔中的位置,自适应地对决策超平面产生影响.由于ROCSVM训练集只有正类样本,因此充分挖掘和利用训练样本的分类特征对于提高ROCSVM的分类性能有重要意义.为此,提出了一种基于训练样本分类特征贡献度的加权高斯核函数(λRBF):先对训练样本做主成分分析(PCA)得到按特征值排序的向量集,以此向量集构造核函数,使得特征值较大的维度在核函数中起较大的作用.在UCI标准数据集和仿真数据上的实验结果表明:与一般RBF的ROCSVM相比,基于λ-RBF的ROCSVM有着更好的泛化性和更高的识别率.     

基于约简核矩阵的稀疏最小二乘支持向量机

为了解决最小二乘支持向量机模型稀疏性不足的问题,提出了一种约简核矩阵的LS-SVM稀疏化方法.按照空间两点的欧式距离寻找核矩阵中相近的行(列),并通过特定的规则进行合并,以减小核矩阵的规模,进而求得稀疏LS-SVM模型.以高斯径向基核函数为例,详细阐述了改进方法的实现步骤,并通过仿真表明了采用该方法求得的稀疏LS-SVM模型泛化能力良好.     

基于正则化路径的支持向量机近似模型选择

模型选择问题是支持向量机的基本问题.基于核矩阵近似计算和正则化路径,提出一个新的支持向量机模型选择方法.首先,发展初步的近似模型选择理论,包括给出核矩阵近似算法KMA-α,证明KMA-α的近似误差界定理,进而得到支持向量机的模型近似误差界.然后,提出近似模型选择算法AMSRP.该算法应用KMA-α计算的核矩阵的低秩近似来提高支持向量机求解的效率,同时应用正则化路径算法来提高惩罚因子C参数调节的效率.最后,通过标准数据集上的对比实验,验证了AMSRP的可行性和计算效率.实验结果显示,AMSRP可在保证测试集准确率的前提下,显著地提高支持向量机模型选择的效率.理论分析与实验结果表明,AMSRP是一合理、高效的模型选择算法.     

改进的最小二乘支持向量机在入侵检测系统中的应用

介绍最小二乘支持向量机的基本原理论．提出基于最小二乘支持向量机的网络入侵检测系统模型。由于计算经验风险的损失函数为二次函数形式．LSSVM丧失了标准支持向量机的稀疏性,为使LSSVM具有稀疏性,从统计分析的角度出发,应用主成分分析的方法,对样本集进行特征提取,消除变量间的相关性。选取训练样本中分类作用最大的若干样本个体作为支持向量,并将非支持向量上的分类信息转移至支持向量上．提出新的LSSVM稀疏化算法——基于主成分分析的最小二乘支持向量机算法。实验结果表明,由此构建的稀疏LSSVM分类器保持了支持向量机的良好分类性能．而稀疏率相对高,其支持向量数甚至少与标准支持向量机,明显提高了LSSVM的分类效率和实时性。     

基于核函数的构造型网络二分覆盖算法

该文首先介绍了构造型神经网络中的覆盖算法的特点和性质,以及与支持向量机(SVM)中的核函数法的关系。然后,根据这些性质将两者有机结合起来,提出了一种处理多类问题分类的基于核函数的二分覆盖分类算法(Kf-BCC)。仿真结果表明,这种方法可以达到很好的效果,也为多类问题的分类提供了一种有效途径。     

SVM在多源遥感图像分类中的应用研究

在利用遥感图像进行土地利用/覆盖分类过程中,可采用以下两种途径来提高分类精度:一是通过增加有利于分类的数据源,引入地理辅助数据和归一化植被指数(NDVI)来进行多源信息融合;二是选择更好的分类方法,例如支持向量机(SVM)学习方法,由于该方法克服了最大似然法和神经网络的弱点,非常适合高维、复杂的小样本多源数据的分类。为了提高多源遥感图像分类的精度,还研究了支持向量机在遥感图像分类中模型的选择,包括多类模型和核函数的选择。分类结果表明,支持向量机比传统的分类方法具有更高的精度,尤其是基于径向基核函数和一对一多类方法的支持向量机模型更适合多源遥感图像分类,因此,基于支持向量机的多源土地利用/覆盖分类能大大提高分类精度。     

Imbalanced data classification based on scaling kernel-based support vector machine

In many classification problems, the class distribution is imbalanced. Learning from the imbalance data is a remarkable challenge in the knowledge discovery and data mining field. In this paper, we propose a scaling kernel-based support vector machine (SVM) approach to deal with the multi-class imbalanced data classification problem. We first use standard SVM algorithm to gain an approximate hyperplane. Then, we present a scaling kernel function and calculate its parameters using the chi-square test and weighting factors. Experimental results on KEEL data sets show the proposed algorithm can resolve the classifier performance degradation problem due to data skewed distribution and has a good generalization.     

基于支撑向量机的航空发动机故障诊断研究进展

支撑向量机因其适用于多参数、小样本的非线形问题,是一种极具潜力的航空发动机故障诊断方法。在分析基于支撑向量机的航空发动机故障诊断研究进展的基础上,对若干需要进一步研究的问题,如核函数的参数选择、核函数的选择、多类故障的分类策略以及SVM算法的优化进行探讨。     

Proximal gradient method for huberized support vector machine

The support vector machine (SVM) has been used in a wide variety of classification problems. The original SVM uses the hinge loss function, which is non-differentiable and makes the problem difficult to solve in particular for regularized SVMs, such as with \(\ell _1\)-regularization. This paper considers the Huberized SVM (HSVM), which uses a differentiable approximation of the hinge loss function. We first explore the use of the proximal gradient (PG) method to solving binary-class HSVM (B-HSVM) and then generalize it to multi-class HSVM (M-HSVM). Under strong convexity assumptions, we show that our algorithm converges linearly. In addition, we give a finite convergence result about the support of the solution, based on which we further accelerate the algorithm by a two-stage method. We present extensive numerical experiments on both synthetic and real datasets which demonstrate the superiority of our methods over some state-of-the-art methods for both binary- and multi-class SVMs.     

支持向量机分类器遥感图像分类研究

SVM分类器核函数的选择以及参数的设置直接影响系统的泛化能力和运行速度。引入交叉验证技术和栅格搜索技术,对径向基核、多项式核和Sigmoid核函数应用于图像多类别分类的性能进行理论推导、测试及分析,求得三种核函数应用于SVM分类器的性能,并证明了栅格搜索寻找最优参数的有效性。最后通过对TM 6波段BSQ格式遥感图像进行分类对比证明了SVM分类器核函数用于TM图像分类的可行性及高效性。     

基于SVM的多类别轨迹的分类方法

轨迹分析是解决视觉监控系统中异常检测问题的重要途径.文章将对轨迹进行采样得到的坐标点集作为特征向量,利用SVM训练分类器,并采用一对一算法实现多类别轨迹的分类.实验结果表明,该方法能够满足SVM中核函数对于输入数据的要求,并实现对多类别轨迹的有效分类.     

正则化FDA的核化及与SVM的比较研究*

无论是Fisher判别分析（FDA）还是基于核的FDA（KFDA）,在小样本情况下都会面临矩阵的病态问题,正则化技术是解决该问题的有效途径。为了便于研究正则化FDA与支持向量机（SVM）的关系,推导了一种正则化FDA的核化算法。将约束优化问题转换为对偶的优化问题,得到了与SVM相似的形式,分析了该核化算法与SVM的联系。针对Tenessee-Eastman(TE)过程的故障诊断结果表明,正则化KFDA的诊断效果明显好于LS-SVM。     

Methods for the combination of kernel matrices within a support vector framework

The problem of combining different sources of information arises in several situations, for instance, the classification of data with asymmetric similarity matrices or the construction of an optimal classifier from a collection of kernels. Often, each source of information can be expressed as a similarity matrix. In this paper we propose a new class of methods in order to produce, for classification purposes, a single kernel matrix from a collection of kernel (similarity) matrices. Then, the constructed kernel matrix is used to train a Support Vector Machine (SVM). The key ideas within the kernel construction are twofold: the quantification, relative to the classification labels, of the difference of information among the similarities; and the extension of the concept of linear combination of similarity matrices to the concept of functional combination of similarity matrices. The proposed methods have been successfully evaluated and compared with other powerful classifiers and kernel combination techniques on a variety of artificial and real classification problems.     

联合OC-SVM和MC-SVM的图像来源取证方法

为了解决现有图像来源取证方法在相机样本较多时准确性较差、无法对未知模型的图像来源取证以及可扩展性差的问题,提出了一种基于一类和多类支持向量机联合的图像来源取证方法.算法利用协方差的统计相关性提高了CFA插值系数的估计精度,并以SFFS算法选择的特征作为分类器输入.采用OC-SVM(一类支持向量机)和MC-SVM(多类支持向量机)联合的策略进行图像来源分类,有效地解决了对未知模型图像来源的鉴别问题以及可扩展性差的问题.实验表明,该方法对28种相机拍摄的图像进行来源取证,能够达到平均90.4%的鉴别正确率,同时对于3种训练模型以外的未知相机模型拍摄图像,能够达到平均79.3%的检测正确率.