经典线性算法的非线性核形式

经典线性算法的非线性核形式是近10年发展起来的一类非线性机器学习技术．它们最显著的特点是利用满足Mercer条件的核函数巧妙地推导出线性算法的非线性形式。并表述为与样本数目有关、与维数无关的优化问题．为了提高数值计算的稳定性、控制算法的推广能力以及改善迭代过程的收敛性。部分算法还采用了正则化技术．在概述核思想与核函数、正则化技术的基础上,系统地介绍了经典线性算法的非线性核形式,同时分析它们的优缺点,井讨论了进一步发展的方向．     

正则化最小二乘分类的AlignLoo模型选择方法

正则化最小二乘分类（RLSC）是一种基于二次损失函数的正则化网络,其推广能力受模型参数影响,传统的模型选择方法是耗时的参数网格搜索．为此,提出一种新颖的AlignLoo模型选择方法,其关键在于将核参数与超参数分开优化,即最大化核-目标配准以选择最优核参数,最小化RLSC的留一法误差的界以选择最优超参数．该方法效率高且不需验证样本,并在IDA数据集上进行了测试,结果表明方法有效．     

中心向量夹角间隔正则化核向量机

针对大数据集如何有效地进行训练的问题,基于最大向量夹角间隔分类器(maximum vector-angular margin classifier,MAMC),提出了求解最优向量d的不同方法来得到中心向量夹角间隔分类器(central vector-angular margin classifier,CAMC),进而证明了CAMC等价于最小包围球问题(minimum enclosed ball,MEB).但是鉴于MEB对参数的敏感性,又提出了正则化核向量机(regularized core vector machine,RCVM),将CAMC与RCVM结合得到中心向量夹角间隔正则化核向量机(regularized core vector machine with central vector-angular margin,CAMCVM).基于基准数据集的实验表明,CAMC具有更好的分类性能且CAMCVM可以有效快速地训练大规模数据集.     

正则化FDA的核化及与SVM的比较研究*

无论是Fisher判别分析（FDA）还是基于核的FDA（KFDA）,在小样本情况下都会面临矩阵的病态问题,正则化技术是解决该问题的有效途径。为了便于研究正则化FDA与支持向量机（SVM）的关系,推导了一种正则化FDA的核化算法。将约束优化问题转换为对偶的优化问题,得到了与SVM相似的形式,分析了该核化算法与SVM的联系。针对Tenessee-Eastman(TE)过程的故障诊断结果表明,正则化KFDA的诊断效果明显好于LS-SVM。     

正定矩阵支持向量机正则化路径算法

正则化路径算法是数值求解支持向量机 (support vector machine, SVM)分类问题的有效方法,它可在相当于一次SVM求解的时间复杂度内得到所有的正则化参数及对应SVM的解.现有的SVM正则化路径算法或者不能处理具有重复数据、近似数据或线性相关数据,或者计算开销较大.针对这些问题,应用正定矩阵方程组求解方法来求解SVM正则化路径,提出正定矩阵SVM正则化路径算法(positive definite SVM path, PDSVMP).PDSVMP算法将迭代方程组的系数矩阵转换为正定矩阵,并采用Cholesky分解方法求解路径上各拐点处Lagrange乘子增量向量;与已有算法中直接求解正则化参数不同,该算法根据活动集变化情况确定参数增量,并在此基础上计算正则化参数,这样保证了理论正确性和数值稳定性,并可降低计算复杂性.实例数据集及标准数据集上的实验表明,PDSVMP算法可正确处理包含重复数据、近似数据或线性相关数据的数据集,并具有较高的计算效率.     

一种双重正则化支持向量机的改进算法

针对L1范数支持向量机和L2范数支持向量机在分析部分小样本、高维数、变量高相关的数据时效果不理想的问题,在综合利用这2种支持向量机优点的基础上,提出一种双重正则化支持向量机的改进算法。通过正号函数和二次多项式损失函数将问题转化为可微的无条件约束优化问题,便于采用多种优化算法进行运算。实验结果证明,该改进算法可取得较好的分类准确率。     

基于流形正则化的分类与回归算法及应用

利用流形正则化的思想,围绕半监督学习,提出了一种针对流形正则化的模式分类和回归分析的新算法.该算法基于流形上的正则化项和传统的正则化项相结合的方法,利用支持向量机分类与回归已有的结果,解决半监督学习的分类与回归问题,提高了泛化能力.该算法实现简单,无需调用其他程序.通过数值试验,验证了该算法具有较好的泛化能力,对噪音具有较强的鲁棒性.且在分类问题上,该算法在输入极少数有标签样本时,也能保持较好的分类效果;在回归问题上,也具有较好的学习精度,尤其在输入带有噪音的流形数据上时,表现就更为突出.     

L1范数正则化SVM聚类算法

提出L1范数正则化支持向量机(SVM)聚类算法。该算法能够同时实现聚类和特征选择功能。给出L1范数正则化SVM聚类原问题和对偶问题形式,采用类似迭代坐标下降的方法求解困难的混合整数规划问题。在多组数据集上的实验结果表明,L1范数正则化SVM聚类算法聚类准确率与L2范数正则化SVM聚类算法相近,而且能够实现特征选择。     

一种基于核函数的非线性感知器算法

为了提高经典Rosenblatt感知器算法的分类能力，该文提出一种基于核函数的非线性感知器算法，简称核感知器算法，其特点是用简单的迭代过程和核函数来实现非线性分类器的一种设计，核感知器算法能够处理原始属性空间中线性不可分问题和高维特征空间中线性可分问题。同时，文中详细分析了其算法与径向基函数神经网络、势函数方法和支持向量机等非线性算法的关系。人工和实际数据的计算结果表明：与线性感知器算法相比，核感知器算法可以有效地提高分类精度。     

基于尺度核函数的最小二乘支持向量机

支持向量机的核函数一直是影响其学习效果的重要因素.本文基于小波分解理论和支持向量机核函数的条件,提出一种多维允许支持向量尺度核函数.该核函数不仅具有平移正交性,且可以以其正交性逼近二次可积空间上的任意曲线,从而提升支持向量机的泛化性能.在尺度函数作为支持向量核函数的基础之上,提出基于尺度核函数的最小二乘支持向量机(LS-SSVM).实验结果表明,LS-SSVM在同等条件下比传统支持向量机的学习精度更高,因而更适用于复杂函数的学习问题.     

基于准则的KMSE分类模型的改造

在再生核理论基础之上,可认为KMSE模型对应的特征空间的鉴别向量可以表示为部分训练样本的线性组合。可据此对一般的KMSE方法(GKMSE)通过某些手段加以改进。文章的准则被首次提出并应用于KMSE的改造,据此提出的改进的KMSE方法在很大程度上提高了KMSE模型的分类效率,同时实验结果也证明了该算法具有比较好的分类效果。     

核规则化最小体积覆盖椭球认知模型

提出了基于最小体积覆盖椭球(MVEE)的类别认知模型,提出的核规则化自适应最小体积覆盖椭球认知模型可以在机器学习、鲁棒多元统计、奇异值检测、聚类等众多领域得到应用。以奇异值检测标准数据库为例,与一类支持向量机(OCSVM)、线性规划奇异值检测算法(LPND)进行了比较,结果表明,该模型准确度总体要高于一类支持向量机和线性规划奇异值检测算法。     

核方法的探讨及其应用

核方法是机器学习中一种新的强有力的学习方法。针对核方法进行了探讨,给出了核方法的基本思想和优点。同时,描述了核方法的算法实现并举例进行了说明。     

Large Scale Kernel Regression via Linear Programming

The problem of tolerant data fitting by a nonlinear surface, induced by a kernel-based support vector machine is formulated as a linear program with fewer number of variables than that of other linear programming formulations. A generalization of the linear programming chunking algorithm for arbitrary kernels is implemented for solving problems with very large datasets wherein chunking is performed on both data points and problem variables. The proposed approach tolerates a small error, which is adjusted parametrically, while fitting the given data. This leads to improved fitting of noisy data (over ordinary least error solutions) as demonstrated computationally. Comparative numerical results indicate an average time reduction as high as 26.0% over other formulations, with a maximal time reduction of 79.7%. Additionally, linear programs with as many as 16,000 data points and more than a billion nonzero matrix elements are solved.     

多核学习方法

多核学习方法是当前核机器学习领域的一个新的热点. 核方法是解决非线性模式分析问题的一种有效方法, 但在一些复杂情形下, 由单个核函数构成的核机器并不能满足诸如数据异构或不规则、样本规模巨大、样本不平坦分布等实际的应用需求, 因此将多个核函数进行组合, 以获得更好的结果是一种必然选择. 本文根据多核的构成, 从合成核、多尺度核、无限核三个角度, 系统综述了多核方法的构造理论, 分析了多核学习典型方法的特点及不足, 总结了各自的应用领域, 并凝炼了其进一步的研究方向.     

Primal-Dual Monotone Kernel Regression

This paper considers the estimation of monotone nonlinear regression functions based on Support Vector Machines (SVMs), Least Squares SVMs (LS-SVMs) and other kernel machines. It illustrates how to employ the primal-dual optimization framework characterizing LS-SVMs in order to derive a globally optimal one-stage estimator for monotone regression. As a practical application, this letter considers the smooth estimation of the cumulative distribution functions (cdf), which leads to a kernel regressor that incorporates a Kolmogorov–Smirnoff discrepancy measure, a Tikhonov based regularization scheme and a monotonicity constraint.     

一种确定高斯核模型参数的新方法

支持向量机中核函数及其参数的选择非常重要,该文提出了一种利用支持向量之间的距离求取高斯核函数参数的有效方法。该方法充分利用了支持向量机方法的最优判别函数仅仅与支持向量有关,并且支持向量为高斯核中心的特点。实验结果表明,该方法较好地反映了图像特征的本质,解决了高斯核函数参数在实际使用中不易确定的问题。     

Kernel Matching Pursuit

Matching Pursuit algorithms learn a function that is a weighted sum of basis functions, by sequentially appending functions to an initially empty basis, to approximate a target function in the least-squares sense. We show how matching pursuit can be extended to use non-squared error loss functions, and how it can be used to build kernel-based solutions to machine learning problems, while keeping control of the sparsity of the solution. We present a version of the algorithm that makes an optimal choice of both the next basis and the weights of all the previously chosen bases. Finally, links to boosting algorithms and RBF training procedures, as well as an extensive experimental comparison with SVMs for classification are given, showing comparable results with typically much sparser models.     

最小方差支撑向量回归

基于支撑向量回归(SVR)可以通过构建支撑向量机分类问题实现的基本思想,推广最小类方差支撑向量机(MCVSVMs)于回归估计,提出了最小方差支撑向量回归(MVSVR)算法.该方法继承了MCVSVMs鲁棒性和泛化能力强的优点,分析了MVSVR和标准SVR之间的关系,讨论了在散度矩阵奇异情况下该方法的求解问题,同时也讨论了MVSVR的非线性情况.实验表明,该方法是可行的,且表现出了更强的泛化能力.     

基于核方法的XML文档自动分类

支持向量机(SVM)方法通过核函数进行空间映射并构造最优分类超平面解决分类器的构造问题,该方法在文本自动分类应用中具有明显优势.XML 文档是文本内容信息与结构信息的综合体,作为一种新的数据形式,成为当前的研究热点.文中以结构链接向量模型为基础,研究了基于支持向量机的XML文档自动分类方法,提出了适合XML文档分类的核...