基于随机投影的快速凸包分类器

传统的基于核函数的分类方法中核矩阵运算复杂度较高,无法满足大规模数据分类的要求.针对这一问题,提出基于随机投影的快速凸包分类器(FCHC-RP).首先,使用随机投影的方法将样本投影到多个二维子空间,并将子空间数据映射到特征空间;其次,根据数据分布的几何特征得到凸包候选集;再次,基于凸包的定义计算出特征空间中的凸包向量;最后,使用与凸包向量对应的原始样本及其权值训练支持向量机.此外,FCHC-RP还适用于不平衡数据的分类问题,根据两类样本的不平衡程度选择不同的参数,可以得到规模相当的两类样本的凸包集,实现训练数据的类别平衡.理论分析和实验结果验证了FCHC-RP在分类性能和训练时间上的优势.     

一种新颖的核学习算法用于小波特征的人脸识别

文中将一种新颖的核学习算法一核最近邻凸包分类算法用于人脸的小波特征识别。该算法的设计受到支持向量机几何解释启发,利用核函数方法将数据映射到高维核空间,并在核空间构造以训练集凸包为扩展类集的最近邻分类器。文中采用的人脸图像的小波低频特征对人脸识别十分有效。人脸的小波低频特征不但保留了人脸的主要信息,而且具有较少的维度。在ORL人脸图像库上的“leave-one-out”测试方法的实验中,这种基于小波低频特征的核最近邻凸包分类算法取得了99．25％的识别率。     

基于超椭球支持向量机的兼类文本分类算法

提出一种基于超椭球支持向量机的多类文本分类算法。对每一类样本,利用超椭球支持向量机方法在特征空间求得一个超椭球,使其包含该类尽可能多的样本,同时将噪音点排除在外。分类时,利用待分类样本映射到每个超椭球球心的马氏距离确定其类别。在标准数据集Reuters 21578上的实验结果表明,该算法有效地提高了分类精度。     

基于有效候选集的支持向量机样本选择方法

训练样本选择是支持向量机的一个重要研究课题。但是,目前大部分样本选择方法的一个共同的不足就是,其训练样本的候选集是整个样本空间,因此可能会选择一些对分类效果影响不大的内部样本,或者选择一些可能会降低分类效果的“过边界”样本。提出了两种基于“有效”候选集的样本选择方法。该方法首先通过“挖心”和剔除“过边界”样本来确定训练样本的“有效”候选集,然后在此“有效”候选集上进行训练样本的选择。实验结果表明,该方法在保留“有效”候选样本的同时,也提高了支持向量机分类器的正确识别率。     

模糊支持向量机中隶属度的确定与分析

针对目前模糊支持向量机方法中，一般使用特征空间中样本与类中心之间的距离关系构建隶属度函数的不足，提出了一种新的有效地反映样本不确定性的隶属度计算方法——基于样本紧密度的隶属度方法。在确定样本的隶属度时，不仅考虑了样本与类中心之间的关系，还考虑了类中各个样本之间的关系，并采用模糊连接度来度量类中各个样本之间的关系。将其应用于模糊支持向量机方法中，较好地将支持向量与含噪声或野值样本区分开。实验结果表明，采用模糊支持向量机方法，其分类错误率比采用支持向量机方法的错误率低，在使用的3种隶属度函数中，采用基于紧密度隶属度的模糊支持向量机方法抗噪性能最好，分类性能最强。     

一种新的基于二叉树的SVM多类分类方法

介绍了几种常用的支持向量机多类分类方法,分析其存在的问题及缺点。提出了一种基于二叉树的支持向量机多类分类方法（BT SVM）,并将基于核的自组织映射引入进行聚类。结果表明,采用该方法进行多类分类比1 v r SVMs和1 v 1 SVMs具有更高的分类精度。     

一种基于聚类核的半监督支持向量机分类方法

为了在标记样本数目有限时尽可能地提高支持向量机的分类精度,提出了一种基于聚类核的半监督支持向量机分类方法。该算法依据聚类假设,即属于同一类的样本点在聚类中被分为同一类的可能性较大的原则去对核函数进行构造。采用K-均值聚类算法对已有的标记样本和所有的无标记样本进行多次聚类,根据最终的聚类结果去构造聚类核函数,从而更好地反映样本间的相似程度,然后将其用于支持向量机的训练和分类。理论分析和计算机仿真结果表明,该方法充分利用了无标记样本信息,提高了支持向量机的分类精度。     

基于模糊支持向量机与决策树的文本分类器

针对模糊支持向量机在文本分类应用中的隶属度函数确定问题,提出了一种基于模糊支持向量机与决策树的文本分类器的构建方法。该方法不仅考虑了样本与类中心之间的关系,还根据传统支持向量机中包含支持向量且平行于分类面的平面构建切球,来确定类中各个样本之间的关系,由样本点与球的位置关系计算其隶属度,可以合理地区分有效样本和噪音、孤立点样本。并与决策树方法相结合,实现多类分类。实验结果表明,该方法具有良好的分类效果。     

基于模糊最小二乘支持向量机的软测量建模

将模糊隶属度概念引入最小二乘支持向量机,提出一种基于支持向量数据域描述的模蝴隶属度函数模型,将输入空间中的样本映射到一个高维的特征空间;然后根据其偏离数据域的程度赋予不同的隶属度．该方法提高了最小二乘支持向量机的抗噪声能力,尤其适用于未能完全揭示输入样本特性的情况．将提出的方法用于催化裂化分馏塔轻柴油凝固点的软测量建模,仿真结果表明,该模糊隶属度函数模型能够提高最小二乘支持向量机的预测精度．     

基于类向心度的模糊支持向量机

传统支持向量机(SVM)训练含有噪声或野值点的数据时,容易产生过拟合,而模糊支持向量机可以有效地处理这种问题。针对使用样本与类中心之间的距离关系来构建模糊支持向量机隶属度函数的不足,提出了一种基于类向心度的模糊支持向量机(CCD FSVM)。该方法不仅考虑到样本与类中心之间的关系,还考虑到类中各个样本之间的联系,并用类向心度来表示。将类向心度应用于模糊隶属度函数的设计,能够很好地将有效样本与噪声、野值点样本区分开来,而且可以通过向心度的大小,对混合度比较高的样本进行区分,从而达到提高分类精度的效果。实验结果表明,基于类向心度的模糊支持向量机其分类正确率比支持向量机高,在使用三种不同隶属度函数的FSVM中,该方法的抗噪性能最好,分类性能最强。     

基于类边界壳向量的快速SVM增量学习算法

为进一步提高SVM增量训练的速度,在有效保留含有重要分类信息的历史样本的基础上,对当前增量训练样本集进行了约简,提出了一种基于类边界壳向量的快速SVM增量学习算法,定义了类边界壳向量。算法中增量训练样本集由壳向量集和新增样本集构成,在每一次增量训练过程中,首先从几何角度出发求出当前训练样本集的壳向量,然后利用中心距离比值法选择出类边界壳向量后进行增量SVM训练。分别使用人工数据集和UCI标准数据库中的数据进行了实验,结果表明了方法的有效性。     

局部化的广义特征值最接近支持向量机

基于广义特征值的最接近支持向量机(Proximal Support Vector Machine via Generalized Eigenvalues,GEPSVM)是一种新的具有与SVM性能相当的两分类方法,通过求解广义特征值来获得两个彼此不平行的拟合两类样本的超平面.其决策是将测试样本归为距其最近的超平面所在的类.然而,该规则在某些情形会导致较差的分类结果.对此,在GEPSVM基础上,通过在类拟合超平面上寻找一个包含了所有训练样本投影的局部凸区域,来决定样本的类别.该局部方法不仅具有较GEPSVM更优的分类性能,同时还衍生出了求解超平面上凸壳的简单且易于核化的新算法.最后在人工和UCI数据集上获得了验证.     

KMA-α:一个支持向量机核矩阵的近似计算算法

核矩阵计算是求解支持向量机的关键,已有精确计算方法难以处理大规模的样本数据.为此,研究核矩阵的近似计算方法.首先,借助支持向量机的凸二次约束线性规划表示,给出支持向量机和多核支持向量机的二阶锥规划表示.然后,综合Monte Carlo方法和不完全Cholesky分解方法,提出一个新的核矩阵近似算法KMA-α,该算法首先对核矩阵进行Monte Carlo随机采样,采样后不直接进行奇异值分解,而是应用具有对称置换的不完全Cholesky分解来计算接近最优的低秩近似.以KMA-α输出的近似核矩阵作为支持向量机的输入,可提高支持向量机二阶锥规划求解的效率.进一步,分析了KMA-α的算法复杂性,证明了KMA-α的近似误差界定理.最后,通过标准数据集上的实验,验证了KMA-α的合理性和计算效率.理论分析与实验结果表明,KMA-α是一合理、有效的核矩阵近似算法.     

一种基于数据的核参数优化方法

SVM是一种基于核的学习方法,核及相关参数的选择对其性能有非常重要的影响,提出了一种数据依赖的最优核参数估计方法,通过角度切割样本集求解训练样本的近似凸包,以确定最优的核参数。实验结果表明,无论数据是否稠密,分布是否均匀,算法都可适用,该方法有较高的可行性与有效性。     

Large data sets classification using convex–concave hull and support vector machine

Normal support vector machine (SVM) is not suitable for classification of large data sets because of high training complexity. Convex hull can simplify the SVM training. However, the classification accuracy becomes lower when there exist inseparable points. This paper introduces a novel method for SVM classification, called convex–concave hull SVM (CCH-SVM). After grid processing, the convex hull is used to find extreme points. Then, we use Jarvis march method to determine the concave (non-convex) hull for the inseparable points. Finally, the vertices of the convex–concave hull are applied for SVM training. The proposed CCH-SVM classifier has distinctive advantages on dealing with large data sets. We apply the proposed method on several benchmark problems. Experimental results demonstrate that our approach has good classification accuracy while the training is significantly faster than other SVM classifiers. Compared with the other convex hull SVM methods, the classification accuracy is higher.     

基于样本选择的最近邻凸包分类器

最近邻凸包分类算法是一种以测试点到各类别样本凸包的距离为分类度量的最近邻分类算法。然而,该算法的凸二次规划问题优化求解的较高的计算复杂度限制了其在较大规模数据集上的应用。本文提出一种样本选择方法——子类凸包生长法。通过迭代,选择距离选出样本凸包最远的点,直到满足终止条件,从而实现数据集的有效约简。ORL数据库和MIT-CBCL人脸识别training-synthetic库上的实验结果表明,子类凸包生长法选出的少量样本生成的凸包能够很好的表征训练集,在不降低最近邻凸包分类器性能的同时,使得算法的计算速度大为提高。     

Construction of convex hull classifiers in high dimensions

We propose an algorithm to approximate each class region by a small number of approximated convex hulls and to use these for classification. The classifier is one of non-kernel maximum margin classifiers. It keeps the maximum margin in the original feature space, unlike support vector machines with a kernel. The construction of an exact convex hull requires an exponential time in dimension, so we find an approximate convex hull (a polyhedron) instead, which is constructed in linear time in dimension. We also propose a model selection procedure to control the number of faces of convex hulls for avoiding over-fitting, in which a fast procedure is adopted to calculate an upper-bound of the leave-one-out error. In comparison with support vector machines, the proposed approach is shown to be comparable in performance but more natural in the extension to multi-class problems.     

高斯核尺度空间中的采样算法研究

将线性尺度空间的特征点扩展问题转化为多尺度数据集的同尺度内分类问题,该问题属于尺度不变的非平衡数据集分类问题。提出了一种基于尺度空间的核学习的采样算法来处理支持向量机(support vector machine,SVM)在非平衡数据集上的分类问题。其核心思想是首先在核空间中对少数类样本进行上采样,然后通过输入空间和核空间的距离关系寻找所合成样本在输入空间的原像,最后再采用SVM对其进行训练,从而有效克服了目前采样方法在不同空间处理训练样本所带来的数据不一致问题。该算法所采用的采样策略不仅能够降低数据失衡率,而且能够拓展少数类样本所形成的凸壳,从而更为有效地纠正最优分类超平面偏移问题。实验结果证明,所获得的结果分类器具有更好的泛化性能,能够在同尺度内有效扩展稳定特征点数量。     

预抽取支持向量机的支持向量

训练支持向量机，可以归结为求解二次规划问题，而求解二次规划时的复杂度随着样本数量的增加而显著增长，这样就大大延长了支持向量机的训练时间。为了提高支持向量机的训练速度，根据支持向量机的基本原理，该文提出了一种从给定训练样本中预抽取支持向量的新方法，即两凸包相对边界向量方法(FFEVM)，此方法大幅度减小了训练支持向量机的训练样本的数量，从而大大提高了支持向量的训练速度，而支持向量机的分类能力不受任何影响。     

基于核相似性差异最大化的支持向量机参数选择算法

针对支持向量机(SVM)参数选择问题,通过分析SVM近似网络模型及分类原理,提出一种基于核相似性差异最大化的高斯核参数快速选择算法(MSD)。同时,将MSD算法与基于交叉验证的参数搜索算法相结合,构成一种复合SVM参数选择算法(MSD-GS),实现核参数与正则化参数的快速优选。UCI数据的仿真实验表明该算法具有参数选择准确、简便快速、无需数据先验知识等优点,参数选择效果甚至优于遍历式指数网格搜索算法。优选出的参数组合能够使SVM具有较高的泛化性能。