一种加权支持向量机分类算法

提出了一种加权C—SVM分类算法,并从理论上分析了算法的性能。该算法通过引入类权重因子和样本权重因子实现了类加权和样本加权两种功能。实验结果表明,该算法可以有效地解决由类大小不均衡引发的分类错误问题以及重要样本的错分问题。     

一种支持向量机参数优化的GA-Powell算法

支持向量机的核心是核函数,选择合适的核函数参数是支持向量机理论研究的重点。文中将遗传算法与Powell算法相结合,提出了GA-Powell算法来优化核函数的参数。首先利用遗传算法找到一个初始最优解,再利用Powell算法在所得解附近进行寻优,反复迭代产生最优解。该算法在保留遗传算法较强的全局搜索能力的同时具有Powell算法的较强的局部搜索能力,使得混合算法具有更加精确和快速的收敛性。将该算法应用到银行基金项目的分类实验中取得了良好的结果。     

一种模糊加权的孪生支持向量机算法

虽然孪生支持向量机（Twin Support Vector Machine,TSVM）的处理速度优于传统的支持向量机,但其并没有考虑输入样本点对最优分类超平面所产生的不同影响。通过为每个训练样本赋予不同的样本重要性,以及减少样本点对非平行超平面的影响,提出了模糊加权孪生支持向量机（Fuzzy TSVM,FTSVM）。在UCI标准数据集上,对FTSVM进行了实验研究并与TSVM、FSVM和SVM方法进行了比较,实验结果表明FTSVM方法是有效的。     

十折交叉检验的支持向量机参数优化算法

针对支持向量机结构参数的选取在没有理论支持,选取又比较困难的情况下,提出了一种基于遗传算法和十折交叉检验相结合的遗传支持向量机(GA-SVM)算法,利用遗传算法的全局搜索特性得到SVM的最优参数值,有效提高了分类的精度和效率。     

基于遗传算法与粒子群算法的支持向量机参数选择

支持向量机(SVM)参数的选择是评价SVM性能的一个很重要的因素。SVM在解决小样本、非线性等问题中起到的效果是很好的。但是,该方法的缺点是在解决大样本数据集时消耗时间长,且易陷入局部最优解。为了降低SVM在这方面的不足,本文提出了遗传算法和粒子群算法相结合(PSOGA)对参数进行优化求解,并将该算法建立的模型应用到实验中。仿真结果说明该方法避免了陷入局部解,提高了收敛速度并缩短了优化时间,是一个很有效的方法。     

密度加权近似支持向量机

标准的近似支持向量机(PSVM)用求解正则化最小二乘问题代替了求解二次规划问题,它可以得到一个解析解,从而减少训练时间。但是标准的PSVM没有考虑数据集中正、负样本的分布情况,对所有的样本都赋予了相同的惩罚因子。而在实际问题中,数据集中样本的分布是不平衡的。针对此问题,在PSVM的基础上提出了一种基于密度加权的近似支持向量机(DPSVM),其先计算样本的密度指标,不同的样例有不同的密度信息,因此对不同的样例给予不同的惩罚因子,并将原始优化问题中的惩罚因子由数值变为一个对角矩阵。在UCI数据集上用这种方法进行了实验,并与SVM和PSVM方法进行了比较,结果表明,DPSVM在正负类样本分布不平衡的数据集上有较好的分类性能。     

一种用于取证的加权支持向量机的人脸识别方法

人脸识别是指计算机将检测到的人脸图像,与计算机中已存储的人脸进行匹配以认定身份的过程。根据公安取证的需要,并针对已有的支持向量机人脸识别技术的不足,提出了用于取证的加权支持向量机人脸识别方法。对ORL人脸数据集的检测试验表明,该方法不但可行,而且准确性及效率较高。     

基于遗传算法的回归型支持向量机参数选择法

研究了遗传算法在回归型支持向量机参数选择中的应用：首先,分析了支持向量机的几个参数对其预报能力的影响,发现参数选取不当,会导致支持向量机出现过学习或欠学习现象;在此基础上提出利用遗传算法来解决回归型支持向量机的参数选择问题,模拟实验证明,该方法克服了传统参数选择方法存在的缺点,提高了支持向量机的预报精度。     

一种加权线性损失支持向量机

针对传统支持向量机无法适应大规模问题,通过引入加权线性损失函数,取代标准支持向量机的Hinge损失,提出一种加权线性损失支持向量机WLSVM(Weighted Linear Loss Support Vector Machine)。它的主要方法是:(1)通过对线性损失增加权重,提出对不同位置上的训练点给出不同惩罚,在一定程度上避免了过度拟合,增强了泛化能力。(2)仅需计算非常简单的数学表达式就可获得分类超平面,且方便解决大规模问题。通过在合成和真实数据集上的试验,结果表明:WLSVM的分类精度高于SVM和LSSVM,且减少了计算时间,尤其对于大规模问题。     

一种基于中心型支持向量机的多类别分类算法

文章主要探讨了支持向量机在数据挖掘中的应用问题。在对中心型支持向量机的研究改进过程中,结合增量型支持向量机算法,将问题域扩展到多类别分类问题领域,从而设计了一个基于支持向量机技术处理样本均衡型和增量型的分类算法(theMBI-SVM)。在UCI数据库上进行了实验,结果证实该算法具有较高的稳定性、可行性和实用性。     

基于加权支持向量机的移动建模方法及其在软测量中的应用

工业过程软测量技术的核心问题是建立软测量模型,然而,利用传统全局建模方法与多模型建模方法进行复杂工业过程软测量建模时,在不同程度上存在一些问题.本文利用支持向量机(SVMs)泛化能力强的特点,结合局部加权学习(LWL)算法思想,提出一种适于局部学习的加权支持向量机(W_SVMs)学习算法和基于这种算法的移动建模方法.利用这种建模方法对Box-Jenkins煤气炉和重油催化裂化(FCCU)装置进行分析建模,并与其它不同建模方法进行比较,显示了该方法的优点和有效性.     

加权光滑CHKS孪生支持向量机

针对光滑孪生支持向量机(smooth twin support vector machines,简称STWSVM)采用的Sigmoid 光滑函数逼近精度低和STWSVM 对异常点敏感的问题,引入一种性能更好的光滑函数——CHKS 函数,提出了光滑CHKS孪生支持向量机模型(smooth CHKS twin support vector machines,简称SCTWSVM).在此基础上,根据样本点的位置为每个训练样本赋予不同的重要性,以降低异常点对非平行超平面的影响,提出了加权光滑CHKS 孪生支持向量机(weighted smooth CHKS twin support vector machines,简称WSCTWSVM).不仅从理论上证明了SCTWSVM 具有严凸性和任意阶光滑的性能,而且在数据集上的实验结果表明,相对于STWSVM,SCTWSVM 可以在更短的时间内获得更高的分类精度,同时验证了WSCTWSVM 的有效性和可行性.     

基于正则化路径的支持向量机近似模型选择

模型选择问题是支持向量机的基本问题.基于核矩阵近似计算和正则化路径,提出一个新的支持向量机模型选择方法.首先,发展初步的近似模型选择理论,包括给出核矩阵近似算法KMA-α,证明KMA-α的近似误差界定理,进而得到支持向量机的模型近似误差界.然后,提出近似模型选择算法AMSRP.该算法应用KMA-α计算的核矩阵的低秩近似来提高支持向量机求解的效率,同时应用正则化路径算法来提高惩罚因子C参数调节的效率.最后,通过标准数据集上的对比实验,验证了AMSRP的可行性和计算效率.实验结果显示,AMSRP可在保证测试集准确率的前提下,显著地提高支持向量机模型选择的效率.理论分析与实验结果表明,AMSRP是一合理、高效的模型选择算法.     

最小二乘隐空间支持向量机

在隐空间中采用最小二乘损失函数,提出了最小二乘隐空间支持向量机（LSHSSVMs）．同隐空间支持向量机（HSSVMs）一样,最小二乘隐空间支持向量机不需要核函数满足正定条件,从而扩展了支持向量机核函数的选择范围．由于采用了最小二乘损失函数,最小二乘隐空问支持向量机产生的优化问题为无约束凸二次规划,这比隐空间支持向量机产生的约束凸二次规划更易求解．仿真实验结果表明所提算法在计算时间和推广能力上较隐空间支持向量机存在一定的优势．     

Authorship Attribution with Support Vector Machines

In this paper we explore the use of text-mining methods for the identification of the author of a text. We apply the support vector machine (SVM) to this problem, as it is able to cope with half a million of inputs it requires no feature selection and can process the frequency vector of all words of a text. We performed a number of experiments with texts from a German newspaper. With nearly perfect reliability the SVM was able to reject other authors and detected the target author in 60–80% of the cases. In a second experiment, we ignored nouns, verbs and adjectives and replaced them by grammatical tags and bigrams. This resulted in slightly reduced performance. Author detection with SVMs on full word forms was remarkably robust even if the author wrote about different topics.     

Choosing Multiple Parameters for Support Vector Machines

The problem of automatically tuning multiple parameters for pattern recognition Support Vector Machines (SVMs) is considered. This is done by minimizing some estimates of the generalization error of SVMs using a gradient descent algorithm over the set of parameters. Usual methods for choosing parameters, based on exhaustive search become intractable as soon as the number of parameters exceeds two. Some experimental results assess the feasibility of our approach for a large number of parameters (more than 100) and demonstrate an improvement of generalization performance.     

Digital Least Squares Support Vector Machines

This paper presents a very simple digital architecture that implements a Least-Squares Support Vector Machine. The simplicity of the whole system and its good behavior when used to solve classification problems hold good prospects for the application of such a kind of learning machines to build embedded systems.     

模糊支持向量分类机

研究了当训练点的输出为模糊数时支持向量分类机的构建问题。对于线性模糊分类问题,首先将其转化为模糊系数规划。利用模糊系数规划的λ-最优规划,求解模糊系数规划得到模糊最优解（模糊集合）以及模糊最优分类函数集（取值为最优分类函数而隶属度为λ（0≤λ≤1）的模糊集合）,从而构造线性模糊支持向量分类机。对于非线性模糊分类问题,引入核函数,类似干线性模糊分类问题得到非线性模糊支持向量分类机。最后构造显示模糊支持向量分类机特点的模糊支持向量集（取值为模糊训练点,隶属度为λ（0≤λ≤1）的模糊集合）。模糊支持向量分类机较好地解决了支持向量机中含有模糊信息的分类问题。     

支持向量机最优模型选择的研究

通过对核矩阵的研究,利用核矩阵的对称正定性,采用核校准的方法提出了一种SVM最优模型选择的算法——OMSA算法．利用训练样本不通过SVM标准训练和测试过程而寻求最优的核参数和相应的最优学习模型,弥补了传统SVM在模型选择上经验性强和计算量大的不足．采用该算法在UCI标准数据集和FERET标准人脸库上进行了实验,结果表明,通过该算法找到的核参数以及相应的核矩阵是最优的,得到的SVM分类器的错误率最小．该算法为SVM最优模型选择提供了一种可行的方法,同时对其他基于核的学习方法也具有一定的参考价值．