模糊支持向量分类机

研究了当训练点的输出为模糊数时支持向量分类机的构建问题。对于线性模糊分类问题,首先将其转化为模糊系数规划。利用模糊系数规划的λ-最优规划,求解模糊系数规划得到模糊最优解（模糊集合）以及模糊最优分类函数集（取值为最优分类函数而隶属度为λ（0≤λ≤1）的模糊集合）,从而构造线性模糊支持向量分类机。对于非线性模糊分类问题,引入核函数,类似干线性模糊分类问题得到非线性模糊支持向量分类机。最后构造显示模糊支持向量分类机特点的模糊支持向量集（取值为模糊训练点,隶属度为λ（0≤λ≤1）的模糊集合）。模糊支持向量分类机较好地解决了支持向量机中含有模糊信息的分类问题。     

基于可能性理论的模糊支持向量分类机

研究模糊支持向量分类机的构建问题.其特点是:训练点输出的类型和最终的模糊分类函数的函数值均为三角模糊数.首先,以模糊事件的可能性测度为基础,将模糊分类问题转化为求解模糊机会约束规划问题.然后,利用模糊机会约束规划化为清晰等价规划的方法,将其转化为与其等价的二次规划.据此给出模糊支持向量分类机(算法).同时用一个简单算例说明该算法的合理性.     

模糊临近支持向量机

临近支持向量机(ProximalSupportVectorMachine)是近年提出的一种新的支持向量机。尽管在处理模式分类问题中速度远远超过传统支持向量机,临近支持向量机理论没有考虑不同输入样本点可能会对最优分类超平面的形成产生不同影响。文章给不同的训练样本赋予不同的模糊隶属度,以此来改进临近支持向量机。实验证明这种改进后的模糊临近支持向量机拥有一些临近支持向量机所没有的性能。     

基于混合模糊隶属度的模糊双支持向量机研究

双支持向量机是近年提出的一种新的支持向量机.在处理模式分类问题时,双支持向量机速度远远超过传统支持向量机,而且显示出较好的推广能力.但双支持向量机没有考虑不同输入样本点可能会对分类超平面的形成产生不同影响,在某些实际问题中具有局限性.为了克服这个缺点,提出了一种基于混合模糊隶属度的模糊双支持向量机.该算法设计了一种结合距离和紧密度的模糊隶属度函数,给不同的训练样本赋予不同的模糊隶属度,构建两个最优非平行超平面,最终实现二值分类.实验证明,该模糊双支持向量机的分类性能优于传统的双支持向量机.     

不确定性数据的超球支持向量机分类方法

针对区间不确定性数据的分类问题,提出一种基于超球支持向量机的多分类方法。采用超椭球凸集模型描述数据的不确定性信息;建立超球支持向量机的不确定约束规划模型,将其转化为两层嵌套约束规划问题;通过上下两层子优化交替迭代寻优的方法求解最优超球面,利用泰勒展开法,直接推导下层子优化线性近似问题的最优解,以降低计算复杂度。实验结果表明,该方法具有较高的分类精度及较好的抗噪性和鲁棒性,适合解决区间不确定性数据多分类问题。     

未确知支持向量机

提出一种处理样本中含有未确知信息(一种不确定性信息)的支持向量机未确知支持向量机(Unascertained support vector machine, USVM)算法.首先,以未确知数学为基础,将含有未确知信息的分类问题转化为求解未确知机会约束规划问题.然后,将其转化为与其等价的二次规划. 据此给出未确知支持向量机.理论分析和试验结果均表明,该算法是有效、可行的.     

两种基于等式约束支持向量回归机比较研究

为了减小支持向量回归机(SVR)的计算复杂度、缩短训练时间,将应用于分类问题的近似支持向量机(PSVM)扩展到回归问题中,针对其原始优化问题采用直接法求取最优解,而不是转换为对偶问题求解,给出了近似支持向量回归机(PSVR)线性和非线性回归算法.并与同样基于等式约束的最小二乘支持向量回归机(LSSVR)进行了比较,在一维、二维函数回归以及不同规模通用数据集上的测试结果表明,PSVR算法简单,训练速度快,尤其在大规模数据集处理上更具优势.     

一种输入数据为模糊数的模糊支持向量机

支持向量机所处理的数据绝大多数是精确值,但当训练样本中含有模糊信息时,支持向量机将无能为力。基于此,针对输入数据是模糊数的分类问题,提出一种带有去模糊函数的模糊支持向量机（FSVM*）。该算法采用模糊数间的距离作为模糊数去模糊的度量,从而构造去模糊函数将模糊值转化为精确值,同时将去模糊函数与模糊支持向量机相结合完成模糊数据的分类。数值结果表明：相比Forghani提出的FSVDD*算法,该算法更有效。     

软间隔模糊粗糙支持向量机

分析了硬间隔模糊粗糙支持向量机(FRSVMs)的优点与不足。FRSVMs通过修改硬间隔支持向量机(SVMs)的约束条件提高了泛化能力;FRSVMs虽然将训练样例的条件属性与决策属性之间的不一致性考虑在内,但是在寻找最优超平面时仍然要求将训练集完全正确地分开,因此对噪音具有敏感性。针对FRSVMs的这个缺点,提出了软间隔模糊粗糙支持向量机(C-FRSVMs)。它使用高斯核函数作为模糊相似关系,将数据集中样例的条件属性与决策标签之间的不一致程度考虑在内;在训练寻找最优超平面的过程中允许存在错分点,并对原始最优化问题中训练样例的错分程度进行惩罚;既考虑了间隔最大,又考虑了训练误差最小,从而降低了对噪音的敏感性。实验表明:针对一些数据集,无论其是否存在异常点,C-FRSVMs在测试精度上都可以同时优于硬间隔SVMs、软间隔支持向量机(C-SVMs)和FRSVMs,从而进一步提高了FRSVMs的泛化能力。     

一类新型快速模糊支持向量机

针对一般模糊支持向量机训练时间过长,训练效率低下的问题,通过定义了一种新的隶属度函数的方法,来改进算法,从而得到了一种快速模糊支持向量机。本算法中的新定义的隶属度函数能够对离分类超平面较远、不可能成为支持向量的数据赋予较小的隶属度,使训练样本集中的数据大大减少。同时,在将二类模糊支持向量机推广到k类时,采用了DAGSVMs方法,进一步提高了多类分类问题的分类效率。实验表明,提出的快速模糊支持向量机在保证测试精度的同时,减少了训练时间。     

最小二乘孪生参数化不敏感支持向量回归机

孪生参数化不敏感支持向量回归机（Twin Parametric Insensitive Support Vector Regression,TPISVR）是最近提出的一种新型机器学习方法.和其它回归方法相比,TPISVR在处理异方差噪声方面具有独特的优势.标准TPISVR的训练算法可以归结为在对偶空间求解一对具有不等式约束的二次规划问题.然而,这种求解方法的时间消耗比较大.本文引入最小二乘思想,将TPISVR的两个二次规划问题转化为两个线性方程组,并在原始空间上直接求解,提出了最小二乘孪生参数化不敏感支持向量回归机（Least Squares TPISVR,LSTPISVR）.为了解决LSTPISVR的参数选择问题,提出混沌布谷鸟优化算法,并用其对LSTPISVR的参数进行优化选择.在人工数据集和UCI数据集上的实验表明了LSTPISVR在保持精度不下降的情况下比TPISVR具有更高的运行效率.     

一种模糊加权的孪生支持向量机算法

虽然孪生支持向量机（Twin Support Vector Machine,TSVM）的处理速度优于传统的支持向量机,但其并没有考虑输入样本点对最优分类超平面所产生的不同影响。通过为每个训练样本赋予不同的样本重要性,以及减少样本点对非平行超平面的影响,提出了模糊加权孪生支持向量机（Fuzzy TSVM,FTSVM）。在UCI标准数据集上,对FTSVM进行了实验研究并与TSVM、FSVM和SVM方法进行了比较,实验结果表明FTSVM方法是有效的。     

模糊支持向量机隶属度的确定方法

传统的支持向量机对噪声或野点是敏感的,针对这种情况,引入了模糊支持向量机,但模糊隶属度的确定是个难点。利用基于线性规划下的一类分类算法来确定模糊隶属度,根据不同输入样本对分类的贡献不同,赋予相应的隶属度,将噪声或野点与有效样本区分开。实验结果表明,模糊支持向量机比传统的支持向量机有更好的分类效果,能够削弱噪声或野点的影响。     

Stochastic support vector regression with probabilistic constraints

Support Vector Regression (SVR) solves regression problems based on the concept of Support Vector Machine (SVM). In this paper, we introduce a novel model of SVR in which any training samples containing inputs and outputs are considered the random variables with known or unknown distribution functions. Constraints occurrence have a probability density function which helps to obtain maximum margin and achieve robustness. The optimal hyperplane regression can be obtained by solving a quadratic optimization problem. The proposed method is illustrated by several experiments including artificial data sets and real-world benchmark data sets.     

新的稀疏支持向量回归机算法及实验研究

支持向量回归机是一种解决回归问题的重要方法,其预测速度与支持向量的稀疏性成正比。为了改进支持向量回归机的稀疏性,提出了一种直接稀疏支持向量回归算法DSKR（Direct Sparse Kernel Support Vector Regression）,用于构造稀疏性支持向量回归机。DSKR算法对ε-SVR（ε-Support Vector Regression）增加一个非凸约束,通过迭代优化的方式,得到稀疏性好的支持向量回归机。在人工数据集和真实世界数据集上研究DSKR算法的性能,实验结果表明,DSKR算法可以通过调控支持向量的数目,提高支持向量回归机的稀疏性,且具有较好的鲁棒性。     

基于最小二乘支持向量回归机的Mamdani模糊系统结构

为了提高模糊系统处理高维问题的推广能力,基于最小二乘支持向量回归机(LSSVR)的思想提出了一个设计Mamdani模糊系统的新算法。传统算法都存在过学习问题,该算法在目标函数中考虑了结构风险避免了过学习现象,并将模糊系统的参数寻优问题转化为一个二次规划问题进行求解。在此算法中,构造了一种新的具有语言意义的数据依赖型模糊核函数,它是一种Mercer核。实验结果证明,该算法提高了Mamdani模糊系统的逼近能力和推广能力。     

基于决策树对支持向量机的医学图像分类新方法

针对传统对支持向量机多类分类算法（Multi-TWSVM）中出现的模糊性问题,提出了一种基于遗传算法的决策树对支持向量机（GA-DTTSVM）多类分类算法。GA-DTTSVM用遗传算法对特征数据建立决策树,通过构建决策树可以分离样本的模糊区域,提高模糊区域样本的识别率。在决策树的每个节点上用对支持向量机（TWSVM）训练分类器,最后用训练的分类器进行分类和预测。实验结果表明,与决策树对支持向量机（DTTSVM）多类分类算法以及Multi-TWSVM相比,GA-DTTSVM多类分类算法具有较高的分类精度和较快的训练速度。     

一种新颖隶属度函数的模糊支持向量机

传统的支持向量机(SVM)训练含有外部点或噪音数据时,容易产生过拟合(over-fitting)。通过模糊隶属度函数来降低外部点或被污染数据的选择。本文提出了一种新的核隶属度函数,这种新的隶属度函数不仅依赖于每个样本点到类型中心的距离,还依赖于该样本点最邻近的K个其他样本点的距离。实验结果表明了具有该隶属度函数的模糊支持向量机的有效性。     

一种基于支持向量机的模糊分类系统研究

提出一种基于支持向量机学习的模糊分类束纯模型．通过将支持向量机映射成等价的模糊分类系统,支持向量机的稀疏性表示等特性使得相应的模糊分类系统避免了“维数灾难”问题,并具有良好的泛化能力．另一方面,模糊系统的一些理论和应用成果也可用来进一步改善分类系统的性能．本文根据模糊集合的贴近度概念对模糊系统的语言变量进行约简,合并冗余的和不一致的模糊规则,然后采用粒子群优化方法改善模糊分类系统性能．该方法增强了系统的泛化能力,并可以理解为解决支持向量机中难以确定的系统参数问题的一种辅助方法．实验结果表明了该方法的可行性和有效性．