基于样本之间紧密度的模糊支持向量机方法

针对传统支持向量机方法中存在对噪声或野值敏感的问题,提出了一种基于紧密度的模糊支持向量机方法.在确定样本的隶属度时,不仅考虑了样本与类中心之间的关系,还考虑了类中各个样本之间的关系.通过样本之间的紧密度来描述类中各个样本之间的关系,利用包围同一类中样本的最小球半径大小来度量样本之间的紧密度.样本的隶属度依据样本在球中的位置,按照不同的规律确定与基于样本与类中心之间关系构建的模糊支持向量机方法相比,该方法有利于将野值或含噪声样本与有效样本进行区分.实验结果表明,与传统支持向量机方法及基于样本与类中心之间关系的模糊支持向量机方法相比,基于紧密度的模糊支持向量机方法具有更好的抗噪性能及分类能力.     

模糊支持向量机中隶属度的确定与分析

针对目前模糊支持向量机方法中，一般使用特征空间中样本与类中心之间的距离关系构建隶属度函数的不足，提出了一种新的有效地反映样本不确定性的隶属度计算方法——基于样本紧密度的隶属度方法。在确定样本的隶属度时，不仅考虑了样本与类中心之间的关系，还考虑了类中各个样本之间的关系，并采用模糊连接度来度量类中各个样本之间的关系。将其应用于模糊支持向量机方法中，较好地将支持向量与含噪声或野值样本区分开。实验结果表明，采用模糊支持向量机方法，其分类错误率比采用支持向量机方法的错误率低，在使用的3种隶属度函数中，采用基于紧密度隶属度的模糊支持向量机方法抗噪性能最好，分类性能最强。     

基于类向心度的模糊支持向量机

传统支持向量机(SVM)训练含有噪声或野值点的数据时,容易产生过拟合,而模糊支持向量机可以有效地处理这种问题。针对使用样本与类中心之间的距离关系来构建模糊支持向量机隶属度函数的不足,提出了一种基于类向心度的模糊支持向量机(CCD FSVM)。该方法不仅考虑到样本与类中心之间的关系,还考虑到类中各个样本之间的联系,并用类向心度来表示。将类向心度应用于模糊隶属度函数的设计,能够很好地将有效样本与噪声、野值点样本区分开来,而且可以通过向心度的大小,对混合度比较高的样本进行区分,从而达到提高分类精度的效果。实验结果表明,基于类向心度的模糊支持向量机其分类正确率比支持向量机高,在使用三种不同隶属度函数的FSVM中,该方法的抗噪性能最好,分类性能最强。     

模糊支持向量机在入侵检测中的应用研究

网络入侵检测是保证安全防护技术,在入侵检测中,数据分布的不均衡和噪声数据的存在影响检测性能和分类效果.针对传统支持向量机对噪声数据和孤立点敏感的缺点,提出了一种基于双超球隶属度函数的模糊支持向量机算法.算法在确定隶属度时充分考虑样本与类中心之间的关系以及类中各个样本之间的关系,并且将样本的隶属度与样本到所在类中心的距离看作是一个非线性关系.根据模糊支持向量机和双超球隶属度函数的原理,采用核函数对检测性能的影响.通过KDD99数据的测试并与传统的支持向量机算法进行比较,实验结果证明改进算法的可行性和有效性.     

基于边界向量提取的模糊支持向量机方法

针对支持向量机对训练样本中的噪声和孤立点特别敏感的问题,提出一种基于边界向量提取的模糊支持向量机方法.在特征空间中寻找能够分别包住两类样本点的两个最小超球,并选择可能成为支持向量的边界向量作为新样本,减少参与训练的样本数目,提高训练速度.样本的隶属度根据边界样本和噪声点与所在超球球心的距离分别确定,既减弱孤立点和噪声的影响,又增强支持向量对支持向量机分类的作用.实验结果表明,与传统的支持向量机方法和基于样本与类中心之间关系的模糊支持向量机相比,本文方法具有更快的学习速度和更好的泛化能力.     

基于类内超平面的模糊支持向量机

分析基于样本与类中心距离设计模糊支持向量机隶属度函数的缺点,使用类内超平面代替类中心,提出基于样本到超平面距离的隶属度函数设计方法.该方法降低隶属度函数对样本集几何形状的依赖,提高模糊支持向量机的泛化能力.最后数值实验表明,与传统的支持向量机和现有的3种不同隶属度函数的模糊支持向量机相比,新隶属度函数可达到最好的分类效果而且速度快.     

基于密度法的双隶属度模糊支持向量机

针对现实环境中样本集越来越大,并且往往含有大量噪声和野值,导致传统模糊支持向量机的训练时间和分类识别率降低的阃题,提出基于密度法的双隶属度模糊支持向量机,即靠近类中心的样本点隶属度由其到类中心的距离确定,远离类中心的样本点隶属度由其邻域内同类异类样本点数量的比例确定。从理论和实证两个方面分析文中方法与以往基于密度的模糊支持向量机（DFSVM）相比,该方法不但降低了算法的复杂度,并且提高了支持向量机的分类精度。     

自适应模糊支持向量机算法

支持向量机算法对噪声和异常点是敏感的,为了克服这个问题,人们引入了模糊隶属度。传统确定样本模糊隶属度的方法,都是基于原始空间的。文章提出了基于特征空间的模糊隶属度函数模型。在该模型中,以特征空间中的样本为中心,以给定的距离d为半径作超球,根据其它样本落到超球内的个数来确定中心样本点的模糊隶属度。并将新的模糊隶属度模型引入自适应支持向量机,提出了模糊自适应支持向量机算法。实验结果表明,该模型能有效地提高自适应支持向量机的抗噪能力和预测精度。     

一种改进的模糊多类支持向量机算法

支持向量机是基于统计学习理论的新一代机器学习技术;由于使用结构风险最小化原则代替经验风险最小化原则,使它较好地解决了小样本情况下的学习问题;针对目前模糊支持向量机方法中,一般使用样本与类中心之间的距离关系构建隶属度函数的不足,以统计学习理论和支持向量机为基础,提出了一种改进的模糊多类支持向量机方法,它是在全局优化分类的基础上,引入模糊隶属函数,然后利用改进的序列最小最优化算法求解模糊多类支持向量机,实验结果显示运行时间减少了,方法是可行的和有效的.     

基于类内超平面的改进模糊支持向量机

基于类中心设计隶属度函数的模糊支持向量机能够有效地解决支持向量机对噪声、野值点敏感的问题。但是它对支持向量赋予较小的隶属度值,从而降低了其分类效果。因此,提出一种改进的隶属度函数设计方法,该方法降低了对样本几何分布的依赖,而且考虑到了支持向量机的本质特征。用类内超平面代替类中心,根据每类数据与其类内超平面的距离定义隶属度函数,以加大对容易被错分样本的惩罚,同时对离分类超平面较远且不可能成为支持向量的样本赋予较小的隶属度值。实验表明,改进的模糊支持向量机能够有效地提高分类精度。     

一种模糊加权的孪生支持向量机算法

虽然孪生支持向量机（Twin Support Vector Machine,TSVM）的处理速度优于传统的支持向量机,但其并没有考虑输入样本点对最优分类超平面所产生的不同影响。通过为每个训练样本赋予不同的样本重要性,以及减少样本点对非平行超平面的影响,提出了模糊加权孪生支持向量机（Fuzzy TSVM,FTSVM）。在UCI标准数据集上,对FTSVM进行了实验研究并与TSVM、FSVM和SVM方法进行了比较,实验结果表明FTSVM方法是有效的。     

面向不均衡分类的隶属度加权模糊支持向量机

针对不均衡分类问题,提出了一种基于隶属度加权的模糊支持向量机模型。使用传统支持向量机对样本进行训练,并通过样本点与所得分类超平面之间的距离构造模糊隶属度,这不仅能够消除噪点和野值点的影响,而且可以在一定程度上约减样本;利用正负类的平均隶属度和样本数量求得平衡调节因子,消除数据不平衡时造成的分类超平面的偏移现象;通过实验结果验证了该算法的可行性和有效性。实验结果表明,该算法能有效提高分类精度,特别是对不平衡数据效果更加明显,在训练速度和分类性能上比传统支持向量机和模糊支持向量机有进一步的提升。     

DP聚类的可信性加权模糊支持向量机

由于SVM（Support Vector Machine）在有离群点和不平衡数据的问题中分类性能相对较低，有研究者提出了一种面向不均衡分类的隶属度加权模糊支持向量机，只是文中的模糊隶属度并不能较好衡量样本点对确定最佳分划超平面所做的贡献大小。针对以上问题提出了密度峰（Density Peaks，DP）聚类的可信性加权模糊支持向量机。首先由DP聚类找到离群点后剔除。再根据点到由DEC（Different Error Costs）确定的超平面的距离，得到初始隶属度，并用改进的FSVM-CIL（Fuzzy Support Vector Machines for Class Imbalance Learning）更新隶属度。之后剔除部分样本点，起到简约样本的作用，并减少数据不平衡带来的影响。通过实验验证了所提出算法的有效性。     

基于加权模糊隶属度的二叉树多分类算法

针对二叉树支持向量机多分类算法准确率与分类效率较低的问题,提出了一种基于加权模糊隶属度的二叉树支持向量机多分类算法（binary tree support vector machines multi-classification algorithm based on weighted fuzzy membership,PF-BTSVM）。该算法依据最大最小样本距离与质心距离构造出一个近似完全二叉树,提高了整体结构的分类效率;利用模糊隶属度函数以及正负辅助惩罚因子对训练集进行筛选,剔除掉对分类无用的样本与噪声值,实现了训练集的提纯并且削弱了不平衡分类时超平面的偏移。在数据集上的实验结果表明,与其他二叉树多分类算法相比,该算法在提高了分类准确率以及稳定性的的同时还加快了训练与分类的速度,而且这种优势当分类的不平衡度越大时越明显。     

一种扩展的紧密度模糊支持向量机及其在文本分类中应用

采用模糊支持向量机时,隶属度函数的设计是整个算法的关键。详细阐述了已存在的隶属度函数,重点分析了目前应用较广的紧密度模糊支持向量机,针对紧密度模糊支持向量机的不足,提出了一种扩展的紧密度模糊支持向量机,并将其应用到文本分类领域。实验结果表明,与传统模糊支持向量机相比,该算法分类性能更好,抗噪能力更强。     

Entropy based fuzzy least squares twin support vector machine for class imbalance learning

In classification problems, the data samples belonging to different classes have different number of samples. Sometimes, the imbalance in the number of samples of each class is very high and the interest is to classify the samples belonging to the minority class. Support vector machine (SVM) is one of the widely used techniques for classification problems which have been applied for solving this problem by using fuzzy based approach. In this paper, motivated by the work of Fan et al. (Knowledge-Based Systems 115: 87–99 2017), we have proposed two efficient variants of entropy based fuzzy SVM (EFSVM). By considering the fuzzy membership value for each sample, we have proposed an entropy based fuzzy least squares support vector machine (EFLSSVM-CIL) and entropy based fuzzy least squares twin support vector machine (EFLSTWSVM-CIL) for class imbalanced datasets where fuzzy membership values are assigned based on entropy values of samples. It solves a system of linear equations as compared to the quadratic programming problem (QPP) as in EFSVM. The least square versions of the entropy based SVM are faster than EFSVM and give higher generalization performance which shows its applicability and efficiency. Experiments are performed on various real world class imbalanced datasets and compared the results of proposed methods with new fuzzy twin support vector machine for pattern classification (NFTWSVM), entropy based fuzzy support vector machine (EFSVM), fuzzy twin support vector machine (FTWSVM) and twin support vector machine (TWSVM) which clearly illustrate the superiority of the proposed EFLSTWSVM-CIL.     

基于二叉树的多分类SVM算法在电子邮件过滤中的应用

目前性能较好的多分类算法有1-v-r支持向量机（SVM）、1-1-1SVM、DDAG SVM等，但存在大量不可分区域且训练时间较长的问题。提出一种基于二叉树的多分类SVM算法用于电子邮件的分类与过滤，通过构建二叉树将多分类转化为二值分类，算法采用先聚类再分类的思想，计算测试样本与子类中心的最大相似度和子类间的分离度，以构造决策节点的最优分类超平面。对于C类分类只需C-1个决策函数，从而可节省训练时间。实验表明，该算法得到了较高的查全率、查准率。     

多主题文本分类的实现算法

针对一个文本具有多主题属性,提出一种基于模糊支持向量机的多主题文本分类算法。用1-a-r方法训练子分类器,计算待分类文本到每个超平面的距离,依据距离得到隶属度向量,根据隶属度向量判定该文本所属的主题。实验结果表明,该算法在保证单主题文本分类精度的前提下,实现了多主题文本分类,并且有较好的准确率、召回率和F1值。     

Multi-class fuzzy support matrix machine for classification in roller bearing fault diagnosis

As a new classification method with the matrix as the input, support matrix machine (SMM) makes full use of the structured information between rows and columns of the input matrix to establish an accurate prediction model, which has been widely used in the field of fault diagnosis. However, the principle of SMM is to construct two parallel hyperplanes to complete the segmentation between different types of samples. When there are noise and outliers in the sample data, it is difficult for SMM to construct an ideal parallel hyperplane. In view of this, this paper proposes a multi-class fuzzy support matrix machine (MFSMM) by establishing nonparallel hyperplane objective function and integrating fuzzy attributes. In MFSMM, MFSMM establishes two nonparallel fuzzy hyperplanes by objective function, which maximizes the interval between any two fuzzy hyperplanes while considering the sample structure information. Meanwhile, fuzzy plane assigns different membership degrees to different training samples, which greatly reduces the influence of noise on the construction of optimal classification hyperplane. By analyzing two kinds of roller bearing experimental data, the results show that MFSMM has higher classification accuracy and stronger fault tolerance for samples with uncertain information.