面向不均衡分类的隶属度加权模糊支持向量机

针对不均衡分类问题,提出了一种基于隶属度加权的模糊支持向量机模型。使用传统支持向量机对样本进行训练,并通过样本点与所得分类超平面之间的距离构造模糊隶属度,这不仅能够消除噪点和野值点的影响,而且可以在一定程度上约减样本;利用正负类的平均隶属度和样本数量求得平衡调节因子,消除数据不平衡时造成的分类超平面的偏移现象;通过实验结果验证了该算法的可行性和有效性。实验结果表明,该算法能有效提高分类精度,特别是对不平衡数据效果更加明显,在训练速度和分类性能上比传统支持向量机和模糊支持向量机有进一步的提升。     

基于不平衡数据分类的一种平衡模糊支持向量机

鉴于不平衡数据集中类不平衡比较大的分类问题,利用样本点的特性建立类不平衡调节因子和模糊隶属度,提出了平衡模糊支持向量机。首先计算样本协方差矩阵,求得类不平衡调节因子,然后计算各样本点的模糊隶属度,得到各样本对分类超平面的贡献率。类平衡调节因子和模糊隶属度同时对分类器的误差项产生影响。结果表明,这种平衡模糊支持向量机对类不平衡比较大的分类问题具有很好的分类效果。     

基于模糊加权近似支持向量机的Web文本分类

Web文本分类是数据挖掘领域的研究热点。针对Web文本数据集高维和不平衡的特点,将模糊隶属度和平衡因子引入近似支持向量机,提出模糊加权近似支持向量机。首先计算样本的平均密度,并结合样本数量求得平衡因子,克服传统加权算法仅以样本数为依据设置权值的缺陷,缓解数据不平衡造成的分类超平面偏移;再计算样本的模糊隶属度,消除噪声和奇异点造成的分类误差;近似支持向量机相比标准支持向量机具有明显的速度优势,更加适用于高维数据分类。实验表明,算法能有效提高不平衡数据的分类精度,在Web文本的训练速度和分类质量上有一定提高。     

基于类内超平面的改进模糊支持向量机

基于类中心设计隶属度函数的模糊支持向量机能够有效地解决支持向量机对噪声、野值点敏感的问题。但是它对支持向量赋予较小的隶属度值,从而降低了其分类效果。因此,提出一种改进的隶属度函数设计方法,该方法降低了对样本几何分布的依赖,而且考虑到了支持向量机的本质特征。用类内超平面代替类中心,根据每类数据与其类内超平面的距离定义隶属度函数,以加大对容易被错分样本的惩罚,同时对离分类超平面较远且不可能成为支持向量的样本赋予较小的隶属度值。实验表明,改进的模糊支持向量机能够有效地提高分类精度。     

基于类内超平面的模糊支持向量机

分析基于样本与类中心距离设计模糊支持向量机隶属度函数的缺点,使用类内超平面代替类中心,提出基于样本到超平面距离的隶属度函数设计方法.该方法降低隶属度函数对样本集几何形状的依赖,提高模糊支持向量机的泛化能力.最后数值实验表明,与传统的支持向量机和现有的3种不同隶属度函数的模糊支持向量机相比,新隶属度函数可达到最好的分类效果而且速度快.     

一种模糊加权的孪生支持向量机算法

虽然孪生支持向量机（Twin Support Vector Machine,TSVM）的处理速度优于传统的支持向量机,但其并没有考虑输入样本点对最优分类超平面所产生的不同影响。通过为每个训练样本赋予不同的样本重要性,以及减少样本点对非平行超平面的影响,提出了模糊加权孪生支持向量机（Fuzzy TSVM,FTSVM）。在UCI标准数据集上,对FTSVM进行了实验研究并与TSVM、FSVM和SVM方法进行了比较,实验结果表明FTSVM方法是有效的。     

基于加权模糊隶属度的二叉树多分类算法

针对二叉树支持向量机多分类算法准确率与分类效率较低的问题,提出了一种基于加权模糊隶属度的二叉树支持向量机多分类算法（binary tree support vector machines multi-classification algorithm based on weighted fuzzy membership,PF-BTSVM）。该算法依据最大最小样本距离与质心距离构造出一个近似完全二叉树,提高了整体结构的分类效率;利用模糊隶属度函数以及正负辅助惩罚因子对训练集进行筛选,剔除掉对分类无用的样本与噪声值,实现了训练集的提纯并且削弱了不平衡分类时超平面的偏移。在数据集上的实验结果表明,与其他二叉树多分类算法相比,该算法在提高了分类准确率以及稳定性的的同时还加快了训练与分类的速度,而且这种优势当分类的不平衡度越大时越明显。     

一种新的模糊支持向量机

基于类中心设计隶属度函数的模糊支持向量机能有效地解决支持向量机对噪声或孤立点敏感度高的问题,但是,由于它对支持向量赋予较小的隶属度,从而降低了其分类作用。基于此,提出一种新的隶属度函数设计方法;同时,针对模糊支持向量机普遍存在因核函数计算量大,而导致训练时间长的问题,通过使用一种高效的截集模糊C-均值聚类方法对训练样本进行聚类,然后以聚类中心作为样本进行训练,以减少训练样本来提高训练速度。根据上述新的隶属度函数设计方法和截集模糊C-均值聚类方法,构建了一种基于截集模糊C-均值聚类并改进了隶属度函数的模糊支持向量机,数值试验表明这种新的模糊支持向量机有效地提高了训练速度和分类精度。     

基于可变隶属度的模糊双支持向量机研究

双支持向量机是一种新的非平行二分类算法。其处理速度比传统支持向量机快很多,但是双支持向量机没有考虑不同输入样本点会对最优分类超平面产生不同的贡献。在测试阶段测试点到两类超平面的距离相等时,双支持向量机也没有明确给出对这些等距点的处理方法。针对这些情况,提出一种可变隶属度的模糊双支持向量机。距离类中心较近的样本点隶属度由其到类中心的距离决定,距离类中心较远的样本点隶属度由其到类中心的距离和它的紧密度共同决定。在测试阶段出现等距点时,根据等距点与各类训练点的等价性比例进行分类。实验结果表明,与支持向量机、标准双支持向量机、双边界支持向量机、混合模糊双支持向量机相比,这种可变隶属度模糊双支持向量机分类精度最高。     

不平衡数据加权集成学习算法

针对传统的机器学习算法对不平衡数据集的少类分类准确率不高的问题,基于支持向量机和模糊聚类,提出一种不平衡数据加权集成学习算法。首先提出加权支持向量机模型(Weighted Support Vector Machine,WSVM),该模型根据不同类别数据所占比例的不同,为各类别分配不同的权重,然后将WSVM与模糊聚类结合提出一种新的集成学习算法。将本文提出的算法应用于人造数据集和UCI数据集实验中,实验结果表明,所提出的算法能够有效地解决不平衡数据的分类问题,具有更好的分类性能。     

基于类向心度的模糊支持向量机

传统支持向量机(SVM)训练含有噪声或野值点的数据时,容易产生过拟合,而模糊支持向量机可以有效地处理这种问题。针对使用样本与类中心之间的距离关系来构建模糊支持向量机隶属度函数的不足,提出了一种基于类向心度的模糊支持向量机(CCD FSVM)。该方法不仅考虑到样本与类中心之间的关系,还考虑到类中各个样本之间的联系,并用类向心度来表示。将类向心度应用于模糊隶属度函数的设计,能够很好地将有效样本与噪声、野值点样本区分开来,而且可以通过向心度的大小,对混合度比较高的样本进行区分,从而达到提高分类精度的效果。实验结果表明,基于类向心度的模糊支持向量机其分类正确率比支持向量机高,在使用三种不同隶属度函数的FSVM中,该方法的抗噪性能最好,分类性能最强。     

基于模糊支持向量机与决策树的文本分类器

针对模糊支持向量机在文本分类应用中的隶属度函数确定问题,提出了一种基于模糊支持向量机与决策树的文本分类器的构建方法。该方法不仅考虑了样本与类中心之间的关系,还根据传统支持向量机中包含支持向量且平行于分类面的平面构建切球,来确定类中各个样本之间的关系,由样本点与球的位置关系计算其隶属度,可以合理地区分有效样本和噪音、孤立点样本。并与决策树方法相结合,实现多类分类。实验结果表明,该方法具有良好的分类效果。     

一种新颖隶属度函数的模糊支持向量机

传统的支持向量机(SVM)训练含有外部点或噪音数据时,容易产生过拟合(over-fitting)。通过模糊隶属度函数来降低外部点或被污染数据的选择。本文提出了一种新的核隶属度函数,这种新的隶属度函数不仅依赖于每个样本点到类型中心的距离,还依赖于该样本点最邻近的K个其他样本点的距离。实验结果表明了具有该隶属度函数的模糊支持向量机的有效性。     

基于模糊分割的支持向量机分类器

支持向量机算法对噪声点和异常点是敏感的,为了解决这个问题,人们提出了模糊支持向量机,但其中的模糊隶属度函数需要人为设置。提出基于模糊分割的支持向量机分类器。在该算法中,首先根据聚类有效性用模糊c-均值聚类分别对训练集中的正负类数据聚类;然后,选择距离最近的c个聚类对构成c个二分类问题;最后,对c个二分类器用加权平均策略得到最终分类结果。为了验证所提算法的有效性,对三个UCI数据集进行了数值实验,结果表明,该算法能有效提高带噪声点和异常点数据集分类的预测精度。     

基于核方法的一种新的模糊支持向量机

由于支持向量机对样本中的噪声及孤立点非常敏感,因而在解决非线性、高维数、不确定问题时,使用模糊支持向量机比使用支持向量机的效果要好。在模糊支持向量机中,模糊隶属度函数的建立是关键也是难点。一般,模糊隶属度是在原始空间中根据样本点的相互距离及到类中心的距离创建的。考虑样本间的密切度,在特征空间中利用混合核函数建立一种新的模糊隶属度。通过试验比较多项式核函数、高斯径向基核函数与混合核函数,可看出新方法表现出了它的优越性。     

基于模糊分割和邻近对的支持向量机分类器

支持向量机算法对噪声点和异常点是敏感的,为了解决这个问题,人们提出了模糊支持向量机,但其中的模糊隶属度函数需要人为设置。提出基于模糊分割和邻近对的支持向量机分类器。在该算法中,首先根据聚类有效性用模糊c-均值聚类算法分别对训练集中的正负类数据聚类;然后,根据聚类结果构造c个二分类问题,求解得c个二分类器;最后,用邻近对策略对样本点进行识别。用4个著名的数据集进行了数值实验,结果表明该算法能有效提高带噪声点和异常点数据集分类的预测精度。     

基于pinball损失的结构模糊多分类支持向量机算法

针对多分类支持向量机（MSVM）对噪声较强的敏感性、对重采样数据的不稳定性以及泛化性能低等缺陷,将pinball损失函数、样本模糊隶属度以及样本结构信息引入到简化的多分类支持向量机（SimMSVM）算法中,构建了基于pinball损失的结构模糊多分类支持向量机算法Pin-SFSimMSVM。在人工数据集、UCI数据集以及添加不同比例噪声的UCI数据集上的实验结果显示：所提出的Pin-SFSimMSVM算法与SimMSVM算法相比,准确率均提升了0~5.25个百分点;所提出的算法不仅具有避免多类数据存在不可分区域和计算速度快的优点,而且具有对噪声较好的不敏感性以及对重采样数据的稳定性,同时考虑了不同数据样本在分类时扮演不同角色的事实以及数据中包含的重要先验知识,从而使分类器训练更准确。