基于两阶段聚类的模糊支持向量机

为了提高模糊支持向量机在大数据集上的训练效率,提出一种基于两阶段聚类的模糊支持向量机算法。第1阶段为粗粒度聚类阶段,在每类训练样本上执行密度聚类算法,设置较大的邻域半径(给定邻域内最小点数),保证可能成为支持向量的样本点都被选取;第2阶段为自适应聚类阶段,在粗选的数据集合上,执行自适应密度聚类算法,根据各个点距离分类面的远近,自适应决定该点的邻域半径(给定邻域内最小点数)。这样可有效地减少远离分类面的聚类边缘点的数量,同时在分类面附近保持较多的样本点,试验结果表明,基于两阶段聚类模糊支持向量机算法,相比以往的方法,不仅提高了模糊支持向量机的训练效率,同时保持了较好的分类效果。     

基于决策树对支持向量机的医学图像分类新方法

针对传统对支持向量机多类分类算法（Multi-TWSVM）中出现的模糊性问题,提出了一种基于遗传算法的决策树对支持向量机（GA-DTTSVM）多类分类算法。GA-DTTSVM用遗传算法对特征数据建立决策树,通过构建决策树可以分离样本的模糊区域,提高模糊区域样本的识别率。在决策树的每个节点上用对支持向量机（TWSVM）训练分类器,最后用训练的分类器进行分类和预测。实验结果表明,与决策树对支持向量机（DTTSVM）多类分类算法以及Multi-TWSVM相比,GA-DTTSVM多类分类算法具有较高的分类精度和较快的训练速度。     

一种基于聚类核的半监督支持向量机分类方法

为了在标记样本数目有限时尽可能地提高支持向量机的分类精度,提出了一种基于聚类核的半监督支持向量机分类方法。该算法依据聚类假设,即属于同一类的样本点在聚类中被分为同一类的可能性较大的原则去对核函数进行构造。采用K-均值聚类算法对已有的标记样本和所有的无标记样本进行多次聚类,根据最终的聚类结果去构造聚类核函数,从而更好地反映样本间的相似程度,然后将其用于支持向量机的训练和分类。理论分析和计算机仿真结果表明,该方法充分利用了无标记样本信息,提高了支持向量机的分类精度。     

一种新的模糊支持向量机

基于类中心设计隶属度函数的模糊支持向量机能有效地解决支持向量机对噪声或孤立点敏感度高的问题,但是,由于它对支持向量赋予较小的隶属度,从而降低了其分类作用。基于此,提出一种新的隶属度函数设计方法;同时,针对模糊支持向量机普遍存在因核函数计算量大,而导致训练时间长的问题,通过使用一种高效的截集模糊C-均值聚类方法对训练样本进行聚类,然后以聚类中心作为样本进行训练,以减少训练样本来提高训练速度。根据上述新的隶属度函数设计方法和截集模糊C-均值聚类方法,构建了一种基于截集模糊C-均值聚类并改进了隶属度函数的模糊支持向量机,数值试验表明这种新的模糊支持向量机有效地提高了训练速度和分类精度。     

改进的粗糙模糊和模糊粗糙K-均值聚类算法

在分析归纳原有聚类方法不足的基础上,结合粗糙理论和模糊理论,给出了改进的粗糙模糊K-均值聚类算法;设计了新的模糊粗糙K-均值聚类算法,并验证了该聚类算法的有效性;进而将这两种聚类算法应用到支持向量机中,对训练样本做预处理,以减少样本数目,提高了其训练速度和分类精度。     

基于改进FCM聚类的BT-SVM多类分类算法

针对二叉树支持向量机在多类分类问题上存在的不足,利用粒子群算法对模糊C均值聚类算法进行了改进,在此基础上,结合二又树支持向量机,构建了偏二叉树多类分类算法.该方法在二叉树各节点处根据聚类中心所对应的样本构造学习样本集和最优分类超平面,保障了聚类精度,有效地提高了测试正确率.实验表明,本文提出BT-SVM多类分类算法的测试正确率要高于同类多类分类算法.     

基于聚类标签均值的半监督支持向量机

针对标签均值半监督支持向量机在图像分类中随机选取无标记样本会导致分类正确率不高,以及算法的稳定性较低的问题,提出了基于聚类标签均值的半监督支持向量机算法。该算法修改了原算法对于无标记样本的惩罚项,对选取的无标记样本聚类,使用聚类标签均值替换标签均值。实验结果表明,使用聚类标签均值训练的分类器大大减少了背景与目标的错分情况,提高了分类的正确率以及算法的稳定性,适合用于图像分类。     

边缘效应训练的模糊支持向量机及应用

通常支持向量机算法中每个训练样本的地位是平等的,而实际应用中我们发现边缘训练样本对支持向量机分类性能的贡献大于训练中心区域的样本,为此我们提出一种边缘效应的支持向量机训练算法。在训练样本中增加模糊隶属度属性,从而体现训练样本对分类的不同贡献,突出边缘样本的作用。最后结合卫星图像分割实验,对比证明了新算法的有效性。     

一种基于morlet小波核的约简支持向量机

针对支持向量机（SVM）的训练数据量仅局限于较小样本集的问题，结合Morlet小波核函数，提出了一种基于Morlet小波核的约倚支持向量机（MWRSVM—DC）．算法的核心是通过密度聚类寻找聚类中每个簇的边缘点作为约倚集合，并利用该约倚集合寻找支持向量．实验表明，利用小波核，该算法不仅提高了分类的准确率，而且提高了整体分类效率．     

基于模糊分割的支持向量机分类器

支持向量机算法对噪声点和异常点是敏感的,为了解决这个问题,人们提出了模糊支持向量机,但其中的模糊隶属度函数需要人为设置。提出基于模糊分割的支持向量机分类器。在该算法中,首先根据聚类有效性用模糊c-均值聚类分别对训练集中的正负类数据聚类;然后,选择距离最近的c个聚类对构成c个二分类问题;最后,对c个二分类器用加权平均策略得到最终分类结果。为了验证所提算法的有效性,对三个UCI数据集进行了数值实验,结果表明,该算法能有效提高带噪声点和异常点数据集分类的预测精度。     

Quantum Fuzzy Support Vector Machine for Binary Classification

In the objective world, how to deal with the complexity and uncertainty of big data efficiently and accurately has become the premise and key to machine learning. Fuzzy support vector machine (FSVM) not only deals with the classification problems for training samples with fuzzy information, but also assigns a fuzzy membership degree to each training sample, allowing different training samples to contribute differently in predicting an optimal hyperplane to separate two classes with maximum margin, reducing the effect of outliers and noise, Quantum computing has super parallel computing capabilities and holds the promise of faster algorithmic processing of data. However, FSVM and quantum computing are incapable of dealing with the complexity and uncertainty of big data in an efficient and accurate manner. This paper research and propose an efficient and accurate quantum fuzzy support vector machine (QFSVM) algorithm based on the fact that quantum computing can efficiently process large amounts of data and FSVM is easy to deal with the complexity and uncertainty problems. The central idea of the proposed algorithm is to use the quantum algorithm for solving linear systems of equations (HHL algorithm) and the least-squares method to solve the quadratic programming problem in the FSVM. The proposed algorithm can determine whether a sample belongs to the positive or negative class while also achieving a good generalization performance. Furthermore, this paper applies QFSVM to handwritten character recognition and demonstrates that QFSVM can be run on quantum computers, and achieve accurate classification of handwritten characters. When compared to FSVM, QFSVM’s computational complexity decreases exponentially with the number of training samples.     

改进的SVM在入侵检测中的应用

提出模糊支持向量机的入侵检测方法,根据输入样本对分类结果不同的影响程度,引入模糊隶属度,探讨了模糊支持向量（FSVM）原理。为进一步提高支持向量机的分类性能,提出Bagging算法对FSVM分类器进行集成,实验结果表明,提出的方法具有良好的检测性能。     

模糊支持向量机在路面识别中的应用

利用模糊支持向量机进行路面不平度识别。针对支持向量机对样本中的噪声点和野值点特别敏感的缺点,采用将样本到类中心的距离作为样本的模糊隶属度,并结合改进的粒子群算法对模糊支持向量机的参数进行优化。通过对实验数据的训练和测试,该方法的最高平均识别率提高到了77.5%,高于一般支持向量机的72.5%的识别率。数据处理表明模糊隶属度的引入强化了有效样本对分类的影响,减弱了噪声点和野值点对分类的影响,提高了路面不平度识别率。     

针对不平衡数据的PSO-DEC-IFSVM分类算法

针对不平衡数据集下,传统的模糊支持向量机（Fussy support vector machine,FSVM）算法分类效果不够明显,引入的参数未做优化等缺点,本文提出一种基于粒子群算法（Particle swarm optimization,PSO）优化的改进模糊支持向量机算法,即PSO-DEC-IFSVM算法。该算法首先综合考虑训练样本到其类中心的间距、样本周围的紧密度以及样本的信息量设计模糊隶属度函数,然后将此改进的模糊支持向量机与不同惩罚因子(Different error costs, DEC)算法相结合得到DEC-IFSVM算法,最后利用粒子群算法对DEC-IFSVM算法引入的参数进行优化。实验证明：对于UCI公共数据集中的Pima等6种不平衡数据集,相比已有的FSVM及其改进算法,PSO-DEC-IFSVM算法具有更好的正负类分类效果以及更强的鲁棒性。     

双重特征加权模糊支持向量机

针对当前基于特征加权的模糊支持向量机(FSVM)只考虑特征权重对隶属度函数的影响,而没有考虑在样本训练过程中将特征权重应用到核函数计算中的缺陷,提出了同时考虑特征加权对隶属度函数和核函数计算的影响的模糊支持向量机算法——双重特征加权模糊支持向量机(DFW-FSVM).首先,利用信息增益(IG)计算出每个特征的权重;然后...     

A complete fuzzy discriminant analysis approach for face recognition

In this paper, some studies have been made on the essence of fuzzy linear discriminant analysis (F-LDA) algorithm and fuzzy support vector machine (FSVM) classifier, respectively. As a kernel-based learning machine, FSVM is represented with the fuzzy membership function while realizing the same classification results with that of the conventional pair-wise classification. It outperforms other learning machines especially when unclassifiable regions still remain in those conventional classifiers. However, a serious drawback of FSVM is that the computation requirement increases rapidly with the increase of the number of classes and training sample size. To address this problem, an improved FSVM method that combines the advantages of FSVM and decision tree, called DT-FSVM, is proposed firstly. Furthermore, in the process of feature extraction, a reformative F-LDA algorithm based on the fuzzy k-nearest neighbors (FKNN) is implemented to achieve the distribution information of each original sample represented with fuzzy membership grade, which is incorporated into the redefinition of the scatter matrices. In particular, considering the fact that the outlier samples in the patterns may have some adverse influence on the classification result, we developed a novel F-LDA algorithm using a relaxed normalized condition in the definition of fuzzy membership function. Thus, the classification limitation from the outlier samples is effectively alleviated. Finally, by making full use of the fuzzy set theory, a complete F-LDA (CF-LDA) framework is developed by combining the reformative F-LDA (RF-LDA) feature extraction method and DT-FSVM classifier. This hybrid fuzzy algorithm is applied to the face recognition problem, extensive experimental studies conducted on the ORL and NUST603 face images databases demonstrate the effectiveness of the proposed algorithm.     

基于模糊支持向量机的语音识别方法

通过计算输入样本的模糊隶属度，探讨了模糊支持向量机（FSVM）的原理，应用其对语音信号进行识别。并和RBF神经网络、支持向量机（SVM）的识别效果进行了比较。在仿真实验中，采用小波分析方法提取语音特征向量，识别结果表明，SVM和FSVM比RBF网络具有较好的泛化性能，训练时间也大大缩减。此外，FSVM比SVM有更强的抵抗噪声的能力。     

基于区域划分的DBSCAN多密度聚类算法*

DBSCAN聚类算法使用固定的Eps和Minpts,处理多密度的数据效果不理想;并且算法的时间复杂度为O(n2)。针对以上问题,提出一种基于区域划分的DBSCAN多密度聚类算法。算法利用网格相对密度差把数据空间划分成密度不同的区域,每个区域的Eps根据该区域的密度计算自动获得,并利用DBSCAN算法进行聚类,提升了DBSCAN的精度;避免了DBSCAN在查找密度相连时需要遍历所有数据,从而改善了算法效率。实验表明算法能有效地对多密度数据进行聚类,对各种数据的适应力较强,效率较优。     

基于模糊SVM模型的入侵检测分类算法

为解决入侵检测分类遇到的训练样本数量少、分类准确率低的问题,提出基于模糊支持向量机的多级分类机制。该分类机制训练模糊SVM模型将数据粗分为正常与攻击大类,采用DBSCAN算法产生细分模型进行攻击子集的自动聚类,将有关数据细分得到攻击的具体细类。在机制设计中,优化了隶属度函数的计算、设计了数据标准化与归一化等过程,并训练了高效分类器。实验表明,针对网络入侵检测数据中常见的孤立点干扰、噪声多,并且负样本占比多的网络业务数据集,新算法在保持分类准确率高的前提下,分类过程的计算时间较短。