一种基于聚类核的半监督支持向量机分类方法

为了在标记样本数目有限时尽可能地提高支持向量机的分类精度,提出了一种基于聚类核的半监督支持向量机分类方法。该算法依据聚类假设,即属于同一类的样本点在聚类中被分为同一类的可能性较大的原则去对核函数进行构造。采用K-均值聚类算法对已有的标记样本和所有的无标记样本进行多次聚类,根据最终的聚类结果去构造聚类核函数,从而更好地反映样本间的相似程度,然后将其用于支持向量机的训练和分类。理论分析和计算机仿真结果表明,该方法充分利用了无标记样本信息,提高了支持向量机的分类精度。     

一种基于支持向量机的半监督分类方法

如何有效利用海量的数据是当前机器学习面临的一个重要任务,传统的支持向量机是一种有监督的学习方法,需要大量有标记的样本进行训练,然而有标记样本的数量是十分有限的并且非常不易获取.结合Co-training算法与Tri-training算法的思想,给出了一种半监督SVM分类方法.该方法采用两个不同参数的SVM分类器对无标记样本进行标记,选取置信度高的样本加入到已标记样本集中.理论分析和计算机仿真结果都表明,文中算法能有效利用大量的无标记样本,并且无标记样本的加入能有效提高分类的正确率.     

一种多项式光滑的半监督支持向量机分类算法

为了处理半监督支持向量机优化中的非凸非光滑问题,引入一个多项式光滑函数来逼近非凸的目标函数,给出的多项式函数在样本的高密度区逼近精度高,逼近精度低时出现在样本的低密度区.采用共轭梯度法求解模型.在人工数据和UCI数据库中的4个数据集上的实验结果显示,算法不仅能保证标号数据很少时的分类精度,而且不因标号数据的增多而明显提高分类性能,因此给出的分类器性能是稳定的.     

一种基于模糊规则的分类方法

本文提出了一种基于模糊规则的分类方法。首先介绍了一种新的模糊规则提取方法,然后基于所提取的模糊规则给出了一个采用二级判决的分类算法,并利用IRIS数据对此分类算法进行了仿真测试。结果表明,该算法在训练样本较少的情况下,仍能得到很好的分类效果.     

一种基于快速特征选择的故障诊断方法

针对故障诊断中数据存在噪声和高维的缺点,使用一种快速特征提取方法对故障数据进行降维,该方法以特征信号的均值和方差作为其权重衡量的依据。利用支持向量机的模式分类功能,构造了基于特征提取的多故障分类器。实例表明,在保证诊断效果的情况下,该方法实现了数据降维,降低了运算复杂度。     

一种基于数据相关性的半监督模糊聚类集成方法

现有的半监督聚类集成方法能利用先验信息,使集成的准确性、鲁棒性和稳定性得到提高,但在集成阶段加入成对约束信息时,只考虑了给定的约束信息而忽视了约束点与被约束点的邻域点之间的关系.针对此问题,提出了一种基于数据相关性的半监督模糊聚类集成方法.该方法首先利用半监督模糊聚类算法建立集成信息矩阵,并将其转换为相似性矩阵;然后,利用已知的约束信息及约束点与被约束点的邻域点之间的关系来修改相似性矩阵;最后,利用图划分算法得到最终的聚类结果.真实数据上的实验结果表明,提出的方法可以有效提高聚类质量.     

一种融合无监督聚类的层次向量机多类分类方法

层次支持向量机（SVM）是多类分类方法应用中的研究热点。针对SVM的分类面仅由支持向量决定的理论,提出一种基于无监督聚类方法来预抽取支持向量,训练向量机;并分析现有多类分类方法所存在的弊端,基于综合考虑节点的类集合可分性,设计一种基于树分类器整体性能最优的SVM二叉树层次分类方法。实验表明,该方法对比传统一类对余类法和成对分类法在整体分类精度和训练时间上都有明显提高。     

FCM预选取样本的半监督SVM图像分类方法

针对基于拉普拉斯支持向量机(LapSVM)的半监督分类方法需要将全部无标记样本加入训练样本集中训练得到分类器,算法需要的时间和空间复杂度高,不能有效处理大规模图像分类的问题,提出了模糊C-均值聚类(FCM)预选取样本的LapSVM图像分类方法。该方法利用FCM算法对无标记样本聚类,根据聚类结果选择可能在最优分类超平面附近的无标记样本点加入训练样本集,这些样本可能是支持向量,携带对分类有用的信息,其数量只是无标记样本的一少部分,因此使训练样本集减小。计算机仿真结果表明该方法充分利用了无标记样本所蕴含的判别信息,有效地提高了分类器的分类精度,降低了算法的时间和空间复杂度。     

FCM预选取样本的半监督SVM图像分类方法

针对基于拉普拉斯支持向量机(LapSVM)的半监督分类方法需要将全部无标记样本加入训练样本集中训练得到分类器,算法需要的时间和空间复杂度高,不能有效处理大规模图像分类的问题,提出了模糊C-均值聚类(FCM)预选取样本的LapSVM图像分类方法。该方法利用FCM算法对无标记样本聚类,根据聚类结果选择可能在最优分类超平面附近的无标记样本点加入训练样本集,这些样本可能是支持向量,携带对分类有用的信息,其数量只是无标记样本的一少部分,因此使训练样本集减小。计算机仿真结果表明该方法充分利用了无标记样本所蕴含的判别信息,有效地提高了分类器的分类精度,降低了算法的时间和空间复杂度。     

一种基于编码的SVM多类分类方法

通过对支持向量机基本原理及其多类分类方法的研究,提出了一种基于编码的SVM多类分类方法.通过对ORL人脸库样本的多类分类实验,证明此方法在保证高识别率的同时,可减少所需SVM二值分类器个数,从而大大减少了运算量和运算时间,具有较强的实际应用价值.     

一种基于模糊粗糙集的快速特征选择算法

模糊粗糙集由于能够处理实数值数据,甚至是混合值数据中的不确定性受到人们的广泛关注,其最重要的应用之一是特征选择,相关的特征选择方法已有不少研究,但其快速的特征选择算法研究很少。实际中的数据一般含有噪声点或信息含量低的样例,如果对数据集先筛选出代表样例,再对筛选的样例集进行数据挖掘便会降低挖掘计算量。本文基于模糊粗糙集,先根据样例的模糊下近似值对样例进行筛选,然后利用筛选样例的模糊粗糙信息熵构造特征选择的评估度量,并给出相应的特征选择算法,从而降低了算法的计算复杂度。数值试验表明该快速算法具有有效性,并且对控制筛选样例个数的参数给出了建议。     

一种回归SVM选择性集成方法

泛化能力是机器学习关心的一个根本问题,采用集成学习技术可以有效地提高泛化能力.本文提出了一种将支持向量机(Support Vector Machine, SVM)进行选择性集成回归的方法.通过引入三个阈值,可以选择合适的子SVM,从而进一步提高了整个集成学习的效率.实验结果表明,本文提出的选择性集成方法可以在一定程度上解决SVM的模型选择问题和大规模数据集的学习问题,与传统的集成方法Bagging相比具有更高的泛化能力.     

基于正则化互信息和差异度的集成特征选择

如何构造差异性大的基分类器是集成学习研究的重点,为此提出迭代循环选择法:以最大化正则互信息为准则提取最优特征子集,进而基于此训练得到基分类器;同时以错分样本个数作为差异性度量准则来评价所得基分类器的性能,若满足条件则停止,反之则循环迭代直至结束.最后用加权投票法融合所选基分类器的识别结果.通过仿真实验验证算法的有效性,以支持向量机为分类器,在公共数据集UCI上进行实验,并与单SVM及经典的Bagging集成算法和特征Bagging集成算法进行对比.实验结果显示,该方法可获得较高的分类精度.     

粗糙的方向性模糊聚类算法

根据高维数据具有方向性的特征,结合概率模糊聚类算法与粗糙集理论提出了一种粗糙的方向性模糊聚类算法。该算法在概率模糊聚类算法中引入了数据方向相似性函数,能对不确定数据进行处理。在算法中利用粗糙集中的下近似集与边界集来确定目标对象函数,属于下近似集的数据在聚类时是确定的,属于边界的数据具有模糊性。实验结果表明,该算法能有效地对高维的方向性数据进行聚类。     

基于K均值集成和SVM的P2P流量识别研究

提出基于K均值集成和支持向量机相结合的P2P流量识别模型,以保证流量识别精度和稳定性,克服聚类识别模型中参数值难以确定、复杂性高等缺点。对少量标签样本采用随机簇中心的K均值算法训练基聚类器,按最大后验概率分配簇标签,无标签样本与其最近簇标签一致;按投票机制集成无标签样本标签信息,并结合原标签样本训练支持向量机识别模型。该模型利用了集成学习稳定性和SVM在小样本集上的良好泛化性能。理论分析和仿真实验结果证明了方案的可行性。     

正则化最小二乘分类的AlignLoo模型选择方法

正则化最小二乘分类（RLSC）是一种基于二次损失函数的正则化网络,其推广能力受模型参数影响,传统的模型选择方法是耗时的参数网格搜索．为此,提出一种新颖的AlignLoo模型选择方法,其关键在于将核参数与超参数分开优化,即最大化核-目标配准以选择最优核参数,最小化RLSC的留一法误差的界以选择最优超参数．该方法效率高且不需验证样本,并在IDA数据集上进行了测试,结果表明方法有效．     

基于粗集的模糊属性值信息系统的知识获取

文章研究了一类属性取模糊值的不完备信息系统的知识获取方法。首先给出了信息系统的一种表示方法,同时采用模糊集思想,构造了这类系统的模糊不可分辨关系,并研究了这类信息系统的知识获取算法,并以一个实例,说明了这种算法的有效性。     

基于模糊粗集的不完备信息表属性约简新算法

模糊粗糙集结合了粗集和模糊集的优点,是一种有效的数据处理理论,尤其在不完备信息表数据处理中。论文对Krysckiewcz容差关系模型加以改进,充分考虑信息表中属性取值的规律,构造模糊的二元不可分辨关系,运用模糊粗糙集理论,推广属性依赖性度量概念,给出了属性约简算法,并通过一个实例验证了它的有效性,为不完备信息表的数据处理提供了一些解决问题的思路。     

Gene selection and prediction for cancer classification using support vector machines with a reject option

In cancer classification based on gene expression data, it would be desirable to defer a decision for observations that are difficult to classify. For instance, an observation for which the conditional probability of being cancer is around 1/2 would preferably require more advanced tests rather than an immediate decision. This motivates the use of a classifier with a reject option that reports a warning in cases of observations that are difficult to classify. In this paper, we consider a problem of gene selection with a reject option. Typically, gene expression data comprise of expression levels of several thousands of candidate genes. In such cases, an effective gene selection procedure is necessary to provide a better understanding of the underlying biological system that generates data and to improve prediction performance. We propose a machine learning approach in which we apply the l₁ penalty to the SVM with a reject option. This method is referred to as the l₁ SVM with a reject option. We develop a novel optimization algorithm for this SVM, which is sufficiently fast and stable to analyze gene expression data. The proposed algorithm realizes an entire solution path with respect to the regularization parameter. Results of numerical studies show that, in comparison with the standard l₁ SVM, the proposed method efficiently reduces prediction errors without hampering gene selectivity.     

A self-trained ensemble with semisupervised SVM: An application to pixel classification of remote sensing imagery

In this article, we present a semisupervised support vector machine that uses self-training approach. We then construct an ensemble of semisupervised SVM classifiers to address the problem of pixel classification of remote sensing images. Semisupervised support vector machines (S³VMs) are based on applying the margin maximization principle to both labeled and unlabeled samples. The ensemble of SVM classifiers recognizes the conceptual similarity between component classifiers from the same data source. The effectiveness of the proposed technique is first demonstrated for two numeric remote sensing data described in terms of feature vectors and then identifying different land cover regions in remote sensing imagery. Experimental results on these datasets show that employing this learning scheme can increase the accuracy level. The performance of the ensemble is compared with one of its component classifier and conventional SVM in terms of accuracy and quantitative cluster validity indices.