DSM-Forest算法对计算机多类数据学习分类性能的影响

综合运用D-S证据理论和Forest算法,构建得到一种以证据理论为基础的多类半监督分类算法。先以随机方式对多类数据进行组合分类共得到两类数据,再对初始分类器进行训练;利用D-S证据理论来融合部分分类器对未标记样本的分类情况。研究结果表明:随着分类器的数量上升,分类准确率表现为持续升高的现象,但上升幅度不断减小,还会引起学习耗时的快速上升。进行实际半监督学习时,需综合考虑分类准确率与学习耗时来确定最终的分类器数量。当可信度阈值t增大后,可以获得更多的没有参与训练的未标记样本数量。在t逐渐增大的过程中,分类器的分类正确率表现为先上升后下降的现象,并在t等于0.8的条件下到达最大值。     

一种基于证据理论的多类半监督分类算法

为了提高多类半监督分类的性能,提出了一种基于证据理论的多类协同森林算法（DSM-Co-Forest）.首先,通过"多对多"模式将有标记的多类数据随机拆分为多个二类数据集,并以此训练二类基分类器;然后,利用多个基分类器同时对未标记样本进行预测,并利用证据组合算法挑选出可信度较高的未标记样本;最后,将高可信度的未标记样本加入到原训练样本中,以迭代更新其他的基分类器,从而提高分类器的整体性能.通过在一些公共数据集上进行实验,并与其他半监督分类算法进行对比,验证了所提算法的可行性和有效性.     

基于改进的半监督主动学习的雷达信号识别

为解决在雷达信号分类识别过程中训练样本较少的问题,本文提出了联合主动学习和半监督学习,并对其伪标记样本进行迭代验证改进的分类算法。针对复杂的电磁环境下雷达信号识别率低的问题,本文将径向高斯核时频分析应用于雷达信号,并对时频分布进行奇异值分解,提取出奇异向量作为雷达信号识别的特征参数。针对传统的半监督主动学习算法的不足,利用改进的半监督主动学习算法构建分类器,该算法通过对伪标记样本进行迭代验证来提高伪标记信息的准确性,从而改善了最终的分类性能,实现了在可获取的有标签样本数量较少的条件下对雷达信号的高概率识别。仿真结果表明,本文提出的特征识别方法可以获得较高的识别率。      

基于图的Co-Training网页分类

 本文充分利用网页数据的超链接关系和文本信息,提出了一种用于网页分类的归纳式半监督学习算法:基于图的Co-training网页分类算法(Graph based Co-training algorithm for web page classification),简称GCo-training,并从理论上证明了算法的有效性.GCo-training在Co-training算法框架下,迭代地学习一个基于由超链接信息构造的图的半监督分类器和一个基于文本特征的Bayes 分类器.基于图的半监督分类器只利用少量的标记数据,通过挖掘数据间大量的关系信息就可达到比较高的预测精度,可为Bayes分类器提供大量的标记信息;反过来学习大量标记信息后的Bayes分类器也可为基于图的分类器提供有效信息.迭代过程中,二者互相帮助,不断提高各自的性能,而后Bayes分类器可以用来预测大量未见数据的类别.在Web→KB数据集上的实验结果表明,与利用文本特征和锚文本特征的Co-training算法和基于EM的Bayes算法相比,GCo-training算法性能优越.     

基于中文微博的产品评价分类算法

在中文微博产品评价分类算法中,由于常规SVM分类器在对少量标记数据的样本进行训练时,泛化能力无法满足要求,无法直接应用于微博文本的数据挖掘中,而传统的半监督TSVM算法的改造是通过对未标记数据增加惩罚函数完成的,这样会产生非凸函数优化问题。因此该文研究一种半监督高斯混合模型核的支持向量机分类算法。使用高斯混合模型对已标记和未标记数据进行训练,求取概率分布。最后通过一个对于i Phone手机的评价实例进行分析,验证了该文研究方法的优势。     

基于SVDD的半监督入侵检测研究

提出了一种基于SVDD的半监督入侵检测算法.该算法利用少量有标记正常网络数据建立两个SVDD分类器,通过相互学习来挖掘未标记数据中的隐含信息,扩大有标记正常网络数据的数量.再利用所有已标记正常网络数据用不同的单分类方法建立多个单类分类器,通过集成学习的方法得到最终的分类器.实验表明,该算法具有良好的识别性能.     

基于最佳样本标记的主动支持向量机学习策略

支持向量机通过随机选择标记的训练样本进行有监督学习,随着信息容量的增加和数据收集能力的提高,这需要耗费大量的标记工作量,给实际应用带来不少困难.本文提出了基于最佳样本标记的主动支持向量机学习策略:首先利用无监督聚类选择一个小规模的样本集进行标记,然后训练该标记样本集得到一个初始SVM分类器,然后利用该分类器主动选择最感兴趣的无标记样本进行标记,逐渐增加标记样本的数量,并在此基础上更新分类器,反复进行直到得到最佳性能的分类器.实验结果表明在基本不影响分类精度的情况下,主动学习选择的标记样本数量大大低于随机选择的标记样本数量,这大大降低了标记的工作量,而且训练速度同样有所提高.     

基于半监督学习的Web页面内容分类技术研究

针对如何使用标记和未标记数据进行Web分类这一关键性问题,探索一种生成模型和判别模型相互结合的分类器,在无标记训练集中采用最大似然估计,构造一种具有良好分类性能的半监督分类器。利用狄利克雷-多项式混合分布对文本进行建模,提出了适用于半监督学习的混合模型。针对半监督学习的EM算法收敛速度过快,容易陷入局部最优的难题,引入两种智能优化的方法——模拟退火算法和遗传算法进行分析和处理,结合这两种算法形成一种新型智能的半监督分类算法,并且验证了该算法的可行性。     

基于半监督协同训练的无人机对地目标跟踪

由于目标小、可区分性差,无人机对地目标跟踪较传统视频目标跟踪更容易丢失目标,提出一种基于l1图半监督协同训练的目标跟踪算法。算法首先提取样本的颜色和纹理特征构建两个充分冗余的视图,再以基于l1图的半监督学习算法取代传统协同训练中的监督学习方法构建单视图中的分类器,提高有限标记样本条件下的分类正确率,然后通过基于负类学习的协同训练算法协同更新两个视图的分类器,最后根据不同视图的相似度分布熵融合各分类器的分类结果实现目标跟踪。实验结果表明,该算法能够有效提高分类器的判别能力,具有良好的跟踪性能。     

基于在线半监督boosting的协同训练目标跟踪算法

基于自训练的判别式目标跟踪算法使用分类器的预测结果更新分类器自身,容易累积分类错误,从而导致漂移问题。为了克服自训练跟踪算法的不足,该文提出一种基于在线半监督boosting的协同训练目标跟踪算法(简称Co-SemiBoost),其采用一种新的在线协同训练框架,利用未标记样本协同训练两个特征视图中的分类器,同时结合先验模型和在线分类器迭代预测未标记样本的类标记和权重。该算法能够有效提高分类器的判别能力,鲁棒地处理遮挡、光照变化等问题,从而较好地适应目标外观的变化。在若干个视频序列的实验结果表明,该算法具有良好的跟踪性能。     

Semi-Supervised Nonnegative Matrix Factorization

Nonnegative matrix factorization (NMF) is a popular method for low-rank approximation of nonnegative matrix, providing a useful tool for representation learning that is valuable for clustering and classification. When a portion of data are labeled, the performance of clustering or classification is improved if the information on class labels is incorporated into NMF. To this end, we present semi-supervised NMF (SSNMF), where we jointly incorporate the data matrix and the (partial) class label matrix into NMF. We develop multiplicative updates for SSNMF to minimize a sum of weighted residuals, each of which involves the nonnegative 2-factor decomposition of the data matrix or the label matrix, sharing a common factor matrix. Experiments on document datasets and EEG datasets in BCI competition confirm that our method improves clustering as well as classification performance, compared to the standard NMF, stressing that semi-supervised NMF yields semi-supervised feature extraction.     

基于深度卷积神经网络的图上半监督极化SAR图像分类算法

为实现在只有少量标记数据情况下的高质量的图像分类,本文提出了一种基于深度卷积神经网络的图上半监督极化SAR图像分类算法.该算法将极化SAR图像建模为无向图,并基于该无向图,定义了包含半监督项,卷积神经网络项和类标光滑项的能量函数.算法所采用的卷积神经网络提取抽象的数据驱动的极化特征.半监督项约束了有标记像素的类标在分类过程中保持不变.类标光滑项约束了像素间类标的光滑性.基于对PauliRGB图像进行超像素分割而产生的初始化类标图,交替迭代优化所定义的能量函数直至其收敛.在两幅真实极化SAR图像上的实验结果表明,该算法达到了优异的分类效果,其性能优于当前已有算法.     

基于SSMFA与kNNS算法的高光谱遥感影像分类

 为了研究高光谱影像数据的维数约简和分类问题,提出了一种基于半监督边际费希尔分析(SSMFA)和kNNS的高光谱遥感影像数据分类算法.该方法利用有标记数据和无标记数据的信息获得数据的内在流形结构,通过SSMFA将高光谱数据从高维观测空间投影到低维流形空间,然后利用邻域内多个近邻点的信息通过kNNS分类器对低维空间中的数据进行分类.在Urban、Washington和Indian Pine数据集上的分类识别实验表明,该方法能够较为有效地发现高维空间中数据的内蕴结构,在每类随机选取4,6,8个有类别标记的样本10个无类别标记的样本的情况下,该方法的总体分类精度能够比MFA+kNNS提高0.8%~2.5%,比MFA+kNN提高2.8%~4.5%,比其他算法提高4.0%~7.0%,分类精度有了明显的提高.     

A novel semi-supervised canonical correlation analysis and extensions for multi-view dimensionality reduction

Canonical correlation analysis (CCA) is an efficient method for dimensionality reduction on two-view data. However, as an unsupervised learning method, CCA cannot utilize partly given label information in multi-view semi-supervised scenarios. In this paper, we propose a novel two-view semi-supervised learning method, called semi-supervised canonical correlation analysis based on label propagation (LPbSCCA). LPbSCCA incorporates a new sparse representation based label propagation algorithm to infer label information for unlabeled data. Specifically, it firstly constructs dictionaries consisting of all labeled samples; and then obtains reconstruction coefficients of unlabeled samples using sparse representation technique; at last, by combining given labels of labeled samples, estimates label information for unlabeled ones. After that, it constructs soft label matrices of all samples and probabilistic within-class scatter matrices in each view. Finally, in order to enhance discriminative power of features, it is formulated to maximize the correlations between samples of the same class from cross views, while minimizing within-class variations in the low-dimensional feature space of each view simultaneously. Furthermore, we also extend a general model called LPbSMCCA to handle data from multiple (more than two) views. Extensive experimental results from several well-known datasets demonstrate that the proposed methods can achieve better recognition performances and robustness than existing related methods.     

一种增强差异性的半监督协同分类算法

半监督学习中的Tri-Training算法打破了以往算法对充分冗余视图的限制,并通过利用三个分类器处理标记置信度和样本预测问题提高了标记效率.为进一步增强协同训练过程中分类器之间的差异性以提高性能,本文在其理论基础上提出了一种增强差异性的半监督协同分类算法.该算法利用三个不同的分类器进行学习;考虑到分类模型在更新过程中,可能会因随机抽样导致性能恶化,该算法利用基于标记类别的分层抽样法来对已标记样本集进行抽样,并通过基于分类正确率的加权投票法实现了分类器的集成,提高了预测准确率.本文通过实验对所提出算法与Tri-Training算法做了性能比较,实验结果表明本文所提出的方法在分类问题上具有较好的性能,验证了该算法的有效性和可行性.     

Weakly supervised learning based on hypergraph manifold ranking

Significant challenges still remain despite the impressive recent advances in machine learning techniques, particularly in multimedia data understanding. One of the main challenges in real-world scenarios is the nature and relation between training and test datasets. Very often, only small sets of coarse-grained labeled data are available to train models, which are expected to be applied on large datasets and fine-grained tasks. Weakly supervised learning approaches handle such constraints by maximizing useful training information in labeled and unlabeled data. In this research direction, we propose a weakly supervised approach that analyzes the dataset manifold to expand the available labeled set. A hypergraph manifold ranking algorithm is exploited to represent the contextual similarity information encoded in the unlabeled data and identify strong similarity relations, which are taken as a path to label expansion. The expanded labeled set is subsequently exploited for a more comprehensive and accurate training process. The proposed model was evaluated jointly with supervised and semi-supervised classifiers, including Graph Convolutional Networks. The experimental results on image and video datasets demonstrate significant gains and accurate results for different classifiers in diverse scenarios.     

Semi-supervised radio transmitter classification based on elastic sparsity regularized SVM

Non-collaborative radio transmitter recognition is a significant but challenging issue, since it is hard or costly to obtain labeled training data samples. In order to make effective use of the unlabeled samples which can be obtained much easier, a novel semi-supervised classification method named Elastic Sparsity Regularized Support Vector Machine (ESRSVM) is proposed for radio transmitter classification. ESRSVM first constructs an elastic-net graph over data samples to capture the robust and natural discriminating information and then incorporate the information into the manifold learning framework by an elastic sparsity regularization term. Experimental results on 10 GMSK modulated Automatic Identification System radios and 15 FM walkie-talkie radios show that ESRSVM achieves obviously better performance than KNN and SVM, which use only labeled samples for classification, and also outperforms semi-supervised classifier LapSVM based on manifold regularization.     

基于邻域最小生成树的半监督极化SAR图像分类方法

该文针对极化SAR图像分类中只有少量标记样本的问题,提出了一种基于邻域最小生成树的半监督极化SAR图像分类方法。该方法针对极化SAR图像以像素为分类对象的特点,结合自训练方法的思想,利用极化SAR图像像素点的空间信息,提出了基于邻域最小生成树辅助学习的样本选择策略,增加自训练过程中被选择无标记样本的可靠性,扩充标记样本数量,训练更好的分类器。最终用训练好的分类器对极化SAR图像进行测试。对3组真实的极化SAR图像进行测试,实验结果表明,该方法在只有少量标记样本的情况下能获得满意的分类结果,且分类正确率明显优于传统的分类算法。      

面向高光谱图像分类的半监督Laplace鉴别嵌入

为有效提取出高光谱遥感图像数据的鉴别特征,该文阐述一种融合标记样本中鉴别信息和无标记样本中局部结构信息的半监督Laplace鉴别嵌入(SSLDE)算法。该算法利用标记样本的类别信息来保持样本集的可分性,并通过构建标记样本和无标记样本的Laplace矩阵来发现样本集中局部流形结构,实现半监督的流形鉴别。在KSC 和Urban数据集上的实验结果说明:该算法具有更高的分类精度,可以有效地提取出鉴别特征信息。在总体分类精度上,该算法比半监督最大边界准则(SSMMC)算法提升了6.3%~7.4%,比半监督流形保持嵌入(SSSMPE)算法提升了1.6%~4.4%。