半监督集成学习综述

半监督学习和集成学习是目前机器学习领域中两个非常重要的研究方向,半监督学习注重利用有标记样本与无标记样本来获得高性能分类器,而集成学习旨在利用多个学习器进行集成以提升弱学习器的精度。半监督集成学习是将半监督学习和集成学习进行组合来提升分类器泛化性能的机器学习新方法。首先,在分析半监督集成学习发展过程的基础上,发现半监督集成学习起源于基于分歧的半监督学习方法;然后,综合分析现有半监督集成学习方法,将其分为基于半监督的集成学习与基于集成的半监督学习两大类,并对主要的半监督集成方法进行了介绍;最后,对现有研究进了总结,并讨论了未来值得研究的问题。     

半监督拉普拉斯特征映射算法

为了使流形学习方法具有半监督的特点,利用流形上某些已知低维信息的数据去学习推测出其它数据的低维信息,扩大流形学习算法的应用范围,把拉普拉斯特征映射算法(Laplacian Eigenmap,LE)与半监督的机器学习相结合,提出一种半监督的拉普拉斯特征映射算法(semi-supervised Laplacian Eigenmap,SSLE),这种半监督的流形学习算法在分类识别等问题上,具有很好的效果.模拟实验和实际例子都表明了SSLE算法的有效性.     

半监督学习研究的述评

监督学习需要利用大量的标记样本训练模型,但实际应用中,标记样本的采集费时费力。无监督学习不使用先验信息,但模型准确性难以保证。半监督学习突破了传统方法只考虑一种样本类型的局限,能够挖掘大量无标签数据隐藏的信息,辅助少量的标记样本进行训练,成为机器学习的研究热点。通过对半监督学习研究的总趋势以及具体研究内容进行详细的梳理与总结,分别从半监督聚类、分类、回归与降维以及非平衡数据分类和减少噪声数据共六个方面进行综述,发现半监督方法众多,但存在以下不足：（1）部分新提出的方法虽然有效,但仅通过特定数据集进行了实证,缺少一定的理论证明;（2）复杂数据下构建的半监督模型参数较多,结果不稳定且缺乏参数选取的指导经验;（3）监督信息多采用样本标签或成对约束形式,对混合约束的半监督学习需要进一步研究;（4）对半监督回归的研究匮乏,对如何利用连续变量的监督信息研究甚少。     

基于多视图未标记数据的机器学习

半监督学习和主动学习,与传统的监督学习不同,能同时在少量的已标记数据和大量的未标记数据上进行学习,从而提高性能。半监督学习和主动学习,最初是建立在单视图数据上的,但最近的研究表明对多视图数据,它们也能产生很好效果。本文综述多视图数据半监督学习和主动学习基本思想、常用算法和最新研究进展,并指出需进一步研究的几个问题。     

基于协同训练的半监督学习研究

半监督学习,与传统的监督学习不同,能同时在少量的已标记数据和大量的未标记数据上进行学习,从而提高性能。协同训练是一种流行的半监督学习算法,已成为目前机器学习和模式识别领域中的一个研究热点。综述半监督学习协同训练的基本思想、研究现状、常用算法,分析目前存在的主要困难,并指出需进一步研究的几个问题。     

基于半监督深度学习法的网络大数据集成挖掘

传统的数据集成挖掘方法在集成与挖掘两个步骤之间存在较大误差,导致大数据出现乱码问题,数据显示不全.为解决上述问题,提出基于半监督深度学习法的大数据集成挖掘方法.利用有监督与无监督深度学习间的机器学习,组成半监督深度学习.利用支持向量数据组建立超球体.依据超球体结合标记样本,组建半监督深度学习数据检测模型,筛选样本特征词,利用半监督深度学习方法训练单分类SVDD模型,实现网络大数据集成挖掘.仿真结果证明,所提方法能够高精度、高效的对大数据完成集成挖掘,具有理想的应用性能.     

浅析SVM算法及其在实验中的讨论

随着SVM分类算法的不断完善和优化,其在人工智能及机器学习领域得到了广泛应用,并且也深入到了实际应用中。支持向量机早期仅用于监督学习,这些年随着半监督学习的迅速发展,支持向量机在半监督学习中也起到了很重要的作用。在如何划分低维空间向量集是一个普遍存在的难题,为了解决这个问题,我们需要找到一个合适的核函数,这样就可以能够有一个较好的存在于高维空间的分类函数。在支持向量机的理论中,每一个核函数都会产生一个不一样的算法,而这种算法的基础则是统计学理论。     

基于局部学习的半监督多标记分类算法

针对在求解半监督多标记分类问题时通常将其分解成若干个单标记半监督二类分类问题从而导致忽视类别之间内在联系的问题,提出基于局部学习的半监督多标记分类方法。该方法避开了多个单标记半监督二类分类问题的求解,采用“整体法”的研究思路,利用基于图的方法,引入基于样本的局部学习正则项和基于类别的拉普拉斯正则项,构建了问题的正则化框架。实验结果表明,所提算法具有较高的查全率和查准率。     

复杂电磁环境下通信辐射源个体细微特征提取方法

针对实际复杂电磁环境下通信辐射源个体细微特征提取面临的标签样本缺失问题,将半监督学习理论引入到通信辐射源细微特征提取,提出一种半监督框架下的局部近邻保持正则化判别分析方法。该方法在双谱估计的基础上,通过向线性判别模型中有效融入由无标签样本所提供的流形结构信息,从而将线性判别方法扩展到半监督学习。在实际采集的同种型号、同种厂家、相同批次以及相同工作模式的不同FM通信电台数据集上的实验结果表明,该方法能够获得更优的分类识别性能。     

半监督学习及其在数据挖掘中的应用

半监督学习是介于监督学习与非监督学习之间的一种机器学习方式。目前半监督学习在机器学习和模式识别中的研究在进一步深入。该文主要探讨的是几种已有半监督学习算法。     

基于差异半监督学习的相关理论分析

基于差异的半监督学习属于半监督学习和集成学习的结合,是近年来机器学习领域的研究热点.但相关的理论研究较缺乏,且都未考虑存在分布噪声的情况.文中首先针对基于差异的半监督学习的特点,定义一种分类噪声和分布噪声的混合噪声(HCAD).其次给出算法在HCAD噪声下的可能近似正确(PAC)理论分析及其应用实例.最后基于投票边缘函数,推导出在HCAD噪声下多分类器系统的泛化误差上界,并给出相关证明.文中开展的理论研究可用于设计基于差异的半监督学习算法及评估算法的泛化能力,具有广阔的应用前景.     

半监督中心最大化模糊C均值算法

在模式识别领域内,对于数据的分析方法一般分为:有监督的学习方法及无监督的学习方法。而这两类方法均与实际应用不符,一般生产所获之数据既不可能毫无信息可知又不可能全部信息已知。此外,由于实际生产的干扰因素过多导致所获之数据样本信息通常包含一些干扰信息,这些数据对传统的分析方法影响较大,其中尤以聚类方法最为敏感。针对以上两大问题,以经典的无监督聚类算法FCM算法为基础,通过引入半监督性质的隶属度补偿项以及减弱干扰点影响的中心最大化项构造出了新的聚类算法称之为半监督中心最大化模糊C均值算法,简称SCM-FCM。通过在UCI数据集上的仿真实验结果表明该算法较之于传统的无监督聚类分析方法有着更好的应用价值。     

结合半监督核的高斯过程分类

提出了一种半监督算法用于学习高斯过程分类器, 其通过结合非参数的半监督核向分类器提供未标记数据信息. 该算法主要包括以下几个方面: 1)通过图拉普拉斯的谱分解获得核矩阵, 其联合了标记数据和未标记数据信息; 2)采用凸最优化方法学习核矩阵特征向量的最优权值, 构建非参数的半监督核; 3)把半监督核整合到高斯过程模型中, 构建所提出的半监督学习算法. 该算法的主要特点是: 把基于整个数据集的非参数半监督核应用于高斯过程模型, 该模型有着明确的概率描述, 可以方便地对数据之间的不确定性进行建模, 并能够解决复杂的推论问题. 通过实验结果表明, 该算法与其他方法相比具有更高的可靠性.     

半监督深度学习图像分类方法研究综述

作为人工智能领域近十年来最受关注的技术之一,深度学习在诸多应用中取得了优异的效果,但目前的学习策略严重依赖大量的有标记数据.在许多实际问题中,获得众多有标记的训练数据并不可行,因此加大了模型的训练难度,但容易获得大量无标记的数据.半监督学习充分利用无标记数据,提供了在有限标记数据条件下提高模型性能的解决思路和有效方法,在图像分类任务中达到了很高的识别精准度.首先对于半监督学习进行概述,然后介绍了分类算法中常用的基本思想,重点对近年来基于半监督深度学习框架的图像分类方法,包括多视图训练、一致性正则、多样混合和半监督生成对抗网络进行全面的综述,总结多种方法共有的技术,分析比较不同方法的实验效果差异,最后思考当前存在的问题并展望未来可行的研究方向.     

基于混合样本自动数据增强技术的半监督学习方法

基于一致性的半监督学习方法通常使用简单的数据增强方法来实现对原始输入和扰动输入的一致性预测。在有标签数据的比例较低的情况下,该方法的效果难以得到保证。将监督学习中一些先进的数据增强方法扩展到半监督学习环境中,是解决该问题的思路之一。基于一致性的半监督学习方法MixMatch,提出了基于混合样本自动数据增强技术的半监督学习方法AutoMixMatch,在数据增强阶段采用自动数据增强技术,并在样本混合阶段提出了一种混合样本算法,用于提升对无标签样本的利用效果。通过图像分类方面的实验来测试所提方法的性能,在图像分类基准数据集中,所提方法在3种有标签样本比例下的分类效果均优于对比的几个主流半监督分类方法,验证了所提方法的有效性。此外,所提方法在有标签数据占训练数据比例极低(仅为0.05%)的情况下表现更好,在SVHN数据集上的实验结果表明,所提方法的分类错误率比MixMatch低30.17%。     

基于半监督学习的变种群规模区间适应值交互式遗传算法

为了减轻用户疲劳并增强算法的搜索性能,本文在变种群规模交互式遗传算法的基础上引入协同训练半监督学习方法,提出基于半监督学习的变种群规模区间适应值交互式遗传算法.根据对大规模种群的聚类结果,给出标记样本和未标记样本的获取方法;结合半监督协同学习器逼近误差的改变,提出高可信度未标记样本的选择策略;采用半监督协同学习机制训练两个径向基函数(RBF)神经网络,构造精度高泛化能力强的代理模型;在进化过程中,利用代理模型估计大种群规模进化个体适应值,并根据估计偏差更新代理模型.算法的理论分析及其在服装进化设计系统中的应用结果说明了算法的有效性.     

基于Hessian半监督特征选择的网络图像标注

针对半监督特征选择算法进行了研究,采用有标签图像和无标签图像的半监督特征选择方法来提升网络图像标注的性能。基于二阶Hessian能提出一个新的半监督特征选择方法,该方法具有更好的局部拓扑结构保持特性和推断能力,从而能够克服基于图拉普拉斯半监督学习方法的缺点。将所提出的半监督特征选择算法应用到网络图像标注任务中,在两个大规模网络图像数据库上进行了实验,结果表明Hessian半监督特征选择方法优于拉普拉斯半监督特征选择方法,适合大规模网络图像标注。     

半监督分类方法的研究

半监督学习是人工智能研究领域中的重要课题,结合有监督学习和无监督学习的优点来提高学习器的性能。针对有监督分类和无监督分类不能充分利用已标记样本和未标记样本的问题,介绍了半监督分类方法及其基本思想、研究现状、应用领域与常用算法,分析了当前半监督分类算法研究中的主要困难,同时提出了需要进一步研究的若干问题。     

半监督多标记学习的基因功能分析

传统的机器学习主要解决单标记学习,即一个样本仅有一个标记.在生物信息学中,一个基因通常至少具有一个功能,即至少具有一个标记,与传统学习方法相比,多标记学习能更有效地识别生物相关基因组的功能.目前的研究主要集中在监督多标记学习算法.然而,研究半监督多标记学习算法,从已标记和未标记的基因表达数据中学习,仍然是未解决问题.提出一种有效的基因功能分析的半监督多标记学习算法SML_SVM.首先,SML_SVM根据PT4方法,将半监督多标记学习问题转化为半监督单标记学习问题,然后根据最大后验概率原则(MAP)和K近邻方法估计未标记样本的标记,最后,用SVM求解单标记学习问题.在yeast基因数据和genbase蛋白质数据上的实验表明,SML_SVM性能比基于PT4方法的MLSVM和自训练MLSVM更优.     

正例半监督学习眉毛图像分割

针对传统交互图像分割方法需要同时标注背景和前景的问题,提出一种新的交互图像分割方法——正例半监督学习图像分割。该方法结合正例半监督学习和图半监督学习,仅需要在感兴趣的图像区域标记少量像素点,就可以完成该区域的分割。在北工大眉毛图像数据库上的实验表明本文提出的方法与图半监督学习、随机游走和Lazy Snapping相比具有更稳定的分割效果。