局部样条嵌入的正交半监督子空间学习算法

为了更加准确地对图像进行聚类与分类,提出一种基于局部样条嵌入的正交半监督子空间学习算法.通过学习一个正交投影矩阵,使得训练样本中的标注数据经过投影矩阵降维后类间离散度尽量大,类内离散度尽量小;采用局部样条回归将局部低维嵌入坐标映射成全局低维嵌入坐标,使得被投影数据保持原有流形结构,并有效地利用有标注训练样本和未标注训练样本得到优化的图像表达方式.图像聚类与分类实验的结果表明了文中算法的有效性.     

半监督局部保持高光谱影像降维算法研究

由于高维特征空间通常会导致不适定问题,针对高光谱影像的统计模式识别是非常艰巨的任务。随着波段数目的增加,高光谱影像分析则面临Hughes现象等障碍,因此促进了降维方法的发展,它能够有效处理有限训练样本下的高维数据集情形。降维算法的目标是在保持原始数据主要本征信息的同时获取高维数据样本的低维表示。为了能够有效解决高光谱影像分析中的"维数灾难"问题,从而改进后续计算复杂度,我们引入一种半监督局部保持的降维算法。     

半监督降维方法的实验比较

半监督学习是近年来机器学习领域中的研究热点之一,已从最初的半监督分类和半监督聚类拓展到半监督回归和半监督降维等领域.目前,有关半监督分类、聚类和回归等方面的工作已经有了很好的综述,如Zhu的半监督学习文献综述.降维一直是机器学习和模式识别等相关领域的重要研究课题,近年来出现了很多将半监督思想用于降维,即半监督降维方面的工作.有鉴于此,试图对目前已有的一些半监督降维方法进行综述,然后在大量的标准数据集上对这些方法的性能进行实验比较,并据此得出了一些经验性的启示.     

基于半监督鉴别分析的高分辨率SAR影像建筑区提取

针对建筑物在城市化发展规划、地理国情信息系统更新、数字化城市以及军事侦察等方面的迫切要求,提出将半监督鉴别分析(Semi-supervised Discriminant Analysis,SDA)算法应用于高分辨率SAR影像的建筑区提取中,实现快速提取建筑区信息以及提高城市地物目标识别能力。以Radarsat-2影像和TerraSAR-X影像为实验数据,基于灰度共生矩阵计算影像的各种纹理特征;结合SDA算法进行特征提取,并以新特征作为大津法(Otsu)的输入提取建筑区;最后对分类结果进行后处理。实验结果与线性鉴别分析(Linear Discriminant Analysis,LDA)算法和局部保持投影(Local Preserving Projection,LPP)算法进行比较,结果表明:SDA算法具有较强的泛化能力,在先验类别信息较少时,适用于高分辨率SAR影像的特征提取,可以快速有效地提取建筑区信息。     

张量图像上的半监督降维算法

传统的图像数据(n1×n2)一般表示为欧式空间R(n1×n2)上的一个向量,这样像素之间的空间关系将会丢失.因此,文中提出一种张量型的半监督降维算法.首先把图像看成张量空间Rn1☉Rn2中的一个点.再利用图像之间的成对约束--正约束和负约束,对图像进行半监督降维.降维后的数据较好地保留图像的局部结构.在大量人脸数据集上的实验验证该算法的有效性.     

半监督学习研究的述评

监督学习需要利用大量的标记样本训练模型,但实际应用中,标记样本的采集费时费力。无监督学习不使用先验信息,但模型准确性难以保证。半监督学习突破了传统方法只考虑一种样本类型的局限,能够挖掘大量无标签数据隐藏的信息,辅助少量的标记样本进行训练,成为机器学习的研究热点。通过对半监督学习研究的总趋势以及具体研究内容进行详细的梳理与总结,分别从半监督聚类、分类、回归与降维以及非平衡数据分类和减少噪声数据共六个方面进行综述,发现半监督方法众多,但存在以下不足：（1）部分新提出的方法虽然有效,但仅通过特定数据集进行了实证,缺少一定的理论证明;（2）复杂数据下构建的半监督模型参数较多,结果不稳定且缺乏参数选取的指导经验;（3）监督信息多采用样本标签或成对约束形式,对混合约束的半监督学习需要进一步研究;（4）对半监督回归的研究匮乏,对如何利用连续变量的监督信息研究甚少。     

半监督边缘判别嵌入与局部保持的维度约简

为了对高维数据进行降维处理,提出了半监督学习的边缘判别嵌入与局部保持的维度约简算法．通过最小化样本与其所属类别的中心点之间的距离,使得样本在投影子空间中能够保持其领域的拓扑结构;再通过最大化不同类别边缘间的距离,使得类别间的分离度在投影子空间中得到增强．实验结果表明：半监督边缘判别嵌入与局部保持的维度约简算法能够获得初始特征空间的较好的投影子空间．     

半监督的局部保留投影降维方法

针对现有数据降维算法不能同时利用标记样本和无标记样本的问题,提出一种半监督局部保留投影降维方法。定义类间相似度和类内相似度,同时最大化类间分离度、最小化类内分离度,保持样本总体结构和局部结构,从而提高数据降维的效果。在人工数据集、UCI数据库和Olivetti人脸库中的测试结果表明,该方法的识别率较高。     

基于半监督算法的高光谱影像特征提取仿真

高光谱影像包括待测物的空间、光谱和辐射三重信息,且图像信息具有维度高、空间相关性弱、特征非线性强的特点,导致其空间特征序列混乱,特征提取难度大。于是提出基于半监督算法的高光谱影像特征提取方法。应用半监督算法对高光谱图像中的高维数据降维处理,并基于降维结果完成高光谱图像的去模糊。高光谱图像完成降维去模糊后,根据特征学习模型学习高光谱影像数据,获取图像深层特征。在像元空间内对深度特征以及空间信息完成空、谱的联合,实现高光谱影像特征的提取。实验结果表明,所提方法应用下影像特征点在特征空间内聚类效果好,查全率和查准率均能达到95%以上,说明上述方法的应用性能更优。     

基于分块二维线性鉴别分析的人脸识别

基于2DLDA方法,提出了一种基于图像分块的二维线性鉴别分析(M2DLDA)的人脸识别方法。该方法首先对原始人脸图像进行必要的预处理后进行分块,再对分块后的子图像分别采用2DLDA方法进行特征提取,最后用最小距离分类器进行识别。该方法的优点：分块后能有效的抽取人脸图像的局部特征有利于分类;降低了2DLDA方法提取的特征矩阵的维数;特征提取是基于图像矩阵的,抽取方便快速。在ORL人脸数据库上的实验结果表明：该方法在识别性能上优于2DLDA方法。     

基于多视图的半监督集成学习方法

针对集成学习方法中分类器差异性不足以及已标记样本少的问题,提出了一种新的半监督集成学习算法,将半监督方法引入到集成学习中,利用大量未标记样本的信息来细化每个基分类器,并且构造差异性更大的基分类器,首先通过多视图方法选取合适的未标记样本,并使用多视图方法将大量繁杂的特征属性分类,使用不同的特征降维方法对不同的视图进行降维...     

基于半监督LDA的文本分类应用研究

在如今信息数据大爆炸的时代,数据的增长呈现指数级增长,而且其中大部分数据是非结构化数据,这些数据中蕴藏着大量且重要的知识等待着我们用合理的办法将其挖掘出来,如何方便合理快速的进行文本分类也是一个非常重要的课题。LDA模型是一种无监督的模型,它可以发现隐性的主题,为了更有效的发现隐性主题,本文提出一种基于半监督的LDA主题模型,找到一个主题集作为隐性层的知识集,通过这种方法找到的主题与文本更相关,另外,将LDA模型与基于半监督LDA模型应用于文本的特征提取,并与其它特征提取方法比对,实验表明,半监督LDA模型性能略好。     

半监督局部维数约减

在挖掘和分析高维数据任务中,有时只能获得有限的成对约束信息(must-link约束和cannot-link约束),由于缺乏数据类标号信息,监督维数约减方法常常不能得到满意的结果。在这种情况下,使用大量的无标号样本可以提高算法的性能。文中借助于成对约束信息和大量无标号样本,提出半监督局部维数约减方法(SLDR)。SLDR集成数据的局部信息和成对约束寻找一个最优投影,当数据被投影到低维空间时,不仅cannot-link约束中样本点对之间距离更远、must-link约束中样本点对之间距离更近,数据的内在几何信息还被保持。而且SLDR能推广为非线性方法,使之能够适应非线性数据的维数约减。在各种数据集上的实验结果充分验证了所提出算法的有效性。     

自适应嵌入的半监督多视角特征降维方法

半监督模式下的多视角特征降维方法,大多并未考虑到不同视角间特征投影的差异,且由于缺乏对降维后的低维矩阵的稀疏约束,无法避免噪声和其他不相关特征的影响。针对这两个问题,提出自适应嵌入的半监督多视角特征降维方法。首先,将投影从单视角下相同的嵌入矩阵扩展到多视角间不同的矩阵,引入全局结构保持项;然后,将无标签的数据利用无监督方法进行嵌入投影,对于有标签的数据,结合分类的判别信息进行线性投影;最后,再将两类多投影映射到统一的低维空间,使用组合权重矩阵来保留全局结构,很大程度上消除了噪声及不相关因素的影响。实验结果表明,所提方法的聚类准确率平均提高了约9%。该方法较好地保留了多视角间特征的相关性,捕获了更多的具有判别信息的特征。     

有约束的半监督聚类方法

在数据挖掘领域的很多实际应用中,获取大量的无标签样本非常容易,而获取有标签的样本通常需要付出较大的代价,并且有时不可能得到所有的数据的标签,半监督聚类就是使用一小部分的标签数据对无标签数据的聚类过程进行指导。提出了一种新的半监督聚类算法,它利用标签数据提供的信息来初步确定数据的相似性和不相似性标准,并在聚类过程中对其进行自动调整,利用它们对聚类过程进行约束和指导。通过在标准数据集高斯数据集上的测试,该算法相对于无指导聚类来说有更高的精度和更快的速度。     

基于随机特征子空间的半监督情感分类方法研究

情感分类是目前自然语言处理领域的一个热点研究问题。该文关注情感分类中的半监督学习方法(即基于少量标注样本和大量未标注样本进行学习的方式),提出了一种新的基于动态随机特征子空间的半监督学习方法。首先,动态生成多个随机特征子空间;然后,基于协同训练(Co-training)在每个特征子空间中挑选置信度高的未标注样本;最后使用这些挑选出的样本更新训练模型。实验结果表明我们的方法明显优于传统的静态产生方式及其他现有的半监督方法。此外该文还探索了特征子空间的划分数目问题。     

基于半监督动态深度融合神经网络的软测量

半监督深度神经网络建模方法已被广泛应用于软测量,但基于分层训练的网络在特征提取过程局限于挖掘每层输入的有效信息,忽略了原始输入有效信息的丢失,逐层累积,从而导致原始输入的特征表示准确率低下;另外,缺乏挖掘过程时空相关性,也会导致模型性能退化。提出一种半监督动态深度融合神经网络（semisupervised dynamics deep fusion neural network,SS-DDFNN）方法。该方法在特征提取网络的每层都重构原始输入数据并预测质量变量,通过在预训练损失中使用重构原始输入误差,减小原始输入有效信息的丢失;同时融入注意力机制和t分布随机邻域嵌入提取时空相关信息,应用提取的特征建立门控神经网络质量预测模型。实验结果显示,相较于SAE、GSTAE和SIAE模型,所提方法在脱丁烷塔案例中的预测精度分别提升了2.8%、1.1%和0.9%;在工业聚乙烯生产案例中,分别提升了2.7%、1.0%和0.7%。实验结果验证了所提方法的有效性。     

一种增强的局部保持投影方法

维数灾难是机器学习算法在高维数据上学习经常遇到的难题,基于局部保持的投影方法（Locality Preserving Projection,LPP）,可以很好地解决维数灾难难题。然而传统LPP的相似性度量方法对噪音敏感,为此利用鲁棒路径相似的度量方法,提出一种增强的局部保持投影方法。在高维流形数据上的降维实验证实了该方法对噪声和离群点的有效性。     

融合关系特征的半监督图像分类方法研究

半监督深度学习模型具有泛化能力强,所需样本数较少等特点,经过10多年的发展,在理论和实际应用方面都取得了巨大的进步,然而建模样本内部“隐含”关系时模型缺乏解释性以及构造无监督正则化项难度较大等问题限制了半监督深度学习的进一步发展。针对上述问题,从丰富样本特征表示的角度出发,构造了一种新的半监督图像分类模型—融合关系特征的半监督分类模型（semi-supervised classification model fused with relational features,SCUTTLE）,该模型在卷积神经网络模型(convolutional neural networks,CNN)基础上引入了图卷积神经网络(graph convolutional networks,GCN),尝试通过GCN模型来提取CNN模型各层的低、高级特征间的关系,使得融合模型不仅具有特征提取能力,而且具有关系表示能力。通过对SCUTTLE模型泛化性能进行分析,进一步说明了该模型在解决半监督相关问题时的有效性。数值实验结果表明,三层CNN与一层GCN的融合模型在CIFAR10、CIFAR100、SVHN 3种数据集上与CNN监督学习模型的精度相比均可提升5%~6%的精度值,在最先进的ResNet、DenseNet、WRN（wide residual networks）与GCN的融合模型上同样证明了本文所提模型的有效性。     

一种基于多视图数据的半监督特征选择和聚类算法

高维数据中许多特征之间互不相关或冗余,这给传统的学习算法带来了巨大的挑战。为了解决该问题,特征选择应运而生。与此同时,许多实际问题中数据存在多个视图而且数据的标签难以获取,多视图学习和半监督学习成为机器学习中的热点问题。本文研究怎样从"部分标签"的多视图数据中选择最大相关最小冗余的特征子集,提出一种基于多视图的半监督特征选择方法。为了剔除冗余和无关的特征,探索蕴含于多视图数据中的互补信息以及每个视图中不同特征之间的冗余关系,并利用少量标签数据蕴含的信息协同未标签数据同时进行特征选择。实验结果验证了本算法能够获得很好的特征选择效果及聚类效果。