Gene expression data classification based on improved semi-supervised local Fisher discriminant analysis

A new manifold learning method, called improved semi-supervised local fisher discriminant analysis (iSELF), for gene expression data classification is proposed. Motivated by the fact that semi-supervised and parameter-free are two desirable and promising characteristics for dimension reduction, a new difference-based optimization objective function with unlabeled samples has been designed. The proposed method preserves the global structure of unlabeled samples in addition to separating labeled samples in different classes from each other. The semi-supervised method has an analytic form of the globally optimal solution and it can be computed based on Eigen decompositions. Experiments on synthetic data and SRBCT, DLBCL and brain tumor gene expression datasets are performed to test and evaluate the proposed method. The experimental results and comparisons demonstrate the effectiveness of the proposed method.     

基于半监督流形学习的人脸识别方法

如何有效地将流形学习(Manifold learning,ML)和半监督学习(Semi-supervised learning,SSL)方法进行结合是近年来模式识别和机器学习领域研究的热点问题.提出一种基于半监督流形学习(Semi-supervised manifold learning,SSML)的人脸识别方法,它在部分有标签信息的人脸数据的情况下,通过利用人脸数据本身的非线性流形结构信息和部分标签信息来调整点与点之间的距离形成距离矩阵,而后基于被调整的距离矩阵进行线性近邻重建来实现维数约简,提取低维鉴别特征用于人脸识别.基于公开的人脸数据库上的实验结果表明,该方法能有效地提高人脸识别的性能.     

子空间半监督Fisher判别分析

Fisher判别分析寻找一个使样本数据类间散度与样本数据类内散度比值最大的子空间, 是一种很流行的监督式特征降维方法. 标注样本数据所属的类别通常需要大量的人工, 消耗大量的时间, 付出昂贵的成本. 为了解决同时利用有类别信息的样本数据和没有类别信息的样本数据用于寻找降维子空间的问题, 我们提出了一种子空间半监督Fisher判别分析方法. 子空间半监督Fisher判别分析寻找这样一个子空间, 这个子空间即保留了从有类别信息的样本数据中学习的类别判别结构, 也保留了从有类别信息的样本数据和没有类别信息的样本数据中学习的样本结构信息. 我们还推导了基于核的子空间半监督Fisher判别分析方法. 通过人脸识别实验验证了本文算法的有效性.     

基于低密度分割几何距离的半监督KFDA算法

提出了一种基于低密度分割几何距离的半监督KFDA（kernel Fisher discriminant analysis）算法（semisupervised KFDA based on low density separation geometry distance，简称SemiGKFDA）.该算法以低密度分割几何距离作为相似性度量，通过大量无标签样本，提高KFDA算法的泛化能力.首先，利用核函数将原始空间样本数据映射到高维特征空间中；然后，通过有标签样本和无标签样本构建低密度分割几何距离测度上的内蕴结构一致性假设，使其作为正则化项整合到费舍尔判别分析的目标函数中；最后，通过求解最小化目标函数获得最优投影矩阵.人工数据集和UCI数据集上的实验表明，该算法与KFDA及其改进算法相比，在分类性能上有显著提高.此外，将该算法与其他算法应用到人脸识别问题中进行对比，实验结果表明，该算法具有更高的识别精度.     

基于核正交半监督鉴别分析的人脸识别算法

针对人脸识别中的非线性特征提取和有标记样本不足问题,提出了在核空间具有正交性半监督鉴别矢量的计算方法。算法利用核函数将人脸数据映射到高维非线性空间,在该空间采用边界Fisher判别分析（Marginal Fisher Analysis,MFA）算法将少量有类别标签样本进行降维,同时采用无监督鉴别投影（Unsupervised Discriminant Projection,UDP）对大量无标签样本进行学习,以半监督的方法构造算法的目标函数,在特征值求解时以正交方式找出最优投影向量,进行人脸识别。通过实验,在ORL和YALE人脸数据库上验证了该算法的有效性。     

基于Log-Gabor小波和二维半监督判别分析的人脸图像检索*

针对光照、表情变化给人脸识别造成的影响以及大型人脸图像库的训练样本中只有部分标记的问题,结合多通道Log-Gabor小波和半监督流形学习算法,提出一种新的人脸图像检索方法。该方法首先使用Log-Ga-bor小波对人脸图像进行滤波获得特征矩阵,进一步利用提出的二维半监督流形学习算法进行维数约简,得到低维判别特征。由于该方法直接作用于Log-Gabor特征矩阵,克服了小样本带来的奇异问题;另外,通过充分利用标记和未标记信息,还保留了数据的局部流形结构,增强了特征匹配的相似性。在CMU PIE和AR人脸数据库上的实验结果表明,该方法有效且优于其他方法。     

一种半监督流形学习的人脸识别方法

针对传统线性降维方法忽略数据局部结构特性的问题,提出了一种基于半监督流形学习的方法。针对人脸识别采用图像欧式距离来选择各样本点的K近邻,由此得到修改后无监督判别投影中的邻接矩阵,在传统的无监督判别投影中,融入类标签信息获得几何最优投影。通过在人脸库上的大量比较实验,验证了该方法的准确性和有效性。     

基于测地距离的半监督增强

在许多模式识别任务中,研究者常常使用有标记样本的信息,而忽略无标记样本信息,但在现实生活中有标记样本的获得可能需要花费大量的人力、物力、财力,而无标记数据的获得却相对容易得多。如何利用无标记的数据来增强分类器的性能成为近年来模式识别中的研究热点。在以往的半监督增强学习中,主要是根据无标记样本和有标记样本的相似度来利用无标记样本的,相似度主要使用欧氏距离来度量,而欧氏距离只反映样本间的空间位置关系,没有反映样本间的流形信息。因此,提出了基于测地距离的半监督增强学习算法,从而可以反映样本空间的流形信息。多个数据库上的实验结果表明提出算法的有效性。     

Semi-supervised learning using hidden feature augmentation

Semi-supervised learning methods are conventionally conducted by simultaneously utilizing abundant unlabeled samples and a few labeled samples given. However, the unlabeled samples are usually adopted with assumptions, e.g., cluster and manifold assumptions, which degrade the performance when the assumptions become invalid. The reliable hidden features embedded in both the labeled and the unlabeled samples can potentially be used to tackle this issue. In this regard, we investigate the feature augmentation technique to improve the robustness of semi-supervised learning in this paper. By introducing an orthonormal projection matrix, we first transform both the unlabeled and labeled samples into a shared hidden subspace to determine the connections between the samples. Then we utilize the hidden features, the raw features, and zero vectors determined to develop a novel feature augmentation strategy. Finally, a hidden feature transformation (HTF) model is proposed to compute the desired projection matrix by applying the maximum joint probability distribution principle in the augmented feature space. The effectiveness of the proposed method is evaluated in terms of the hinge and square loss functions respectively, based on two types of semi-supervised classification formulations developed using only the labeled samples with their original features and hidden features. The experimental results have demonstrated the effectiveness of the proposed feature augmentation technique for semi-supervised learning.     

融合Garbor小波和流形学习的人脸表情识别

通过Garbor小波提取人脸表情特征,为降低Garbor变换后向量维数和提取有效的鉴别特征,将手动选取特征点和监督局部线性嵌入（SLLE）结合起来,利用人脸表情图像数据本身的非线性流形结构信息和样本标签信息来调整点到点之间的距离,并形成距离矩阵,而后基于被调整的距离矩阵进行线性近邻重建来实现维数约简,提取低维鉴别特征用于人脸表情识别。结果表明该方法能更为有效地提取反映表情状态的特征,识别率优于传统的PCA算法,取得了较好的识别效果。最后实验分析了SLLE算法近邻数K和嵌入维数对识别率的影响,得到了SLLE算法的最优近邻数K和低维嵌入维数。     

结合均值漂移的基于图的半监督图像分类

针对基于图的半监督流形正则化图像分类算法需要大量无标记样本训练分类器,空间和时间复杂度高,甚至不能处理大规模图像,且对背景或目标复杂的图像分类错误率较高的问题,提出了结合均值漂移（mean shift）的基于图的半监督流形正则化图像分类算法。该方法对基于图的半监督流形正则化分类算法的改进主要体现在两方面,首先是通过mean shift算法对图像进行了平滑,以平滑后的图像作为分类对象;其次不是利用所有无标记样本,而是只采用少量无标记样本。实验结果表明:图像的平滑使得目标和背景区域的特征更为一致,从而利用较少的样本就可以提高分类器的正确率;同时大大降低了算法的复杂度,使得基于图的半监督分类算法用于分类大规模图像成为可能。     

人脑半监督学习机理分类法

针对NN(nearest neighbor)和kNN(k-nearest neighbor)方法在标记样本较少时,分类正确率不高的缺陷,根据人脑分类样本时,自觉地利用未标记样本的半监督学习机理,提出一种人脑半监督学习机理分类方法。该方法利用未标记样本间的近邻关系,减少了标记样本数量对分类正确率的影响程度。在MNIST手写体数字库和ORL人脸库上的样本分类实验表明,在标记样本数较少的情况下,该方法的分类正确率比NN和kNN方法高得多。     

小样本下基于Wasserstein距离的半监督学习算法

近年来,基于大规模标记数据集的深度神经网络模型在图像领域展现出优秀的性能,但是大量标记数据昂贵且难以收集.为了更好地利用无标记数据,提出了一种半监督学习方法Wasserstein consistency training(WCT),通过引入Jensen-Shannon散度来模拟协同训练并组织大量未标记数据来提高协同训练...     

基于概率类和不相关判别的半监督局部Fisher 方法

Fisher 判别分析是统计模式识别中经典的有监督维数约简方法, 可以在最大化类间散度的同时最小化类内散度, 但存在分析过程中仅使用有标记数据而忽略无标记数据的问题. 鉴于此, 提出基于概率类和不相关判别的半监督局部Fisher (SLFisher) 方法, 以实现半监督学习的高维映射到低维的类间数据对尽可能地分离, 且类内邻近数据尽可能地紧凑. 采用2 组标准数据集进行实验, 结果表明了SLFisher 方法能够有效提高识别率.     

基于全局流形结构的半监督学习室内定位算法

针对传统基于WLAN的指纹定位方法中,因需要密集采集参考点标记数据带来的指纹库构建工作开销大的问题,提出一种基于全局特征保持的半监督流形对齐指纹库构建算法。该算法仅利用少量采集时间开销大的标记数据,结合大量易采集的未标记数据,通过求解流形对齐目标函数,实现对未标记数据的位置标定,减少指纹库构建的消耗。同时,运用测地线距离得到全局流形结构以充分挖掘少量标记数据中的对应特征,提升在少量标记数据情况下构建的指纹库精度。真实场景的实验结果表明,所提算法可以显著降低离线指纹库的构建开销,同时可以取得较优的定位精度。     

一种自适应邻域选择半监督判别分析算法

为克服边界Fisher判别分析(MFA)只利用少量有标记样本和构建邻域不能充分反映流形学习对邻域要求的缺点,提出一种基于局部线性结构的自适应邻域选择半监督判别分析的算法。采用自适应算法扩大或者缩小近邻系数k来构建邻域以保持局部线性结构。MFA通过少量有类别标签样本进行降维的同时UDP对大量无标签样本进行学习,以半监督的方法对高维人脸数据进行维数约减。最后,在ORL和YALE人脸数据库通过实验结果验证了该算法的有效性。     

基于Nystrm低阶近似的半监督流形排序图像检索

实际图像检索过程中,用户提供的相关反馈有限,但存在大量未标记图像数据.本文在前期半监督流形图像检索工作的基础上,提出一种基于Nystr¨om低阶近似的半监督流形排序图像检索方法.通过采用半监督的流形正则化框架,将图像数据嵌入到低维流形结构中进行分类排序,以充分利用大量未标记数据,并兼顾分类误差、数据分布的几何结构以及分类函数的复杂性.针对半监督学习速度缓慢的问题,基于Nystrm低阶近似对学习过程进行加速.在较大规模的Corel图像数据集上进行了检索实验,实验结果表明该方法能获得较好的效果.     

联合标签预测与判别投影学习的半监督典型相关分析

目的 典型相关分析是一种经典的多视图学习方法。为了提高投影方向的判别性能,现有典型相关分析方法通常采用引入样本标签信息的策略。然而,获取样本的标签信息需要付出大量的人力与物力,为此,提出了一种联合标签预测与判别投影学习的半监督典型相关分析算法。方法 将标签预测与模型构建相融合,具体地说,将标签预测融入典型相关分析框架中,利用联合学习框架学得的标签矩阵更新投影方向,进而学得的投影方向又重新更新标签矩阵。标签预测与投影方向的学习过程相互依赖、交替更新,预测标签不断地接近其真实标签,有利于学得最优的投影方向。结果 本文方法在AR、Extended Yale B、Multi-PIE和ORL这4个人脸数据集上分别进行实验。特征维度为20时,在AR、Extended Yale B、Multi-PIE和ORL人脸数据集上分别取得87%、55%、83%和85%识别率。取训练样本中每人2（3,4,5）幅人脸图像为监督样本,提出的方法识别率在4个人脸数据集上均高于其他方法。训练样本中每人5幅人脸图像为监督样本,在AR、Extended Yale B、Multi-PIE和ORL人脸数据集上分别取得94.67%、68%、83%和85%识别率。实验结果表明在训练样本标签信息较少情况下以及特征降维后的维数较低的情况下,联合学习模型使得降维后的数据最大限度地保存更加有效的信息,得到较好的识别结果。结论 本文提出的联合学习方法提高了学习的投影方向的判别性能,能够有效地处理少量的有标签样本和大量的无标签样本的情况以及解决两步学习策略的缺陷。     

半监督局部判别分析

针对无监督学习及有监督学习算法的缺点,提出一种半监督局部判别分析的线性降维算法。数据在没有足够的训练样本时,局部结构比全局结构更重要。算法在每一个局部区域利用有标签数据推导出数据的局部判别结构,无标签数据和有标签数据推导出数据的内在几何结构。在ORL和Yale人脸数据库上的实验结果表明该算法是有效的。     

基于分层高斯混合模型的半监督学习算法

提出了一种基于分层高斯混合模型的半监督学习算法，半监督学习算法的学习样本包括已标记类别样本和未标记类别学习样本。如用高斯混合模型拟合每个类别已标记学习样本的概率分布，进而用高斯数为类别数的分层高斯混合模型拟合全部(已标记和未标记)学习样本的分布，则形成为一个基于分层的高斯混合模型的半监督学习问题。基于EM算法，首先利用每个类别已标记样本学习高斯混合模型，然后以该模型参数和已标记样本的频率分布作为分层高斯混合模型参数的初值，给出了基于分层高斯混合模型的半监督学习算法，以银行票据印刷体数字识别做实验，实验结果表明，本算法能够获得较好的效果。