稀疏标签传播:一种鲁棒的领域适应学习方法

稀疏表示因其所具有的鲁棒性,在模式分类领域逐渐得到关注.研究了一种基于稀疏保留模型的新颖领域适应学习方法,并提出一种鲁棒的稀疏标签传播领域适应学习(sparse label propagation domain adaptation learning,简称SLPDAL)算法.SLPDAL通过将目标领域数据进行稀疏重构,以实现源领域数据标签向目标领域平滑传播.具体来讲,SLPDAL算法分为3步:首先,基于领域间数据分布均值差最小化准则寻求一个优化的核空间,并将领域数据嵌入到该核空间;然后,在该嵌入核空间,基于l₁-范最小化准则计算各领域数据的核稀疏重构系数;最后,通过保留领域数据间核稀疏重构系数约束,实现源领域数据标签向目标领域的传播.最后,将SLPDAL算法推广到多核学习框架,提出一个SLPDAL多核学习模型.在鲁棒人脸识别、视频概念检测和文本分类等领域适应学习任务上进行比较实验,所提出的方法取得了优于或可比较的学习性能.     

低秩稀疏图嵌入的半监督特征选择

目的 特征降维是机器学习领域的热点研究问题。现有的低秩稀疏保持投影方法忽略了原始数据空间和降维后的低维空间之间的信息损失,且现有的方法不能有效处理少量有标签数据和大量无标签数据的情况,针对这两个问题,提出基于低秩稀疏图嵌入的半监督特征选择方法（LRSE）。方法 LRSE方法包含两步：第1步是充分利用有标签数据和无标签数据分别学习其低秩稀疏表示,第2步是在目标函数中同时考虑数据降维前后的信息差异和降维过程中的结构信息保持,其中通过最小化信息损失函数使数据中有用的信息尽可能地保留下来,将包含数据全局结构和内部几何结构的低秩稀疏图嵌入在低维空间中使得原始数据空间中的结构信息保留下来,从而能选择出更有判别性的特征。结果 将本文方法在6个公共数据集上进行测试,对降维后的数据采用KNN分类验证本文方法的分类准确率,并与其他现有的降维算法进行实验对比,本文方法分类准确率均有所提高,在其中的5个数据集上本文方法都有最高的分类准确率,其分类准确率分别在Wine数据集上比次高算法鲁棒非监督特征选择算法（RUFS）高11.19%,在Breast数据集上比次高算法RUFS高0.57%,在Orlraws10P数据集上比次高算法多聚类特征选择算法（MCFS）高1%,在Coil20数据集上比次高算法MCFS高1.07%,在数据集Orl64上比次高算法MCFS高2.5%。结论 本文提出的基于低秩稀疏图嵌入的半监督特征选择算法使得降维后的数据能最大限度地保留原始数据包含的信息,且能有效处理少量有标签样本和大量无标签样本的情况。实验结果表明,本文方法比现有算法的分类效果更好,此外,由于本文方法基于所有的特征都在线性流形上的假设,所以本文方法只适用于线性流形上的数据。     

联合嵌入式多标签分类算法

现有的一些多标签分类算法,因多标签数据含有高维的特征或标签信息而变得不可行.为了解决这一问题,提出基于去噪自编码器和矩阵分解的联合嵌入多标签分类算法Deep AE-MF.该算法包括两部分:特征嵌入部分使用去噪自编码器对特征空间学习得到非线性表示,标签嵌入部分则是利用矩阵分解直接学习到标签空间对应的潜在表示与解码矩阵.Deep AE-MF将特征嵌入和标签嵌入的两个阶段进行联合,共同学习一个潜在空间用于模型预测,进而得到一个有效的多标签分类模型.为了进一步提升模型性能,在Deep AE-MF方法中对标签间的负相关信息加以利用.通过在不同数据集上进行实验证明了提出Deep AE-MF方法的有效性和鲁棒性.     

基于稀疏流形聚类嵌入模型和L1范数正则化的标签错误检测

综合利用含错标签中的有用信息和数据结构中蕴含的鉴别信息,提出一种基于稀疏流形聚类嵌入模型和L1范数正则化的标签错误检测修正方法.首先,用稀疏流形聚类嵌入模型将数据投影到易分类的空间,利用标注正确的极少量样本和最近邻分类器获得新标签;然后,构造标签错误检测模型,获得仅含0、1元素的检测向量,正确、错误的标签分别对应着1、0的位置;最后,给出了相应的优化算法及收敛证明,并在相关实验上验证了算法的有效性.     

基于对称正定流形潜在稀疏表示分类算法

使用对称正定（symmetric positive definite,简称SPD）矩阵将视觉数据建模到黎曼流形（SPD流形）,对于模式识别和机器学习中许多任务有较好的效果.其中,将基于稀疏表示的分类算法扩展到SPD流形上样本的分类任务得到了广泛的关注.本文综合考虑了稀疏表示分类算法的特点以及SPD流形的黎曼几何结构,通过核函数将SPD流形嵌入到再生核希尔伯特空间（reproducing kernel Hilbert space,简称RKHS）,分别提出了核空间潜在稀疏表示模型和潜在分类方法.但是,原始的视觉数据在核空间中没有明确的表示形式,这给核空间中的潜在字典更新带来了不便.Nyström是一种可以近似表征核特征的方法.因此,我们利用该方法得到训练样本在RKHS中的近似表示,以更新潜在字典和潜在矩阵.最后,通过在5个标准数据集上的分类实验,验证了该方法的有效性.     

基于鉴别稀疏保持嵌入的人脸识别算法

鉴于近年来稀疏表示（Sparse representation,SR）在高维数据例如人脸图像的特征提取与降维领域的快速发展,对原始的稀疏保持投影（Sparsity preserving projection,SPP）算法进行了改进,提出了一种叫做鉴别稀疏保持嵌入（Discriminant sparsity preserving embedding,DSPE）的算法. 通过求解一个最小二乘问题来更新SPP中的稀疏权重并得到一个更能真实反映鉴别信息的鉴别稀疏权重,最后以最优保持这个稀疏权重关系为目标来计算高维数据的低维特征子空间.该算法是一个线性的监督学习算法,通过引入鉴别信息,能够有效地对高维数据进行降维. 在ORL库、Yale库、扩展Yale B库和CMU PIE库上的大量实验结果验证了算法的有效性.     

基于依赖最大化和稀疏回归的多标签特征选择

针对基于稀疏回归的多标签特征选择方法中数据的特征和标签之间线性关系假设不成立的问题,提出一种基于依赖最大化和稀疏回归的多标签特征选择方法 (multi-label feature selection with dependence maximization and sparse regression,DMSR)。构建数据的低维子空间,最大化低维空间与数据的标签空间之间的依赖性,使用希尔伯特-施密特独立性准则作为依赖性的计算依据,将数据从特征空间映射到该低维空间,设计一种交替优化的算法对稀疏回归模型进行求解,得到用于特征选择的投影矩阵。在多个不同类型的多标签数据集上的实验结果表明,所提算法的性能优于其它对比算法。     

基于光谱空间结合的非负稀疏保持嵌入的谱聚类

为了解决高光谱遥感影像的特征融合问题,针对高光谱数据的维数高、信息量繁杂冗余、非线性而且数据量庞大特点,利用图谱理论非负稀疏保持嵌入的降维方法,提出基于光谱空间结合的非负稀疏保持嵌入的谱聚类进行样本的标记算法,有效地利用空间信息和原有光谱信息,提高分类的精度.该算法在引入非负稀疏表示的同时,利用样本的光谱与空间相关信息构建Laplacian图,嵌入投影到低维的子空间,然后再用经典的K均值聚类算法进行分类.算法能够有效保持样本的几何稀疏结构,而且光谱空间信息的结合使得图像的边界像素点得到了更好的分类.     

基于核字典学习的图像分类

航拍图像往往具有场景复杂、数据维度大的特点,对于该类图像的自动分类一直是研究的热点。针对航拍原始数据特征维度过高和数据线性不可分的问题,在字典学习和稀疏表示的基础上提出了一种结合核字典学习和线性鉴别分析的目标识别方法。首先学习核字典并通过核字典获取目标样本的稀疏表示,挖掘数据的内部结构;其次采用线性鉴别分析,加强稀疏表示的可分性;最后利用支持向量机对目标进行分类。实验结果表明,与传统基于子空间特征提取的算法和基于字典学习的算法相比,基于核字典学习与鉴别分析的算法分类性能优越。     

基于转换学习的半监督分类

近年来，基于图的半监督分类是机器学习与模式识别领域的研究热点之一.该类方法一般通过构造图来挖掘数据中隐含的信息，并利用图的结构信息来对无标签样本进行分类，因此半监督分类的效果严重依赖于图的质量，尤其是图的构建方法和数据的质量.为解决上述问题，提出了一种基于转换学习的半监督分类（semi-supervised classification based on transformed learning, TLSSC）算法.不同于已有的大多数半监督分类算法，此算法试图学习到一个转换空间，并在该空间上构建图，进行标签传播.具体来说，此算法建立了一个统一的联合优化框架，其由3个部分组成：1）使用转换学习将原始数据映射到转换空间中；2）借鉴数据自表示思想，在转换空间上学习一个图；3）在图上进行标签传播.这3个步骤交替进行、互相促进，避免低质量图导致的次优解.对人脸和物品数据集进行实验，结果表明所提出的TLSSC算法在大部分情况下优于现有的其他算法.     

流形距离与压缩感知核稀疏投影的局部线性嵌入算法

流形学习算法的目的是发现嵌入在高维数据空间中的低维表示,现有的流形学习算法对邻域参数k和噪声比较敏感。针对此问题,文中提出一种流形距离与压缩感知核稀疏投影的局部线性嵌入算法,其核心思想是集成局部线性嵌入算法对高维流形结构数据的降维有效性与压缩感知核稀疏投影的强鉴别性,以实现高效有降噪流形学习。首先,在选择各样本点的近邻域时,采用流形距离代替欧氏距离度量数据间相似度的方法,创建能够正确反映流形内部结构的邻域图,解决以欧氏距离作为相似性度量时对邻域参数的敏感。其次,利用压缩感知核稀疏投影作为从高维观测空间到低维嵌入空间的映射,增强算法的鉴别性。最后,利用Matlab工具对实验数据集进行仿真,进一步验证所提算法的有效性。     

基于流形学习的泛化改进的LTSA算法

在数据稀疏、数据非均匀分布和数据流形具有较大曲率的情况下,传统的局部切空间方法不能够有效地揭示流形结构。提出了一种泛化的ILTSA（GILTSA）流形学习方法,该方法以改进的局部切空间排列算法（ILTSA）为基础,在解决流形结构问题的同时,不仅能够获得用于人脸识别更好的低维特征,而且能有效地处理日益增加的数据集的问题。该方法首先基于样品间距离选择近邻集,实现训练集的低维流形,为每个新样本寻找最近的样本训练集。然后结合ILTSA算法,根据其最近样本投影距离计算低维流形。在ORL的人脸图像数据库的实验、Swiss roll和手书的“2”等实验结果表明,与局部线性嵌入和局部切空间排列算法等相比,GILTSA方法增加了整体精度。     

基于二维Gabor小波与SPP算法的人脸识别研究

稀疏表示近年来在模式识别领域已经取得了成功的应用,如目标探测和分类。稀疏保留投影（ SPP）算法是基于稀疏表示理论所提出的一种特征提取方法,目标是获得一个线性投影空间,使得样本之间的全局重构关系得以在低维空间保留。 SPP算法无需选择任何模型参数,具有很强的适应性,其灵活性及有效性在人脸识别中得到了详细的验证。文中结合二维Gabor小波与SPP算法用于人脸识别系统,二维Gabor小波主要用于提取人脸图像特征,SPP对图像特征进行降维。最后,在ORL人脸数据库上的实验表明,该算法较传统方法以及单独使用SPP算法的方法有较好的识别结果。     

Face recognition using nearest feature space embedding

Face recognition algorithms often have to solve problems such as facial pose, illumination, and expression (PIE). To reduce the impacts, many researchers have been trying to find the best discriminant transformation in eigenspaces, either linear or nonlinear, to obtain better recognition results. Various researchers have also designed novel matching algorithms to reduce the PIE effects. In this study, a nearest feature space embedding (called NFS embedding) algorithm is proposed for face recognition. The distance between a point and the nearest feature line (NFL) or the NFS is embedded in the transformation through the discriminant analysis. Three factors, including class separability, neighborhood structure preservation, and NFS measurement, were considered to find the most effective and discriminating transformation in eigenspaces. The proposed method was evaluated by several benchmark databases and compared with several state-of-the-art algorithms. According to the compared results, the proposed method outperformed the other algorithms.     

基于改进结构保持数据降维方法的故障诊断研究

传统基于核主成分分析(Kernel principal component analysis, KPCA)的数据降维方法在提取有效特征信息时只考虑全局结构保持而未考虑样本间的局部近邻结构保持问题, 本文提出一种改进全局结构保持算法的特征提取与降维方法.改进的特征提取与降维方法将流形学习中核局部保持投影(Kernel locality preserving projection, KLPP)的思想融入核主成分分析的目标函数中, 使样本投影后的特征空间不仅保持原始样本空间的整体结构, 还保持样本空间相似的局部近邻结构, 包含更丰富的特征信息.上述方法通过同时进行的正交化处理可避免局部子空间结构发生失真, 并能够直观显示出低维结果, 将低维数据输入最近邻分类器, 以识别率和聚类分析结果作为衡量指标, 同时将所提方法应用于故障诊断中.使用AVL Boost软件模拟的柴油机故障数据和田纳西(Tennessee Eastman, TE)化工数据仿真, 验证了所提方法的有效性.     

一种监督降维的OP-LASRC算法在行为识别中的应用*

针对大数据的人体行为识别时实时性差和识别率低的问题,提出了优化投影对线性近似稀疏表示分类(OP-LASRC)的监督降维算法。OP-LASRC将高维的行为数据优化投影到低维空间,与线性近似稀疏表示(LASCR)快速分类算法相结合应用大数据的人体行为识别。首先利用LASCR的残差计算规律设计OP-LASRC算法,实现监督降维;利用线性正交投影缩减高维数据的维度,投影时减小训练样本的本类重构残差及增大类间重构残差,从而保留训练样本的类别特征。然后,对降维后的行为数据,利用LASCR算法进行分类;用L2范数估算稀疏系数,选出前k个最大的稀疏系数对应的训练样本,缩减训练样本库后用L1范数最小化和残差最小化计算得到识别结果,从识别率、鲁棒性、执行时间三个方评价此方法,在KTH行为数据库上进行实验测试。实验表明：OP-LASRC监督降维后,LASRC在分类时不仅识别率高达96.5%,执行时间比同类算法短,而且保证了强鲁棒性,证明了OP-LASRC能完美匹配LASCR算法用于行为识别,这为大数据的行为识别提供了一种新的思路。     

Kernel class-wise locality preserving projection

In the recent years, the pattern recognition community paid more attention to a new kind of feature extraction method, the manifold learning methods, which attempt to project the original data into a lower dimensional feature space by preserving the local neighborhood structure. Among them, locality preserving projection (LPP) is one of the most promising feature extraction techniques. However, when LPP is applied to the classification tasks, it shows some limitations, such as the ignorance of the label information. In this paper, we propose a novel local structure based feature extraction method, called class-wise locality preserving projection (CLPP). CLPP utilizes class information to guide the procedure of feature extraction. In CLPP, the local structure of the original data is constructed according to a certain kind of similarity between data points, which takes special consideration of both the local information and the class information. The kernelized (nonlinear) counterpart of this linear feature extractor is also established in the paper. Moreover, a kernel version of CLPP namely Kernel CLPP (KCLPP) is developed through applying the kernel trick to CLPP to increase its performance on nonlinear feature extraction. Experiments on ORL face database and YALE face database are performed to test and evaluate the proposed algorithm.     

Local structure based supervised feature extraction

In the past few years, the computer vision and pattern recognition community has witnessed the rapid growth of a new kind of feature extraction method, the manifold learning methods, which attempt to project the original data into a lower dimensional feature space by preserving the local neighborhood structure. Among them, locality preserving projection (LPP) is one of the most promising feature extraction techniques. However, when LPP is applied to the classification tasks, it shows some limitations, such as the ignorance of the label information. In this paper, we propose a novel feature extraction method, called locally discriminating projection (LDP). LDP utilizes class information to guide the procedure of feature extraction. In LDP, the local structure of the original data is constructed according to a certain kind of similarity between data points, which takes special consideration of both the local information and the class information. The similarity has several good properties which help to discover the true intrinsic structure of the data, and make LDP a robust technique for the classification tasks. We compare the proposed LDP approach with LPP, as well as other feature extraction methods, such as PCA and LDA, on the public available data sets, FERET and AR. Experimental results suggest that LDP provides a better representation of the class information and achieves much higher recognition accuracies.     

基于非负矩阵分解与稀疏表示的多标签分类算法

传统的多标签分类算法是以二值标签预测为基础的,而二值标签由于仅能指示数据是否具有相关类别,所含语义信息较少,无法充分表示标签语义信息。为充分挖掘标签空间的语义信息,提出了一种基于非负矩阵分解和稀疏表示的多标签分类算法（MLNS）。该算法结合非负矩阵分解与稀疏表示技术,将数据的二值标签转化为实值标签,从而丰富标签语义信息并提升分类效果。首先,对标签空间进行非负矩阵分解以获得标签潜在语义空间,并将标签潜在语义空间与原始特征空间结合以形成新的特征空间;然后,对此特征空间进行稀疏编码来获得样本间的全局相似关系;最后,利用该相似关系重构二值标签向量,从而实现二值标签与实值标签的转化。在5个标准多标签数据集和5个评价指标上将所提算法与MLBGM、ML²、LIFT和MLRWKNN等算法进行对比。实验结果表明,所提MLNS在多标签分类中优于对比的多标签分类算法,在50%的案例中排名第一,在76%的案例中排名前二,在全部的案例中排名前三。