基于核保持嵌入的子空间学习

子空间学习是特征提取领域中的一个重要研究方向,其通过一种线性或非线性的变换将原始数据映射到低维子空间中,并在该子空间中尽可能地保留原始数据的几何结构和有用信息.子空间学习的性能提升主要取决于相似性关系的衡量方式和特征嵌入的图构建手段.文中针对子空间学习中的相似性度量与图构建两大问题进行研究,提出了一种基于核保持嵌入的子空间学习算法(Kernel-preserving Embedding based Subspace Learning,KESL),该算法通过自表示技术自适应地学习数据间的相似性信息和基于核保持的构图.首先针对传统降维方法无法挖掘高维非线性数据的内部结构问题,引入核函数并最小化样本的重构误差来约束最优的表示系数,以期挖掘出有利于分类的数据结构关系.然后,针对现有基于图的子空间学习方法大都只考虑类内样本相似性信息的问题,利用学习到的相似性矩阵分别构建类内和类间图,使得在投影子空间中同类样本的核保持关系得到加强,不同类样本间的核保持关系被进一步抑制.最后,通过核保持矩阵与图嵌入的联合优化,动态地求解出最优表示下的子空间投影.在多个数据集上的实验结果表明,所提算法在分类任务中的性能优于主流的子空间学习算法.     

基于核保持嵌入的子空间学习

子空间学习是特征提取领域中的一个重要研究方向,其通过一种线性或非线性的变换将原始数据映射到低维子空间中,并在该子空间中尽可能地保留原始数据的几何结构和有用信息.子空间学习的性能提升主要取决于相似性关系的衡量方式和特征嵌入的图构建手段.文中针对子空间学习中的相似性度量与图构建两大问题进行研究,提出了一种基于核保持嵌入的子空间学习算法(Kernel-preserving Embedding based Subspace Learning,KESL),该算法通过自表示技术自适应地学习数据间的相似性信息和基于核保持的构图.首先针对传统降维方法无法挖掘高维非线性数据的内部结构问题,引入核函数并最小化样本的重构误差来约束最优的表示系数,以期挖掘出有利于分类的数据结构关系.然后,针对现有基于图的子空间学习方法大都只考虑类内样本相似性信息的问题,利用学习到的相似性矩阵分别构建类内和类间图,使得在投影子空间中同类样本的核保持关系得到加强,不同类样本间的核保持关系被进一步抑制.最后,通过核保持矩阵与图嵌入的联合优化,动态地求解出最优表示下的子空间投影.在多个数据集上的实验结果表明,所提算法在分类任务中的性能优于主流的子空间学习算法.     

基于稀疏重构的判别分析

为了解决现有判别分析算法对残缺和遮挡等外部干扰比较敏感的问题,从局部稀疏表示的角度,提出一种基于稀疏重构的判别分析(SDA)降维算法。该算法首先利用稀疏表示完成各个类内局部稀疏重构,然后通过非所在类内的样本均值完成各样本的类间局部稀疏重构,最后在降维过程中保持类间和类内的稀疏重构信息之比。在AR和UMIST人脸库人脸数据集上的实验结果表明,与基于图优化的Fisher分析(GbFA)算法和基于重构判别分析(RDA)算法相比,该算法提高了基于近邻分类的最高识别准确率2%~10%。     

低秩稀疏图嵌入的半监督特征选择

目的 特征降维是机器学习领域的热点研究问题。现有的低秩稀疏保持投影方法忽略了原始数据空间和降维后的低维空间之间的信息损失,且现有的方法不能有效处理少量有标签数据和大量无标签数据的情况,针对这两个问题,提出基于低秩稀疏图嵌入的半监督特征选择方法（LRSE）。方法 LRSE方法包含两步：第1步是充分利用有标签数据和无标签数据分别学习其低秩稀疏表示,第2步是在目标函数中同时考虑数据降维前后的信息差异和降维过程中的结构信息保持,其中通过最小化信息损失函数使数据中有用的信息尽可能地保留下来,将包含数据全局结构和内部几何结构的低秩稀疏图嵌入在低维空间中使得原始数据空间中的结构信息保留下来,从而能选择出更有判别性的特征。结果 将本文方法在6个公共数据集上进行测试,对降维后的数据采用KNN分类验证本文方法的分类准确率,并与其他现有的降维算法进行实验对比,本文方法分类准确率均有所提高,在其中的5个数据集上本文方法都有最高的分类准确率,其分类准确率分别在Wine数据集上比次高算法鲁棒非监督特征选择算法（RUFS）高11.19%,在Breast数据集上比次高算法RUFS高0.57%,在Orlraws10P数据集上比次高算法多聚类特征选择算法（MCFS）高1%,在Coil20数据集上比次高算法MCFS高1.07%,在数据集Orl64上比次高算法MCFS高2.5%。结论 本文提出的基于低秩稀疏图嵌入的半监督特征选择算法使得降维后的数据能最大限度地保留原始数据包含的信息,且能有效处理少量有标签样本和大量无标签样本的情况。实验结果表明,本文方法比现有算法的分类效果更好,此外,由于本文方法基于所有的特征都在线性流形上的假设,所以本文方法只适用于线性流形上的数据。     

基于分割Bregman方法的非负稀疏图构建算法

在基于图的机器学习算法中,构造一个能较好反映数据内在结构信息的图尤为重要.文中提出一种基于分割Bregman方法的非负稀疏图构建算法.该算法通过使用分割Bregman方法求解稀疏表示优化问题的一个等价形式,以此得到一个能将每个数据样本表示成其他样本的非负线性组合的图的边权矩阵.算法构建的稀疏图能较好描述数据之间存在的线性关系.在半监督学习的框架下进行测试的实验表明,文中算法能较好反映数据内部潜在的结构信息.     

基于稀疏表示的半监督降维方法

提出一种基于稀疏表示的半监督降维方法（SpSSDR）。不同于其他基于图的半监督降维方法分步构图,SpSSDR通过稀疏重构系数来同时定义图上边连接性及边权重,再结合边约束信息进行降维。在高维人脸数据上的实验表明,SpSSDR不仅对噪声鲁棒,对边信息的利用也更有效。     

基于判别稀疏性表示的不完整多视图分类

传统多视图学习通常假设样本在每个视图都是完整的,但是由于数据难以获取、设备故障、遮挡等因素,这一假设并不总能成立,而传统的多视图学习方法很难有效处理不完整多视图数据.目前,研究者们已经提出了一些不完整多视图学习的方法,但是这些方法没有充分利用样本类别信息,从而影响恢复后样本的判别性.因此,提出基于判别稀疏性表示的不完整多视图分类方法(IMVC-DSR).具体地,该方法假设缺失样本可用少量观测样本稀疏线性表示.同时,为了充分利用类别先验信息,增加恢复后样本的判别性,该方法鼓励相同类别样本之间相互表示,降低不同类别样本之间的相互表达.此外,该方法考虑到视图之间的相关关系,引入选择算子选出不同视图的相同样本,并约束相同样本在不同视图的线性表达具有一致性.最后,在公开的五组数据集上验证了所提方法IMVC-DSR的有效性.     

结合表示学习与嵌入子空间学习的降维方法

在对样本数据进行降维时,子空间学习模型无法揭示数据结构和处理训练样本外的新样本。提出一种融合表示学习和嵌入子空间学习的降维方法。将低秩表示、加权稀疏表示和低维子空间学习构建到一个统一的框架中,并采用交替优化策略,实现数据表示系数矩阵和数据投影矩阵的同时学习和相互优化,最终达到重建效果最优的降维精度。在3个数据库上的实验结果表明,与PCA、NPE、LRPP等主流方法相比,该方法不仅可以解决无法训练新样本的问题,而且具有较优的分类性能。     

基于双重视图耦合的自监督图表示学习模型

针对现有的图表示学习在自监督对比学习方法中存在视图差异较大,且依赖于负样本防止模型坍塌,导致节点表示能力弱及空间复杂度加大的问题,提出一种基于双重视图耦合的自监督图表示学习模型(self-supervised graph representation learning model with dual view coupling, DVCGRL),用于学习图数据表示。采用特征空间增广和结构空间扩充相结合生成双重视图,将双重视图作为正样本对输入孪生神经网络;利用图编码器提取图数据特征,通过多层感知器获得映射后的特征向量;采用耦合网络拉近双重视图的特征向量距离,提升节点表示能力,防止模型坍塌。在公开数据集上进行的节点分类实验结果表明,与当前主流图表示学习模型相比,该模型降低了空间复杂度,节点分类精度得到明显提高。     

基于特征选择与鲁棒图学习的多视图聚类

现有的多视图聚类方法大多直接在原始数据样本上构建各视图的相似图,而原始数据中的冗余特征和噪声会导致聚类精度下降。针对该问题,基于特征选择和鲁棒图学习提出多视图聚类算法FRMC。在自适应选择不同视图特征时降低数据维度,减少冗余特征,同时利用自表示学习获取数据的表示系数,滤除噪声影响并得到数据样本的全局结构,从而去除样本中的噪声和离群点。在此基础上,通过自适应近邻学习构造样本鲁棒图,利用鲁棒图矩阵的加权和构建最终的亲和图矩阵,提出一种基于增广拉格朗日乘子的交替迭代算法对目标函数进行优化。在6个不同类型的标准数据集上进行实验,与SC、RGC、AWP等算法的对比结果表明,FRMC算法能够有效提升聚类精度且具有较好的收敛性与鲁棒性。     

基于多视图集成的网络表示学习算法

现有的网络表示学习算法主要为基于浅层神经网络的网络表示学习和基于神经矩阵分解的网络表示学习。基于浅层神经网络的网络表示学习又被证实是分解网络结构的特征矩阵。另外,现有的大多数网络表示学习仅仅从网络的结构学习特征,即单视图的表示学习;然而,网络本身蕴含有多种视图。因此,文中提出了一种基于多视图集成的网络表示学习算法(MVENR)。该算法摈弃了神经网络的训练过程,将矩阵的信息融合和分解思想融入到网络表示学习中。另外,将网络的结构视图、连边权重视图和节点属性视图进行了有效的融合,弥补了现有网络表示学习中忽略了网络连边权重的不足,解决了基于单一视图训练时网络特征稀疏的问题。实验结果表明,所提MVENR算法的性能优于网络表示学习中部分常用的联合学习算法和基于结构的网络表示学习算法,是一种简单且高效的网络表示学习算法。     

基于L_2,_P稀疏子空间和局部结构保持降维

在无样本类别先验信息下,样本间的局部结构和全局结构信息在降维过程中成为重要的考虑因素。多数降维方法只考虑样本间的单一结构。在降维过程中考虑混合结构,提出基于L_2,_p稀疏子空间和局部结构保持降维方法,同时考虑样本间的全局子空间结构和局部几何结构,通过刻画局部相似性关系图,保持降维前后样本间局部流行结构一致;通过更一般化的L_2,_p(0 相似文献   

基于稀疏学习的行人重识别算法

行人重识别问题是计算机视觉的重要研究内容之一,旨在将多个非重叠相机中的目标行人准确加以识别。当将某摄像机中的行人图像视为目标行人在该摄像机视图上的一种表示时,行人重识别可被认为是一种多视图学习问题。在此基础上提出的基于典型相关分析的行人重识别算法仅是一种线性降维算法,很难从复杂的重识别系统（如目标行人图像受低分辨率、光照及行人姿态变化等因素影响）中提取有效的高层语义信息,用于行人重识别。为此,本文提出了一种基于稀疏学习的行人重识别算法（Sparsity learning based person re-identification,SLR）。SLR首先通过稀疏学习获取目标行人在每一相机视图上的高层语义表示,然后将高层特征映射到一个公共的隐空间,使不同视图间的特征距离可比较。SLR算法的优点在于通过学习鲁棒的行人图像特征表示,能够获得更具判别性的公共隐空间,以提高算法的行人重识别性能。在VIPeR、CUHK数据集上的实验结果表明了本文算法的有效性。     

一种基于极大熵的快速无监督线性降维方法

现实世界中高维数据无处不在,然而在高维数据中往往存在大量的冗余和噪声信息,这导致很多传统聚类算法在对高维数据聚类时不能获得很好的性能.实践中发现高维数据的类簇结构往往嵌入在较低维的子空间中.因而,降维成为挖掘高维数据类簇结构的关键技术.在众多降维方法中,基于图的降维方法是研究的热点.然而,大部分基于图的降维算法存在以下两个问题:(1)需要计算或者学习邻接图,计算复杂度高;(2)降维的过程中没有考虑降维后的用途.针对这两个问题,提出一种基于极大熵的快速无监督降维算法MEDR. MEDR算法融合线性投影和极大熵聚类模型,通过一种有效的迭代优化算法寻找高维数据嵌入在低维子空间的潜在最优类簇结构. MEDR算法不需事先输入邻接图,具有样本个数的线性时间复杂度.在真实数据集上的实验结果表明,与传统的降维方法相比, MEDR算法能够找到更好地将高维数据投影到低维子空间的投影矩阵,使投影后的数据有利于聚类.     

基于多视图的半监督集成学习方法

针对集成学习方法中分类器差异性不足以及已标记样本少的问题,提出了一种新的半监督集成学习算法,将半监督方法引入到集成学习中,利用大量未标记样本的信息来细化每个基分类器,并且构造差异性更大的基分类器,首先通过多视图方法选取合适的未标记样本,并使用多视图方法将大量繁杂的特征属性分类,使用不同的特征降维方法对不同的视图进行降维,便与输入到学习模型中,同时采用相互独立的学习模型来增加集成的多样性。在UCI数据集上的实验结果表明,与使用单视图数据相比,使用多视图数据可以实现更准确的分类,并且与现有的诸如Boosting、三重训练算法比较,使用差异性更高的基学习器以及引入半监督方法能够有效提升集成学习的性能效果。     

基于多视图边界判别投影的高光谱图像分类

高光谱图像分类是遥感领域研究的热点问题,其关键在于利用高光谱图谱合一的 优势,同时融合高光谱图像中各个像元位置的光谱信息和空间信息,提高光谱图像分类精度。 针对高光谱图像特征维数高和冗余信息多等问题,采用多视图子空间学习方法进行特征降维, 提出了图正则化的多视图边界判别投影算法。将每个像元处的光谱特征看作一个视图,该像元 处的空间特征看作另一个视图,通过同时优化每个视图上的投影方向来寻找最优判别公共子空 间。公开测试数据集上的分类实验表明,多视图学习在高光谱图像空谱融合分类方面具有显著 的优越性,在多视图降维算法中,该算法具有最高的分类准确性。     

动态融合的多视图投影聚类算法

多视图聚类是一个日益受到关注的研究热点。现有的大多数多视图聚类方法通常先对数据进行图学习,再对融合得到的统一图进行聚类得到最终结果,这种图学习和图聚类的两步策略可能导致聚类结果具有随机性。此外,多视图数据本身存在不可避免的噪声并且各视图数据差异较大,在原始高维数据空间进行无效融合可能造成重要信息的损失,不同多视图数据也可能存在选择参数敏感的问题。为了解决上述问题,提出了一种动态融合的多视图投影聚类算法,将自适应降维图学习、无参数的自权重图融合和谱聚类整合在同一框架中,三个过程相互促进,联合优化投影矩阵、相似性矩阵、共识矩阵以及聚类标签。对动态融合过程中得到的共识矩阵的拉普拉斯矩阵施加秩约束,直接获得聚类结果。而且引入的启发式超参数会随着每次优化迭代自动调整。为了求解联合优化问题,设计了一种有效的交替迭代方法。在人工数据集和真实数据集上得到的实验结果表明该算法的优越性。     

基于自监督图掩码神经网络的社交推荐模型

现有自监督社交推荐模型大多通过人工启发式图增强和单一关系视图间对比的策略构建自监督信号,性能受到增强自监督信号质量的影响,难以自适应地抑制噪声.由此,文中提出基于自监督图掩码神经网络的社交推荐模型.首先,分别构建用户社交和物品分类的单一关系视图及高阶连通异构图,采用图掩码学习范式指导用户社交图进行自适应和可学习的数据增强.然后,设计异构图编码器,学习视图中的潜在语义,跨视图对用户、物品嵌入进行对比学习,完成自监督任务,分别对用户、物品嵌入进行加权融合,完成推荐任务.最后,利用多任务训练策略联合优化自监督学习任务、推荐任务和图掩码任务.在3个真实数据集上的实验表明文中模型性能具有一定提升.     

基于概念分解的显隐空间协同多视图聚类算法

多视图聚类通过整合不同视图的特征以提升聚类性能.现有的多视图聚类更多地关注数据不同的低维表示方式和其在隐式空间的几何结构,而忽略数据样本在不同空间的结构关系,未同时考虑不同空间的聚类.为此,文中提出基于概念分解的显隐空间协同多视图聚类算法.首先,通过概念分解获取不同视图在隐式空间中的一个共同的低维特征表示,并利用图拉普拉斯正则化约束保持原始数据的局部结构不变.然后,将数据在显式空间中的聚类和隐式空间中的聚类整合到一个共同的框架中,进行协同学习和优化,得到最终的聚类结果.在8个真实数据集上的实验表明文中算法性能较优.     

单步划分融合多视图子空间聚类算法

多视图子空间聚类方法因其可以揭示数据内在的低维结构而被广泛关注,但大多数现有的多视图子空间聚类算法直接将多个来自原始数据的充满噪声的相似度矩阵进行融合,并且通常是在得到一致的多视图表示之后再使用K均值算法聚类得到最终的结果,这种将表示的学习过程和后续的聚类过程分离的两阶段算法会导致无法得到最优的聚类结果.为了解决这些问题,提出一种单步划分融合多视图子空间聚类算法.该算法不是直接融合具有噪声和冗余信息的相似度矩阵,而是从相似度矩阵中提取出更具有判别性信息的划分级信息进行融合.提出一个新的框架,将表示学习、多视图信息融合以及最后的聚类过程整合在同一框架中.这三个过程彼此促进,好的聚类结果可以引导生成更好的多视图表示,从而得到更好的聚类效果.提出一种有效的轮替优化算法来解决由此得到的优化问题.最后,在四个真实的基准数据集上得到的实验结果可以证明提出方法的有效性以及先进性.