半监督典型相关分析算法

在典型相关分析算法(canonical correlation analysis,简称CCA)的基础上,通过引入以成对约束形式给出的监督信息,提出了一种半监督的典型相关分析算法(Semi-CCA).在此算法中,除了考虑大量的无标号样本以外,还考虑成对约束信息,即已知两样本属于同一类(正约束)或不属于同一类(负约束),同时验证了两者的相对重要性.在人工数据集、多特征手写体数据集和人脸数据集(Yale和AR)上的实验结果表明,Semi-CCA能够有效地利用少量的监督信息采提高分类性能.     

稀疏保持典型相关分析及在特征融合中的应用

稀疏保持投影(Sparsity preserving projections, SPP)由于保持了数据间的稀疏重构性, 因而获取的投影向量满足旋转、尺度和平移的不变性, 并能够在无标签的情况下提取样本的自然鉴别信息, 在人脸识别领域取得了较为成功的应用. 本文在典型相关分析(Canonical correlation analysis, CCA)的基础上引入稀疏保持项, 提出一种稀疏保持典型相关分析(Sparsity preserving canonical correlation analysis, SPCCA). 该方法不仅实现了两组特征集鉴别信息的有效融合, 同时对提取特征间的稀疏重构性加以约束, 增强了特征的表示和鉴别能力. 在多特征手写体字符集与人脸数据集上的实验结果表明, SPCCA比CCA具有更优的识别性能.     

局部判别型典型相关分析算法

在典型相关分析（CCA）的基础上,通过引入样本的类信息,并结合局部化思想,充分考虑了同类样本之间的局部相关与不同类样本之间的局部相关关系及其对分类的影响,提出了一种新的有监督学习方法——局部判别型CCA（Locality Discriminative CCA,简记为LDCCA）。LDCCA提取的特征能够实现同类样本之间相关最大化,同时使得不同类样本之间相关最小化,这将有利于模式的分类。在人工数据集,手写体数字数据集上和ORL,Yale和AR人脸数据集的实验结果表明,LDCCA能有效地利用类信息来提高分类性能。     

有序判别典型相关分析

多视图学习方法通过视图间互补信息的融合,达到增强单一视图方法的鲁棒性并提升学习性能的目的.典型相关分析(canonical correlation analysis,简称CCA)是一种重要的多视图信息融合技术.其研究的是针对同一组目标两组不同观测数据间的相关性,目标是得到一组相关性最大的投影向量.但当面对标号有序的分类任务时,CCA因没有利用类信息和类间有序信息,造成了对分类性能的制约.为此,通过将有序类信息嵌入CCA进行扩展,发展出有序判别典型相关分析(ordinal discriminative canonical correlation analysis,简称OR-DisCCA).实验结果表明, OR-DisCCA的性能比相关方法更优.     

基于典型相关分析的多视图降维算法综述

随着数据采集技术的发展,人们获取数据的途径呈多样化,所得到的数据往往具有多个视图,从而形成多视图数据。利用多视图数据不同的信息特征,设计相应的多视图学习策略以提高分类器的性能是多视图学习的研究目标。为更好地利用多视图数据,促进降维算法在实际中的应用,对多视图降维算法进行研究。分析多视图数据和多视图学习,在典型相关分析(CCA)的基础上追溯多视图CCA和核CCA,介绍多视图降维算法从两个视图到多个视图以及从线性到非线性的演化过程,总结各种融入判别信息和近邻信息的多视图降维算法,以更好地学习多视图降维算法。在此基础上,对比分析多视图降维算法的特点及存在的问题,并对未来的研究方向进行展望。     

基于双重鉴别相关性分析的图像识别算法

针对多视图相关性算法未有效利用视图中相关信息且忽视了潜在的鉴别信息的问题,提出基于同一视图内和不同视图间的双重鉴别相关性分析(DVDCA)算法。首先,设计有监督的类内和类间相关性变量,通过最大化类内相关性变量、最小化类间相关性变量来提取视图中的鉴别特征;其次,考虑在同一视图内和不同视图间均考虑进行鉴别相关特征提取,设计约束形式的双重视图鉴别相关性特征提取模型,以利用丰富的视图信息。在Multi-PIE多角度人脸数据集数据集上与多视图线性鉴别分析、典型相关性分析(CCA)、多视图鉴别隐性空间(MDLS)、不相关多视图鉴别字典学习(UMDDL)四种算法对比实验,DVDCA分类识别率能够提高1.45~4.73个百分点;在MFD多特征手写体数据集上分类识别率能够提高1.25~5.29个百分点。     

一种新的有监督的局部保持典型相关分析算法

从模式识别的角度出发,在局部保持典型相关分析的基础上,提出一种有监督的局部保持典型相关分析算法(SALPCCA)。该方法在构造样本近邻图时将样本的类别信息考虑在内,由样本间的距离度量确定权重,建立样本间的多重权重相关,通过使同类内的成对样本及其近邻间的权重相关性最大,从而能够在利用样本的类别信息的同时,也能保持数据的局部结构信息。此外,为了能够更好地提取样本的非线性信息,将特征集映射到核特征空间,又提出一种核化的SALPCCA(KSALPCCA)算法。在ORL、Yale、AR等人脸数据库上的实验结果表明,该方法较其他的传统典型相关分析方法有着更好的识别效果。     

增强组合特征判别性的典型相关分析

典型相关分析(CCA)在执行分类任务时主要存在如下不足:1)尽管分类时的输入是组合特征,但CCA仅优化组合特征的各组成部分,并未直接优化组合特征本身;2)尽管面对的是分类任务,然而CCA根本无法利用样本的类信息。为弥补CCA的上述不足,文中提出一种监督型降维方法——增强组合特征判别性的典型相关分析(CECCA)。CECCA在CCA基础上,通过结合组合特征的判别分析,实现对组合特征相关性与判别性的联合优化,使所抽取特征更适合分类。在人工数据集、多特征手写体数据集和人脸数据集上的实验结果验证该方法的有效性。     

基于判别稀疏性表示的不完整多视图分类

传统多视图学习通常假设样本在每个视图都是完整的,但是由于数据难以获取、设备故障、遮挡等因素,这一假设并不总能成立,而传统的多视图学习方法很难有效处理不完整多视图数据.目前,研究者们已经提出了一些不完整多视图学习的方法,但是这些方法没有充分利用样本类别信息,从而影响恢复后样本的判别性.因此,提出基于判别稀疏性表示的不完整多视图分类方法(IMVC-DSR).具体地,该方法假设缺失样本可用少量观测样本稀疏线性表示.同时,为了充分利用类别先验信息,增加恢复后样本的判别性,该方法鼓励相同类别样本之间相互表示,降低不同类别样本之间的相互表达.此外,该方法考虑到视图之间的相关关系,引入选择算子选出不同视图的相同样本,并约束相同样本在不同视图的线性表达具有一致性.最后,在公开的五组数据集上验证了所提方法IMVC-DSR的有效性.     

监督型局部保持的典型相关分析

利用数据集的局部结构信息和判别结构信息,构建相似度矩阵和类信息矩阵,提出监督型局部保持的典型相关分析(Supervised Locality Preserving Canonical Correlation Analysis,SLPCCA),该方法不但突破了典型相关分析(Canonical Correlation Analysis,CCA)处理数据时的线性约束,提高了处理非线性问题的能力,而且克服了局部保持的典型相关分析(Locality Preserving Canonical Correlation Analysis,LPCCA)忽视类信息的问题,提取的特征更有利于分类.在多特征手写体数据库(MFD)和美国国家邮政局手写字库(USPS)上的实验结果验证了该算法的有效性.     

基于集成学习的多重集典型相关分析方法

特征提取是模式识别中的关键问题之一,对提高系统分类性能具有重要意义。常用的特征提取方法包括主成分分析、线性鉴别分析、典型相关分析等等,多重集典型相关分析是基于传统的典型相关分析基础上发展而来,利用多组（大于2）特征数据集进行特征提取。基于集成学习的多重集典型相关分析的方法（EMCCA）,是通过将样本化分成若干小的样本,形成若干个特征数据集,利用多重集典型相关分析对这组数据集做特征提取,并结合集成学习对样本进行分类。在UCI上的多特征手写体数据集上的实验结果表明：相比于传统的PCA,CCA特征提取方法,多重集典型相关分析具有更优的特征提取效果,结合集成学习后具有更好的分类效果。     

融合稀疏保持的成对约束投影

提出一种融合稀疏保持的成对约束投影(Pairwise Constraint Projections inosculating Sparsity Preserving, SPPCP)。该算法在成对约束指导的降维过程中,通过平衡参数引入稀疏保持投影(Sparsity Preserving Projections, SPP),在保持成对约束特征的同时,也继承了稀疏保持所蕴含的几何结构保持和近部保持特性。在UCI数据集和 AR人脸库上的实验表明,该算法有效地融合了稀疏保持投影的优点,与典型的成对约束的半监督降维算法相比,提 高了基于最短欧氏距离的分类算法的精度和稳定性。     

结合成对约束的近邻稀疏保留投影算法

稀疏保持投影算法是一种无监督的全局线性降维方法,无法应对训练样本不足及类内样本间差异过大的情况。针对该问题,提出一种结合成对约束机制的近邻稀疏保留投影算法。利用近邻样本求取稀疏系数以保留局部结构信息,引入成对约束监督的思想,利用样本类别指导稀疏重构过程,最后定义能最大限度保留稀疏系数中蕴含的类别信息的低维子空间。将该算法用于人脸识别,实验结果证明了算法在识别率以及运行时间上的有效性和可行性。     

基于成对约束和稀疏保留的数据降维算法

结合以成对约束形式给出的监督信息和无监督信息,提出一种基于成对约束和稀疏保留的数据降维算法。通过成对约束信息进行鉴别分析,利用稀疏表示方法保留数据集在变换空间中的全局稀疏结构。实验结果表明,与传统特征抽取算法相比,该算法的识别效果更好,需要调节的参数更少,且鲁棒性较高。     

基于深度学习的监督型典型相关分析

典型相关分析（CCA）是利用综合变量对之间的相关关系反映两组指标之间整体相关性的多元统计方法。传统的CCA方法无法有效利用样本的标签信息,导致准确率降低。将类信息融入到深度学习与CCA相结合的深度典型相关分析中,提出一种监督型降维方法DL-SCCA,用于处理带标签的非线性可分数据。在2个独立的深度神经网络（DNN）结构上,增加1个公共的输出维数与数据集类别数相同的全连接层,并且以softmax函数作为该层的激活函数,输出带有概率意义的编码向量。在此基础上,利用全连接输出与样本标签信息之间的交叉熵对DNN进行训练,获得分类性能较优的低维特征。实验结果表明,该方法采用最近邻分类器和网络本身结构得到的分类准确率分别为98.00%和97.82%,相比CCA、DisCCA、DCCA等方法,能够有效利用样本的标签信息,并且具有较优的分类性能。     

一种监督的局部保持典型相关分析算法

从模式分类的角度出发,提出一种监督的局部保持典型相关分析(SLPCCA),通过最大类内成对样本与其近邻间的权重相关性,因而能有效利用样本类别信息的同时保持数据的局部流形结构,并且融合判别型典型相关分析(DCCA)的鉴别信息而不受总类别数的限制。此外,为了提取数据的非线性特征,在核方法的基础上又提出一种核化的SLPCCA(KSLPCCA)。在ORL、Yale、AR和FERET等人脸数据库的实验结果表明,该算法比其他传统的典型相关分析方法具有更好的识别效果。     

基于跨视图约束的多视图分类方法

考虑一种多视图数据配对形式——跨视图约束,从而推广单视图学习中的成对约束.利用不同视图间数据对是否属于同一类的弱化约束信息,代替严格的配对约束,不仅涵盖原有的一一配对,而且能推广到完全无配对的情况.提出一种基于跨视图约束的多视图分类方法,该方法不仅能深入挖掘跨视图约束中隐藏的判别信息,而且能同时利用数据的结构信息.实验结果验证该方法的有效性.     

稀疏表示一致性引导的多视图降维算法

现有基于图的多视图降维方法大多将构图和降维两个过程独立执行,因此构图的质量直接决定着降维的效果,然而构图是一个开放性的问题.为了缓解上述困难,提出了一种稀疏表示一致性引导的多视图降维算法(MDR＿SRC).首先,通过使不同视图下的样本保持公共的稀疏表示,挖掘了视图之间的一致性关系;其次,根据样本对稀疏表示系数的差异性指导构图,利用构建的图指导降维;然后将基于稀疏表示的构图与基于图的降维整合为一个优化问题,使构图与降维过程相互指导,从而实现图质量的动态提升;最后,设计了一种迭代地交替策略求解该优化问题.在4个公开数据集上的实验结果表明文中所提的方法优于现有的代表性多视图降维方法.     

监督型典型相关分析及其行为识别应用

局部判别型典型相关分析CCA(LDCCA)是一种线性判别方法,只适用于处理线性可分的问题.为了更好地处理现实世界中存在的非线性现象,利用核技巧对LDCCA进行了核化,提出了一种新的有监督多模态识别方法即核化的局部判别型典型相关分析(KLDCCA).LDCCA和KLDCCA引入了样本的类信息,充分考虑了同类样本之间的局部相关与不同类样本之间的局部相关关系及其对分类的影响,因此,提取的特征能够实现同类样本之间相关最大化,同时使得不同类样本之间相关最小化,这将有利于模式的分类.在人脸识别和简单行为识别上的应用表明,LDCCA和KLDCCA能有效地利用类信息和局部信息来提高分类性能.     

利用相对强度的监督典型相关分析算法

典型相关分析(CCA)是一种无监督的子空间学习算法,加入标签信息可以提高典型相关特征的判别力.为了有效地利用样本的标签信息,借鉴相对属性的思想,提出一种利用相对强度的监督CCA(SCCA)算法.该算法在使得2组典型投影之间具有最大的相关系数的同时,典型投影的每一维特征的大小能够表示不同样本在其上的相对强度;采用异类样本间在每个低维特征上的差异大于同类样本间差异的策略,使得典型投影的每个特征都具有较好的鉴别力.在多特征手写体数字、人脸图像以及一般对象数据库上的实验结果表明,SCCA算法具有较好的识别效果,优于已有的典型相关特征抽取算法.