稀疏保持典型相关分析及在特征融合中的应用

稀疏保持投影(Sparsity preserving projections, SPP)由于保持了数据间的稀疏重构性, 因而获取的投影向量满足旋转、尺度和平移的不变性, 并能够在无标签的情况下提取样本的自然鉴别信息, 在人脸识别领域取得了较为成功的应用. 本文在典型相关分析(Canonical correlation analysis, CCA)的基础上引入稀疏保持项, 提出一种稀疏保持典型相关分析(Sparsity preserving canonical correlation analysis, SPCCA). 该方法不仅实现了两组特征集鉴别信息的有效融合, 同时对提取特征间的稀疏重构性加以约束, 增强了特征的表示和鉴别能力. 在多特征手写体字符集与人脸数据集上的实验结果表明, SPCCA比CCA具有更优的识别性能.     

基于鉴别稀疏保持嵌入的人脸识别算法

鉴于近年来稀疏表示（Sparse representation,SR）在高维数据例如人脸图像的特征提取与降维领域的快速发展,对原始的稀疏保持投影（Sparsity preserving projection,SPP）算法进行了改进,提出了一种叫做鉴别稀疏保持嵌入（Discriminant sparsity preserving embedding,DSPE）的算法. 通过求解一个最小二乘问题来更新SPP中的稀疏权重并得到一个更能真实反映鉴别信息的鉴别稀疏权重,最后以最优保持这个稀疏权重关系为目标来计算高维数据的低维特征子空间.该算法是一个线性的监督学习算法,通过引入鉴别信息,能够有效地对高维数据进行降维. 在ORL库、Yale库、扩展Yale B库和CMU PIE库上的大量实验结果验证了算法的有效性.     

有样本缺失的稀疏保持典型相关分析

在典型相关分析(CCA)的基础上,通过稀疏保持引入样本的类别信息,利用交叉相关项克服CCA及其推广算法要求不同视图样本必须成对出现的局限,提出一种有监督学习方法——有样本缺失的稀疏保持典型相关分析(SPCCAM).SPCCAM能在训练样本不成对的情况下进行多视图特征融合.在人工数据集、手写体数据集和PIE人脸数据集上的实验结果表明,SPCCAM能有效利用类信息提高分类性能.     

基于低秩稀疏图的结构保持投影算法

在图嵌入理论框架下,能够较好地揭示数据本质特性的图在一些维数约简方法中起到关键性的作用。基于稀疏表示和低秩表示方法,构建了一种低秩稀疏图,能够同时揭示数据的局部结构信息和全局结构信息。然后,利用图嵌入理论方法使这些特性在线性投影的过程中得以保持不变,从而学习出高维数据有效的低维嵌入。在标准的人脸和手写数字数据集(ORL,Yale,PIE,MNIST)上进行实验,同传统的图嵌入方法比较,结果表明了算法的有效性。     

基于局部保持的核稀疏表示字典学习

为了利用核技巧提高分类性能, 在局部保持的稀疏表示 字典学习的基础上, 提出了两种核化的稀疏表示字典学习方法. 首先, 原始训练数据被投影到高维核空间, 进行基于局部保持的核稀疏表示字典学习; 其次, 在稀疏系数上强加核局部保持约束, 进行基于核局部保持的核稀疏表示字典学习. 实验结果表明, 该方法的分类识别结果优于其他方法.     

一种监督的局部保持典型相关分析算法

从模式分类的角度出发,提出一种监督的局部保持典型相关分析(SLPCCA),通过最大类内成对样本与其近邻间的权重相关性,因而能有效利用样本类别信息的同时保持数据的局部流形结构,并且融合判别型典型相关分析(DCCA)的鉴别信息而不受总类别数的限制。此外,为了提取数据的非线性特征,在核方法的基础上又提出一种核化的SLPCCA(KSLPCCA)。在ORL、Yale、AR和FERET等人脸数据库的实验结果表明,该算法比其他传统的典型相关分析方法具有更好的识别效果。     

一种新的有监督的局部保持典型相关分析算法

从模式识别的角度出发,在局部保持典型相关分析的基础上,提出一种有监督的局部保持典型相关分析算法(SALPCCA)。该方法在构造样本近邻图时将样本的类别信息考虑在内,由样本间的距离度量确定权重,建立样本间的多重权重相关,通过使同类内的成对样本及其近邻间的权重相关性最大,从而能够在利用样本的类别信息的同时,也能保持数据的局部结构信息。此外,为了能够更好地提取样本的非线性信息,将特征集映射到核特征空间,又提出一种核化的SALPCCA(KSALPCCA)算法。在ORL、Yale、AR等人脸数据库上的实验结果表明,该方法较其他的传统典型相关分析方法有着更好的识别效果。     

稀疏近邻保持投影

从全局特征保持和局部特征保持的角度出发,提出一种稀疏近邻保持投影(SNPE)算法。该算法融合了稀疏重构信息和局部近邻重构信息。投影后的低维数据保持了高维数据的全局几何结构信息和局部近邻近似非线性的结构信息。在Yale、AR和UMIST上的实验表明所提算法是有效的。     

稀疏局部保持投影

LASSO(Least Absolute Shrinkage and Selection Operator)是1范数和2范数混合学习的一种理论框架,基于LASSO提出了局部保持投影的稀疏回归算法SpLPP及其广义的正则化形式RSpLPP,并从理论上证明了所提模型的收敛性及求解算法,给出了算法的复杂性分析.所提算法同时具有特征选择、降维的特性,在有监督学习、无监督学习两种任务情况下,都可以应用该算法.在人工数据集和真实数据集上进行的大量仿真实验,取得了较好的结果,证明了所提算法的有效性.     

成对约束指导的稀疏保持投影

针对稀疏保持投影的稀疏重构过程中监督信息不足的问题,提出一种成对约束指导的稀疏保持投影算法。该算法在训练样本数据的稀疏重构的过程中,通过引入正约束和负约束监督信息指导稀疏重构,使得稀疏保持投影有效地融合了约束监督信息。在UMIST、YALE和AR人脸库人脸数据集上的实验结果表明,与无监督的稀疏保持投影相比,该方法提高了基于最近近邻分类算法的5%~15%识别准确率,有效地提高了降维分类性能。     

基于核化原理的非线性典型相关判别分析

典型相关判别分析是将传统的典型相关分析应用于判别问题,它是一类重要的特征提取算法,但其本质上只能提取数据的线性特征,应用统计学习理论中的核化原理可以将这样的线性特征提取算法推广至非线性特征提取算法,该文研究了如何将这一原理应用于典型相关判别分析,提出了基于核化原理的非线性典型相关判别分析,并且给出了求解该问题的一个自适应学习算法．数值实验表明,基于核化原理所导出的非线性典型相关判别分析比传统的典型相关判别分析更有效,另外,该文从理论上证明,所提出的新方法与Fisher核判别分析等价。     

核诱导距离度量的鲁棒典型相关分析

典型相关分析(canonical correlation analysis,CCA)是寻找同一对象两组变量间线性相关性的一种常用的多元统计分析方法,其采用的欧氏距离度量方式导致了算法的非鲁棒性。核诱导的距离度量不仅在理论上被证明是鲁棒的,而且在(聚类)应用上获得了有效验证。将其进一步应用于CCA,发展出了核诱导距离度量的鲁棒CCA(CCA based on kernel-induced measure,KI-CCA)。该算法不仅克服了CCA非鲁棒的不足,而且使现有基于最大相关熵的鲁棒主成分分析(half-quadratic principal component analysis,HQ-PCA)成为特例,且具有非线性相关分析的能力。一方面,核的多样性使得KI-CCA也具有多样性,从而使其成为一般性的分析算法。另一方面,与CCA刻画上的相似性,使其求解可归结为广义特征值问题。在人工数据、多特征手写体数据库(multiple feature database,MFD)和人脸数据集(Yale、AR、ORL)上的实验验证了该算法的有效性。     

数据场典型相关分析及其在图像分割中的应用

针对数据场环境下多维数据的低维特征提取问题,本文将数据之间的相互作用纳入其相关性求解中,提出一种基于数据场的典型相关分析(Data field based canonical correlation analysis, DFCCA)方法. DFCCA提取的特征具有良好的分布特性,原空间上相隔较远的数据点对的特征聚集在一个较小区域内,而相邻数据点对的特征却有规律地分布在其他点所聚集区域的周围.此特性使得DFCCA具有较好的边界辨识能力,将其应用于图像分割的实验结果表明, DFCCA提取的复杂图像边界具有较好的保真度.     

核典型相关分析特征融合方法及应用

构建了一种基于核函数的典型相关分析的特征融合算法。首先,利用核函数将图像矩阵映射到核空间,再抽取同一模式的两组特征向量,在两组特征向量之间建立描述它们的相关性的判据准则函数;然后依此准则函数抽取两组典型投影矢量集;最后通过给定的特征融合策略抽取组合的典型相关特征以用于分类识别。该算法将两组特征向量之间的相关性特征作为有效鉴别信息,既可以很好地融合信息,又可以有效地去除特征之间的信息冗余,并且避免了对映射后的数据矩阵进行分解,从而简化了数据运算。在AR、PIE、ORL、Yale人脸数据库及UCI手写体数字库上的实验结果证明了该方法的有效性和稳定性。     

基于独立成分分析与核典型相关分析的WLAN室内定位方法*

接收信号强度(Received Signal Strength, RSS)在WLAN室内定位环境中存在时变特性,降低了WLAN定位环境中RSS信号和位置信息之间的相关性,致使定位精度降低。针对这一问题,该文提出通过利用独立成分分析(Independent Component Analysis, ICA)对RSS信号进行数据降维和去相关处理,提取独立分量;然后采用核典型相关分析(Kernel Canonical Correlation Analysis, KCCA)来提取独立分量与位置信息之间的典型相关特征;最后结合传统定位算法如加权K近邻法(Weighted K Nearest Neighbors, WKNN)、支持向量机(Support Vector Machine, SVM)算法实现定位。实验结果表明,传统定位算法WKNN算法、SVM算法通过运用ICA与KCCA特征提取后再进行定位其定位精度得到提高。     

基于典型相关分析的组合特征抽取及脸像鉴别

利用典型相关分析的思想,提出了一种基于特征级融合的组合特征抽取新方法.首先,抽取同 一模式的两组特征矢量,给出描述两组特征矢量之间相关性的判据准则函数;然后依此准则 抽取它们的典型相关特征,构成有效鉴别特征矢量用于识别.该方法巧妙地将两组特征矢量之 间的相关性特征作为有效判别信息,既达到了信息融合之目的,又消除了特征之间的信息冗余 ,为两组特征融合用于分类识别提供了新的思路.此外,从理论上进一步剖析了所提出的方法 之所以能有效地用于识别的内在本质.在Yale和ORL标准人脸数据库上的实验结果证实了所提 算法的有效性和稳定性,而且识别率大大高于用单一特征进行识别的结果.     

一种基于稀疏典型性相关分析的图像检索方法

图像语义检索的一个关键问题就是要找到图像底层特征与语义之间的关联,由于文本是表达语义的一种有效手段,因此提出通过研究文本与图像两种模态之间关系来构建反映两者间潜在语义关联的有效模型的思路,基于该模型,可使用自然语言形式(文本语句)来表达检索意图,最终检索到相关图像.该模型基于稀疏典型性相关分析(sparse canonical correlation analysis,简称sparse CCA),按照如下步骤训练得到:首先利用隐语义分析方法构造文本语义空间,然后以视觉词袋(bag of visual words)来表达文本所对应的图像,最后通过Sparse CCA算法找到一个语义相关空间,以实现文本语义与图像视觉单词间的映射.使用稀疏的相关性分析方法可以提高模型可解释性和保证检索结果稳定性.实验结果验证了Sparse CCA方法的有效性,同时也证实了所提出的图像语义检索方法的可行性.     

一种基于稀疏典型性相关分析的图像检索方法?

图像语义检索的一个关键问题就是要找到图像底层特征与语义之间的关联,由于文本是表达语义的一种有效手段,因此提出通过研究文本与图像两种模态之间关系来构建反映两者间潜在语义关联的有效模型的思路。基于该模型,可使用自然语言形式(文本语句)来表达检索意图,最终检索到相关图像。该模型基于稀疏典型性相关分析(sparse canonical correlation analysis,简称sparse CCA),按照如下步骤训练得到：首先利用隐语义分析方法构造文本语义空间,然后以视觉词袋(bag of visual words)来表达文本所对应的图像,最后通过Sparse CCA算法找到一个语义相关空间,以实现文本语义与图像视觉单词间的映射。使用稀疏的相关性分析方法可以提高模型可解释性和保证检索结果稳定性。实验结果验证了Sparse CCA方法的有效性,同时也证实了所提出的图像语义检索方法的可行性。