图强化典型相关分析及在图像识别中的应用

典型相关分析(CCA)作为一种传统特征提取算法已经成功应用于模式识别领域,其旨在找到使两组模态数据间相关性最大的投影方向,但其本身为一种无监督的线性方法,无法利用数据内在的几何结构和监督信息,难以处理高维非线性数据.为此该文提出一种新的非线性特征提取算法,即图强化典型相关分析(GECCA).该算法利用数据中的不同成分构建多个成分图,有效保留了数据间的复杂流形结构,采用概率评估的方法使用类标签信息,并通过图强化的方式将几何流形和监督信息融合嵌入到典型相关分析框架.为了对该算法进行评估,分别在人脸和手写体数字数据集上设计了针对性实验,良好的实验结果显示出该算法在图像识别中的优势.     

基于自适应结构图的半监督语音情感特征选择

本文研究了语音情感识别中的半监督特征选择问题,即如何利用未标记语音情感数据来帮助选择具有情感判别性的特征.为了解决这个问题,提出了一种新的基于图的半监督特征选择方法.其可以根据标签适应度和流形平滑度,在图上估计一个预测标签矩阵,从而有效地利用标记数据中的标签信息,以及标记数据和未标记数据中的流形结构信息.与现有的基于图的方法相比,该方法能同时进行特征选择和局部结构学习,从而自适应地确定图相似度矩阵.同时,还对图相似度矩阵进行了约束,使其包含更准确的数据结构信息,从而可以选择更有判别性的特征.此外,提出了一种有效的迭代算法来优化该问题.在典型语音情感数据集上的实验结果表明,本文提出的方法是有效的.     

快速核有监督局部保留投影算法

为了提取样本中的非线性模式,保持其中的流形结构以及减少投影时间,该文提出了一种快速核有监督局部保留投影算法。该算法使用有监督聚类选择法选取训练集的一个子集进行子集核主成分分析,然后在子集核主成分分析形成的子空间中进行有监督局部保留投影。实验结果表明:相对于有监督局部保留投影算法以及现有的几种流行特征提取方法,新算法能够取得更高的识别率;相对于现有的核投影算法,新算法的投影速度更快。在有些数据集上,只要普通核投影十分之一左右的时间,就能达到相同甚至更高的识别率。     

基于行为学习的改进LapSVM算法及其应用

拉普拉斯支持向量机通过流形正则项能够利用未标记数据信息进行半监督学习。但其流形正则项中的数据邻接图由于没有利用数据的标记信息而不能准确表征数据流形结构,并且热核参数的经验式选择也无法保证算法的学习性能。为此,基于人类行为认知的思想构造一种新的数据邻接图:首先设计一种能够利用数据标记信息的行为相似性边权值,然后所提出的局部视角距离不仅反映邻域结构特性而且克服了热核参数选择的问题。在公共数据集上的实验验证了所提出算法的性能,最后将之应用于辐射源个体识别。     

基于测地Gabriel图的非线性流形判别分析

针对位于非线性流形上类别数据的判别分析问题,提出了一种基于测地Gabriel图的局部判别器融合算法.利用测地距离表征流形的内在几何结构,由此构造测地Gabriel图确定异类数据相互靠近的局部临界区域,进而训练得到局部线性的判别器.整体的非线性判别器由多个局部判别器融合得到:基于柔性边界准则函数,以迭代优化的方式,为每个局部判别器分配最佳的权重系数,整体上逐步提高异类样本间的区分度.在人工合成数据集以及人脸图像库上的实验证明了本文算法的有效性.     

面向高光谱遥感影像分类的监督多流形鉴别嵌入方法

流形学习方法可以发现嵌入于高维观测数据中的低维流形结构,但是传统的流形学习算法都是假设所有数据位于单一流形上,忽略了高维数据中不同的子集可能存在不同的流形.针对上述问题,本文提出一种监督多流形鉴别嵌入的维数约简方法,并应用于高光谱遥感影像分类.该方法首先利用样本数据的类别标签进行多子流形划分,在此基础上采用图嵌入理论构造流形内图和流形间图,然后通过最小化流形内距离同时最大化流形间距离以增强类内数据聚集性和类间数据分散性,提取低维鉴别特征,改善地物分类性能.在University of Pavia （PaviaU）和Kennedy Space Center （KSC）高光谱数据集上的实验表明,相较于其他单流形算法和多流形算法,该方法取得了更高的分类精度,在随机选取2%训练样本时,其总体分类精度分别达到88.04%和84.53%,有效提升了地物分类性能.     

基于半监督稀疏流形嵌入的高光谱影像特征提取

高光谱影像具有波段数多、冗余度高的特点,因此特征提取成为高光谱影像分类的研究热点。针对此问题,该文提出一种半监督稀疏流形嵌入(S3ME)算法,该方法充分利用标记样本和无标记样本,通过基于切空间的稀疏流形表示来自适应地揭示数据间的相似关系,并利用稀疏系数构建一个半监督相似图。在此基础上,增加了图中同类标记样本的权重,然后在低维空间中保持图的相似关系不变,并最小化加权距离和,获得投影矩阵实现特征提取。S3ME方法不仅能揭示数据间的稀疏流形结构,而且增强了同类数据的集聚性,能有效提取出鉴别特征,改善分类效果。该文提出的S3ME方法在PaviaU和Salinas高光谱数据集上的总体分类精度分别达到84.62%和88.07%,相比传统特征提取方法提升了地物分类性能。     

基于一种改进的监督流形学习算法的语音情感识别

为了有效提高语音情感识别的性能,需要对嵌入在高维声学特征空间的非线性流形上的语音特征数据作非线性降维处理。监督局部线性嵌入(SLLE)是一种典型的用于非线性降维的监督流形学习算法。该文针对SLLE存在的缺陷,提出一种能够增强低维嵌入数据的判别力,具备最优泛化能力的改进SLLE算法。利用该算法对包含韵律和音质特征的48维语音情感特征数据进行非线性降维,提取低维嵌入判别特征用于生气、高兴、悲伤和中性4类情感的识别。在自然情感语音数据库的实验结果表明,该算法仅利用较少的9维嵌入特征就取得了90.78%的最高正确识别率,比SLLE提高了15.65%。可见,该算法用于语音情感特征数据的非线性降维,可以较好地改善语音情感识别结果。     

张量局部判别投影的人脸识别

 经典的向量子空间学习算法是以数据流形的向量表示进行计算的,但是在现实世界中数据流形从本质上而言是以张量的形式存在,因此基于张量子空间的学习算法能够更好地揭示流形内在的几何结构.本文提出了一种新的张量子空间的学习算法:张量局部判别投影.首先构建类内和类间图,然后保持流形的局部结构并且利用数据的判别信息,推导出算法的计算公式,最后通过迭代计算广义特征向量,解得最优张量子空间.在标准人脸数据库上的实验表明该算法有效.     

核判别保局投影的人脸识别算法

针对人脸识别中的特征提取问题,提出了核判别保局投影算法,即KDLPP.该算法通过核技巧将人脸样本映射到高维空间,在高维空间中有效地结合人脸局部的流形结构和人脸的判别信息构建了新的目标函数,其优点是在保持人脸流形结构的基础上,充分利用了样本的类别信息,并采用核方法提取了人脸的非线性特征.在ORL和UMIST人脸库上的实验...     

标签敏感的多重集正交相关特征融合方法

典型相关分析(CCA)作为一种经典的特征融合方法,广泛用于模式识别领域,其目标是学习相关投影方向使两组变量间的相关性最大,但其没有考虑样本的类标签信息和样本间的信息冗余(MDOCCA),从而影响了融合后特征的监督敏感性和鉴别力。为此,该文提出一种标签敏感的多重集正交相关特征融合方法,该方法在典型相关分析理论基础上,将类标签信息嵌入到特征融合框架,同时加入正交约束确保融合特征最大限度的不相关,减少特征信息冗余,提高鉴别力。在不同图像数据集上的实验结果显示该方法是一种有效的特征融合方法。     

面向图像识别的测地局部典型相关分析方法

典型相关分析(CCA)是一种经典的多模态特征学习方法,能够从不同模态同时学习相关性最大的低维特征,然而难以发现隐藏在样本空间中的非线性流形结构。该文提出一种基于测地流形的多模态特征学习方法,即测地局部典型相关分析(GeoLCCA)。该方法利用测地距离构建了低维相关特征的测地散布,并进一步通过最大化模态间的相关性和最小化模态内的测地散布学习更具鉴别力的非线性相关特征。该文不仅在理论上对提出的方法进行了分析,而且在真实的图像数据集上验证了方法的有效性。     

核典型相关分析的融合人脸识别算法

为了更有效地映射图像数据样本到可分类特征空间,提高分类正确率,提出了一种新的基于核函数的典型相关分析的融合人脸识别算法.该方法首先把图像矩阵通过核函数影射到核空间,然后从核空间的行和列两个方向进行特征抽取,同时避免分解映射后的数据矩阵,简化了数据运算,获得了更具鉴别力的分类特征.在Ohio州立大学的OTCBVS可见/红外人脸数据库中进行了分类识别实验,实验结果表明:该方法可以获得90%以上的识别正确率,优于其他的典型相关分析的人脸识别方法的分类正确率.此外,对不均匀光照变化,表情变化等人脸识别的常见问题具有很好的抵抗能力.     

基于广义典型相关分析的仿射不变特征提取方法

该文结合广义典型相关分析(GCCA)理论,提出了一种新的图像仿射不变特征提取方法。首先,基于多尺度自卷积变换(MSA)构造了一组新的变换量多尺度自卷积熵(MSAE)。然后证明了该熵具有仿射不变性;再利用GCCA将MSA和MSAE变换值作为两种特征进行融合,得到具有更丰富图像信息的组合特征。最后利用MSA,MSAE和组合特征,结合最近距离分类器分别对视点变换图像以及加噪声、加部分遮挡视点变换图像进行分类识别实验。结果表明,组合特征得到了最高的正确识别率,MSAE次之,MSA最低。     

融合局部纹理和形状特征的人脸表情识别

针对局部二值模式(LBP)、中心对称局部二值模式(CS-LBP)和梯度方向直方图(HOG)的不足进行改进,该文提出中心对称局部平滑二值模式(CS-LSBP)和绝对梯度方向直方图(HOAG),并提出一种融合局部纹理特征和局部形状特征的人脸表情识别方法。该方法首先采用CS-LSBP算子和HOAG算子分别提取人脸表情图像的局部纹理特征和局部形状特征,然后使用典型线性分析法(CCA)进行特征融合,最后利用支持向量机(SVM)进行表情分类。在JAFFE人脸表情库和Cohn-Kanade(CK)人脸表情库上的实验结果表明,改进的特征提取方法能更加完整、精确地提取图像的细节信息,基于CCA的特征融合方法能充分发挥特征的表征能力,该文所提人脸表情识别方法取得了较好的分类识别效果。     

基于核的正交局部保持投影的人脸识别

针对发掘人脸图像中的高维非线性结构,本文将加核及向量间相互正交两种思想同时引入局部保留投影算法中,提出了一种新的基于核的正交局部保持投影(Kernel based Orthogonal Locality Preserving Projections, KOLPP)的非线性子空间人脸识别算法并给出了其推导过程。该算法首先利用核的方法提取人脸图像中的非线性信息,并将其投影在一个高维非线性空间,在保证各向量正交的同时,通过局部保持投影算法做一线性映射,从而更好地提取人脸非线性局部邻域结构特征。在ORL和Yale人脸库上的试验证明了该文所提算法的有效性。     

基于核典型相关分析的语音情感识别研究

语音是人类表达思想和感情交流最重要的工具,是人类文化的重要组成部分。语音情感识别作为情感计算中的重要课题已经成为国际上的研究热点,受到越来越多的关注。已有神经科学研究表明,大脑是产生调节情感的物质基础。因此,在语音情感的研究中,我们不能仅考虑语音信号自身,还应将大脑的活动信号融入语音情感识别中,以实现更高准确率的情感识别。基于上述思想,本文提出了一种基于核典型相关分析（KCCA）的语音特征提取方法。该方法将语音特征与脑电图（EEG）特征映射到高维希尔伯特空间,并计算二者的最大相关系数。KCCA将语音特征在高维希尔伯特空间上向与脑电特征相关性最大的方向投影,最终得到包含脑电信息的语音特征。本文方法将与语音情感相关的脑电信息融入语音情感特征提取中,所提特征能够更准确的表征情感。同时,本方法在理论上具有良好的可迁移性,当所提脑电特征足够准确与具有代表性时,KCCA建模得到的投影向量具有通用性,可直接用于新的语音情感数据集中而无需重新采集和计算相应的脑电信号。在自建语音情感数据库与公开语音情感数据库MSP-IMPROV上的实验结果表明,使用投影语音特征进行语音情感分类的方法优于使用原始音频特征...     

基于半监督联合神经网络的调制识别算法

针对基于有监督学习通信信号分类算法需要大量有标签训练样本,而在实际场合大多无法满足数量要求的问题,提出利用数据驱动模型的半监督学习方法,通过对比预测编码无监督算法预训练和有监督学习相结合,利用LSTM (long short term memory)和ResNet (residual network)联合神经网络实现小样本自动提取特征,提高小样本条件下信号识别准确率。在真实通信调制信号集上实验表明,半监督联合神经网络结构较以往方法,识别准确率提升3%-20%,小样本条件下性能提高60%,同时在低信噪比条件下识别能力突出,0dB时对11种调制信号平均识别正确率达到92%,具有明显优势。      

基于部分标记数据进行人脸图像特征提取

针对无监督特征提取的识别率低与监督特征提取需要大量标记的问题,提出一种基于部分标记数据的半监督判别分析(SSDPA)特征提取法。本文方法能实现图像数据降维,避免线性判别分析(LDA)存在的小样本问题,达到提高识别率的目的。算法对图像进行离散余弦变换(DCT)变换;根据DCT图像的频率分布,利用部分标记数据计算SSDP;优先搜索SSDP高的DCT图像信息。将本文方法与其它方法进行组合,在不同人脸数据库上进行了实验。实验证明了本文方法的有效性,用较低的代价获得了优于传统方法的识别率。     

Gesture recognition for human–machine interaction in table tennis video based on deep semantic understanding

The analysis of moving objects in videos, especially the recognition of human motions and gestures, is attracting increasing emphasis in computer vision area. However, most existing video analysis methods do not take into account the effect of video semantic information. The topological information of the video image plays an important role in describing the association relationship of the image content, which will help to improve the discriminability of the video feature expression. Based on the above considerations, we propose a video semantic feature learning method that integrates image topological sparse coding with dynamic time warping algorithm to improve the gesture recognition in videos. This method divides video feature learning into two phases: semi-supervised video image feature learning and supervised optimization of video sequence features. Next, a distance weighting based dynamic time warping algorithm and K-nearest neighbor algorithm is leveraged to recognize gestures. We conduct comparative experiments on table tennis video dataset. The experimental results show that the proposed method is more discriminative to the expression of video features and can effectively improve the recognition rate of gestures in sports video.