基于核空间中最优变换和聚类中心的鉴别特征提取

应用统计学习理论中的核化原理,可以将许多线性特征提取算法推广至非线性特征提取算法.提出了基于核化原理的最优变换与聚类中心算法,即通过非线性变换,将数据映射到高维核空间,应用最优变换算法,实现原空间数据的非线性特征提取,而求解过程却借助"核函数",回避了复杂非线性变换的具体表达形式.新算法可提取稳健的非线性鉴别特征,从而解决复杂分布数据的模式分类问题.大量数值实验表明新算法比传统的最优变换与聚类中心算法更有效,甚至优于经典的核Fisher判别分析.     

一种基于LDAO的唇读特征提取算法

在语音与唇读识别应用中,传统的LDA(linear discriminant analysis)算法一般以音节、半音节、HMM状态等基元为类别进行数据分段,经线性判别分析后获得的特征投影方向与识别率不直接相关,影响了识别率。提出了一种新的基于LDAO(linear discriminant analysis based on object)的唇读特征提取算法,该算法以待识别对象为类别进行线性判别分析,在理论上保证了唇读特征矢量向最具判别能力的方向投影。基于唇读数据库的实验证明,该算法明显优于现有各种唇读特征提取算法,比DCT+LDA算法识别率提高了3%。     

模糊非相关判别转换及其应用

线性判别分析是一种特征提取和维数缩减的方法,广泛应用于人脸识别,语音识别和手写字母识别等领域。但是许多线性判别分析都是“硬”线性判别分析,每个数据点都严格地属于这一类或那一类。在非相关判别转换(UDT)基础上,提出了模糊非相关判别转换(FUDT)。FUDT是利用模糊集理论的有监督学习方法,其判别向量满足广义瑞利商方程,同时也满足样本到模糊非相关优化判别向量上的投影是非相关的。通过FUDT和UDT对公共数据库MSTAR的实验结果可看出,FUDT在处理SAR图像的特征提取方面优于UDT。     

基于模糊CCA的图像特征提取和识别

利用典型相关分析(CCA)和隶属度的思想，提出一种基于模糊典型相关分析的图像特征提取新方法。通过分析图像样本的分布特点，定义合适的隶属度函数描述图像空间的样本分布。利用CCA进行多信息源特征提取，得到同时包含图像灰度信息和分布信息的有效判别特征。可证明Fisher线性判别分析是该算法的一种极限情形。在ORL标准人脸数据库上的实验结果表明新特征具有良好的分类能力，证实了该方法的有效性。     

一种适用于小样本问题的基于边界的特征提取算法

特征提取技术是模式识别领域进行数据降维和强化判别信息的有效方法.线性判别分析是监督特征提取方法的典型代表,获得广泛应用,但受到小样本问题的制约.对此提出一种适用于小样本问题的基于边界的特征提取算法.算法利用高维数据小样本情况下线性可分概率增加以及其低维投影趋于正态分布的特点,定义了新的类别边界,不但考虑了由线性判别分析提出的类内、类间离散度,也兼顾各类别的方差差异性.通过极大化该边界获得最优投影向量,同时避免因类内离散度矩阵奇异导致的小样本问题.进一步将算法推广到多类问题.高光谱数据特征提取与分类实验表明,算法在小样本情况下对于两类和多类问题均具有良好的推广性能,优于多种线性判别分析的改进算法,并且在样本较多时也取得了满意结果.     

极速非线性判别分析网络

由于线性判别分析仅是线性方法,难以有效应对非线性问题,而对其非线性化是解决这一问题的关键途径。非线性化判别方法主要包括神经网络和核化方法。神经网络判别分析方法虽然继承了神经网络所具有的自适应、分布存储、并行处理和非线性映射等优点,但也遗传了其训练速度慢且易陷入局部最小值缺点;而核线性判别分析方法虽能获得全局最优解析解,但因受制于隐节点数目（等于样本个数）,当数据规模大时,计算成本变大。本文受随机映射启发,对神经网络判别分析方法进行极速化改造,实现了一种极速非线性判别分析方法,兼具神经网络的自适应性和全局最优解的快速性。最后在UCI真实数据集上的实验表明,极速非线性判别分析方法具有更优的分类性能。     

一种基于马氏距离的线性判别分析分类算法

对于一个特定的模式识别问题,表达和识别模式的特征具有不同的形式,它们在物理意义上是完全不同的,而且在数量级具有很大差别。该文提出了一种基于马氏距离的线性判别分析分类算法,选取判别函数为马氏距离,可以适用于具有不同类型特征值的分类问题。将该算法应用于UCI中Credit-A、Credit-G、Iris和Vehicle四个数据库的分类,并采用K次交叉验证方法进行实验。从实验结果中可知,与ENTROPY算法和C4．5（8）算法分类效果相比较,该文所提出的线性判别分析算法计算简单,识别率较高,是一种实际可行的分类算法。     

基于超限学习机的非线性典型相关分析及应用

典型相关分析是目前常用的研究两个变量间相关性的统计方法。针对线性典型相关分析难以准确揭示变量之间复杂关系的问题,提出一种基于超限学习机的非线性典型相关分析多模态特征提取方法。首先,采用超限学习机分别的对每个模态进行无监督特征学习,得到抽象的深度特征表示;然后将这些深度抽象特征通过典型相关分析极大化模态之间的相关性,同时得到两组相关变量,实现多模态数据的复杂非线性和高相关性表示。最后在康奈尔大学机器抓取公开数据集上进行实验验证,结果表明,所提出的方法与其他相关算法相比,训练速度得到显著提升。     

基于主元和判别集成分析的模拟电路故障诊断

提出了主元和线性判别的集成分析算法以实施模拟故障数据的特征提取过程和方法。该集成分析方法首先对模拟故障数据进行主元分析,然后在主元变换空间实行线性判别分析,最后将所获得的最优判别特征模式应用于模式分类器进行故障诊断。仿真结果表明,所提出的方法能够充分利用线性方法的计算简便优势,增强单一主元分析或线性判别分析的特征提取性能,获取故障数据集的本质特征,简化模式分类器的结构,降低系统运行的计算成本。     

基于集成学习的多重集典型相关分析方法

特征提取是模式识别中的关键问题之一,对提高系统分类性能具有重要意义。常用的特征提取方法包括主成分分析、线性鉴别分析、典型相关分析等等,多重集典型相关分析是基于传统的典型相关分析基础上发展而来,利用多组（大于2）特征数据集进行特征提取。基于集成学习的多重集典型相关分析的方法（EMCCA）,是通过将样本化分成若干小的样本,形成若干个特征数据集,利用多重集典型相关分析对这组数据集做特征提取,并结合集成学习对样本进行分类。在UCI上的多特征手写体数据集上的实验结果表明：相比于传统的PCA,CCA特征提取方法,多重集典型相关分析具有更优的特征提取效果,结合集成学习后具有更好的分类效果。     

核典型相关性鉴别分析

提出一种新的基于典型相关性的核鉴别分析,以图片集为基础的人脸识别算法。把每个图片集映射到一个高维特征空间,然后通过核线性鉴别分析(KLDA)处理,得到相应的核子空间。通过计算两典型向量的典型差来估计两个子空间的相似度。根据核Fisher准则,基于类间典型差与类内典型差的比率建立核子空间的相关性来得到核典型相关性鉴别分析(KDCC)算法。在ORL、NUST603、FERNT和XM2VTS人脸库上的实验结果表明,该算法能够更有效提取样本特征,在识别率上要优于典型相关性鉴别分析(DCC)和核鉴别转换(KDT)算法。     

一种广义局部判别型典型相关分析算法

在局部鉴别典型相关分析(LDCCA)的基础上,提出一种广义局部判别型典型相关分析算法(GLDCCA)。该算法在准则函数的内协方差矩阵中引入样本类别信息,使其提取的特征更有利于模式分类,采用核主成份分析解决小样本问题,克服传统PCA所受到的线性约束。在人工数据集以及ORL和Yale 2个人脸库上进行实验,结果表明,与CCA算法和LDCCA算法相比,GLDCCA算法具有更高的识别性能。     

快速核Foley—Sammon鉴别分析及其在人脸识别上的应用

核Foley-Sammon鉴别分析由于可以抽取得到原始样本的非线性正交特征,因此被广泛应用于模式识别的研究领域.但是该算法在具体求解每一个特征矢量过程中均需求解相应的广义特征方程,因此非常耗时.为了克服这一困难,提出了一种新的快速近似算法即核Foley-Sammon鉴别分析,有效地避免了多次求解广义特征方程.在ORL人脸数据库上的实验结果表明,该算法不仅在识别性能上优于核线性鉴别分析,而且在特征抽取速度上优于传统的核Foley-Sammon鉴别分析.     

一种融合KPCA和KDA的人脸识别新方法

核判别分析（KDA）和核主成分分析（KPCA）分别是线性判别分析（LDA）和主成分分析（PCA）在核空间中的非线性推广,提出了一种融合KDA和KPCA的特征提取方法并应用于人脸识别中,该方法综合利用KDA和KPCA 的优点来提高人脸识别的性能。此外,还提出了一种广义最近特征线(GNFL)方法来构造有效的分类器。实验结果证明：提出的方法获得了更好的识别结果。     

局部保持多投影向量Fisher判别分析算法

特征选择是在损失较少信息的情况下处理高维图像数据的关键技术,是高维数据预处理的重要步骤.通过引入Fisher判别分析(Fisher Discriminant Analysis,FDA)和典型相关分析(Canonical Correlation Analysis,CCA)的思想,采用以样本的类标号形式给出的先验信息,考虑样本数据的局部性,提出了一种监督的基于Fisher判别信息的局部保持多投影向量分析方法(Locality Preserving Multi-projection Vector Fisher Discriminant Analysis,LPMVF).通过定义新准则,LPMVF具有以下优点:(1)便于计算,可有效避免奇异性;(2)借助标准核映射,可快速将LPMVF推广到非线性的特征空间;(3)与CCA算法类似,LPMVF最终得到一对投影变换,可有效嵌入样本数据,可将原始数据投影成一系列有用的特征形式,并使数据的投影在嵌入空间中更具可分离性;(4)与局部化的Fisher判别分析(Local Fisher Discriminant Analysis,简称LFDA)相比,LPMVF也能够有效保持数据样本间...     

Multi-view kernel construction

In many problem domains data may come from multiple sources (or views), such as video and audio from a camera or text on and links to a web page. These multiple views of the data are often not directly comparable to one another, and thus a principled method for their integration is warranted. In this paper we develop a new algorithm to leverage information from multiple views for unsupervised clustering by constructing a custom kernel. We generate a multipartite graph (with the number of parts given by the number of views) that induces a kernel we then use for spectral clustering. Our algorithm can be seen as a generalization of co-clustering and spectral clustering and a relative of Kernel Canonical Correlation Analysis. We demonstrate the algorithm on four data sets: an illustrative artificial data set, synthetic fMRI data, voxels from an fMRI study, and a collection of web pages. Finally, we compare its performance to common alternatives.     

Bayesian predictive kernel discriminant analysis

Discriminant analysis using Kernel Density Estimator (KDE) is a common tool for classification, but depends on the choice of the bandwidth or smoothing parameter of kernel. In this paper, we introduce a Bayesian Predictive Kernel Discriminant Analysis (BPKDA) eliminating this dependence by integrating the KDE with respect to an appropriate prior probability distribution for the bandwidth. Keypoints of the method are: (1) the formulation of the classification rule in terms of mixture predictive densities obtained by integrating kernel; (2) use of Independent Components Analysis (ICA) to choose a transform matrix so that transformed components are as independent as possible; and (3) nonparametric estimation of the predictive density by KDE for each independent component. Results on benchmark data sets and simulations show that the performance of BPKDA is competitive with, and in some cases significantly better than, Linear Discriminant Analysis (LDA), Quadratic Discriminant Analysis (QDA) and Naives Bayes discriminant Analysis with normal distribution (NNBDA).     

一种新的特征提取方法及其在模式识别中的应用

核典型相关分析(KCCA)是一种有监督的机器学习方法,可以有效地提取非线性特征。然而随着训练样本数目的增加,标准的KCCA方法的计算复杂度会随之增加。针对此缺点,提出一种改进的KCCA方法：首先用几何特征选择方法选择一个训练样本子集并将其映射到再生核希尔伯特空间(RKHS),然后设计了一种提升特征提取效率的算法,该算法按照对特征分类贡献的大小巧妙地选取样本的特征值,进而求出其相应的特征向量,最后将改进的KCCA与支持向量数据描述(SVDD)多分类器相结合用于分类识别。在ORL人脸图像数据库上的实验结果表明,改进的方法相对传统的KCCA方法,在不影响识别率的情况下提高了人脸识别速度,减小了系统存储量。     

基于双重鉴别相关性分析的图像识别算法

针对多视图相关性算法未有效利用视图中相关信息且忽视了潜在的鉴别信息的问题,提出基于同一视图内和不同视图间的双重鉴别相关性分析(DVDCA)算法。首先,设计有监督的类内和类间相关性变量,通过最大化类内相关性变量、最小化类间相关性变量来提取视图中的鉴别特征;其次,考虑在同一视图内和不同视图间均考虑进行鉴别相关特征提取,设计约束形式的双重视图鉴别相关性特征提取模型,以利用丰富的视图信息。在Multi-PIE多角度人脸数据集数据集上与多视图线性鉴别分析、典型相关性分析(CCA)、多视图鉴别隐性空间(MDLS)、不相关多视图鉴别字典学习(UMDDL)四种算法对比实验,DVDCA分类识别率能够提高1.45~4.73个百分点;在MFD多特征手写体数据集上分类识别率能够提高1.25~5.29个百分点。     

Multidimensional Vector Regression for Accurate and Low-Cost Location Estimation in Pervasive Computing

In this paper, we present an algorithm for multidimensional vector regression on data that are highly uncertain and nonlinear, and then apply it to the problem of indoor location estimation in a wireless local area network (WLAN). Our aim is to obtain an accurate mapping between the signal space and the physical space without requiring too much human calibration effort. This location estimation problem has traditionally been tackled through probabilistic models trained on manually labeled data, which are expensive to obtain. In contrast, our algorithm adopts Kernel Canonical Correlation Analysis (KCCA) to build a nonlinear mapping between the signal-vector space and the physical location space by transforming data in both spaces into their canonical features. This allows the pairwise similarity of samples in both spaces to be maximally correlated using kernels. We use a Gaussian kernel to adapt to the noisy characteristics of signal strengths and a Matérn kernel to sense the changes in physical locations. By using real data collected in an 802.11 wireless LAN environment, we achieve accurate location estimation for pervasive computing while requiring a much smaller set of labeled training data than previous methods.