核参数判别选择方法在核主元分析中的应用

针对核主元分析(KPCA)中高斯核参数β的经验选取问题,提出了核主元分析的核参数判别选择方法。依据训练样本的类标签计算类内、类间核窗宽,在以上核窗宽中经判别选择方法确定核参数。根据判别选择核参数所确定的核矩阵,能够准确描述训练空间的结构特征。用主成分分析(PCA)对特征空间进行分解,提取主成分以实现降维和特征提取。判别核窗宽方法在分类密集区域选择较小窗宽,在分类稀疏区域选择较大窗宽。将判别核主成分分析(Dis-KPCA)应用到数据模拟实例和田纳西过程(TEP),通过与KPCA、PCA方法比较,实验结果表明,Dis-KPCA方法有效地对样本数据降维且将三个类别数据100%分开,因此,所提方法的降维精度更高。     

基于核非负分解的人脸图像特征提取与分类

针对非负矩阵分解算法在样本维数过高情况下收敛效果差的问题,提出了一种核矩阵非负分解算法。通过核映射方法获得表征样本间相似度的核矩阵,以减小样本类内散度,增大样本类间散度,从而改善样本内部噪声干扰,提高样本间的线性可分度;再将核矩阵在非负条件约束下分解为基向量及其加权系数矩阵,用系数矩阵作为原样本特征。经人脸图像特征提取与分类实验验证,新算法可更好地提取高维人脸图像的低维特征,提高分类正确率。     

一种人脸图像特征提取的局部和整体间距嵌入方法

针对边界Fisher分析(MFA)构建的惩罚图没有充分描述类间数据分离度的缺点,提出一种局部和整体间距嵌入(LGME)特征提取方法。该方法在构建惩罚图时采用了全部的不同类样本数据对,并适当地强调了间距较小的不同类样本数据对的作用。与MFA相比,LGME同时使用类间数据的局部和整体间距信息,对类间数据分离度进行了充分描述,从而使其提取的数据特征具有更强的判别力。实验结果表明,LGME方法提取的人脸图像特征在用于人脸识别时,具有较高的识别率,且更具鲁棒性。     

监督型局部保持的典型相关分析

利用数据集的局部结构信息和判别结构信息,构建相似度矩阵和类信息矩阵,提出监督型局部保持的典型相关分析(Supervised Locality Preserving Canonical Correlation Analysis,SLPCCA),该方法不但突破了典型相关分析(Canonical Correlation Analysis,CCA)处理数据时的线性约束,提高了处理非线性问题的能力,而且克服了局部保持的典型相关分析(Locality Preserving Canonical Correlation Analysis,LPCCA)忽视类信息的问题,提取的特征更有利于分类.在多特征手写体数据库(MFD)和美国国家邮政局手写字库(USPS)上的实验结果验证了该算法的有效性.     

最大子分类间隔准则的核函数优化

在分析现有基于经验特征空间核函数优化方法局限性的基础上,提出一种基于最大子分类间隔准则的核函数优化方法。该方法首先建立最大子分类间隔准则,然后结合数据在经验特征空间中的特点给出样本数据的类间散布矩阵和类内散布矩阵的表达式,最后利用奇异值分解实现核函数参数的优化选取。本文利用UCI(University of California, Irvine)数据对算法进行仿真实验,仿真结果表明了本文方法的正确性和有效性。     

基于大间距准则的不相关保局投影分析

局部保持投影(Locality preserving projections,LPP)算法只保持了目标在投影后的邻域局部信息,为了更好地刻画数据的流形结构, 引入了类内和类间局部散度矩阵,给出了一种基于有效且稳定的大间距准则(Maximum margin criterion,MMC)的不相关保局投影分析方法.该方法在最大化散度矩阵迹差时,引入尺度因子α,对类内和类间局部散度矩阵进行加权,以便找到更适合分类的子空间并且可避免小样本问题; 更重要的是,大间距准则下提取的判别特征集一般情况下是统计相关的,造成了特征信息的冗余, 因此,通过增加一个不相关约束条件,利用推导出的公式提取不相关判别特征集, 这样做, 对正确识别更为有利.在Yale人脸库、PIE人脸库和MNIST手写数字库上的测试结果表明,本文方法有效且稳定, 与LPP、LDA (Linear discriminant analysis)和LPMIP(Locality-preserved maximum information projection)方法等相比,具有更高的正确识别率.     

基于零空间核决策分析的人脸识别研究

针对零空间线性决策分析方法难以揭示人脸图像空间中数据的非线性结构的问题,提出了一种零空间核决策分析方法,详细介绍了该方法的推导过程及求解步骤。测试结果表明,该方法能够在核空间中提取类内离散度矩阵的零空间,并且最大程度上去除类间离散度矩阵的零空间,新提取的特征能够有效地用来进行人脸识别。     

一种解决大规模数据集问题的核主成分分析算法

提出一种大规模数据集求解核主成分的计算方法.首先使用Gram矩阵生成一个Gram-power矩阵,根据线性代数的理论可知,新形成的矩阵和原先的Gram矩阵具有相同的特征向量.因此,可以把Gram矩阵的每一列看成核空间迭代算法的输入样本,这样,无须使用特征分解即可迭代地计算出核主成分.该算法的空间复杂度只有O(m);在大规模数据集的情况下,时间复杂度也降低为O(pkm).实验结果表明了所提出算法的有效性.更为重要的是,在大规模数据集的情况下,当传统的特征分解技术无法使用时,该方法仍然可以提取非线性特征.     

一种基于灰度值矩阵的文档复原方法研究*

对于切碎英文文档自动拼接还原中无法利用碎纸片几何形状特征的问题, 提出一种基于灰度值矩阵的文档碎片拼接方法。利用碎片图像的特征向量消除同行字母处于不同高度的负影响, 提取其特征位置作为动态聚类的分类标准,依据文本行特征进行动态聚类和类间排序。设计了一种基于原图像碎片边界矩阵的四邻拼接算法进行逐一高效地拼接还原。仿真结果表明, 该方法准确率较高且操作简便, 对规则碎片拼接还原具有良好的实际意义。     

节点属性和拓扑信息相结合的脑网络聚类模型

目前,脑网络分类是研究热点,研究者采用不同的方法从标签数据中提取并选择特征,以实现对数据的自动分类,但是从大量的标签数据中提取和选择最优的特征很费时。针对以上问题,提出一种脑网络相似度计算方法并构建基于无偏脑网络的聚类模型。首先,使用余弦相似度和子网络核来度量脑网络的属性相似度和结构相似度,然后将结构相似度和属性相似度集成为一个相似度矩阵,最后利用谱聚类实现脑网络聚类。对openfMRI数据库中的50名精神分裂症患者与49名正常对照组进行了聚类测试,结果显示,Rand指数为0.91,精确率为0.86,召回率为0.98,F1为0.92。研究表明提出的模型能较准确地计算脑网络相似性,表现出较高聚类性能。     

Kernel-based improved discriminant analysis and its application to face recognition

Kernel discriminant analysis (KDA) is a widely used tool in feature extraction community. However, for high-dimensional multi-class tasks such as face recognition, traditional KDA algorithms have the limitation that the Fisher criterion is nonoptimal with respect to classification rate. Moreover, they suffer from the small sample size problem. This paper presents a variant of KDA called kernel-based improved discriminant analysis (KIDA), which can effectively deal with the above two problems. In the proposed framework, origin samples are projected firstly into a feature space by an implicit nonlinear mapping. After reconstructing between-class scatter matrix in the feature space by weighted schemes, the kernel method is used to obtain a modified Fisher criterion directly related to classification error. Finally, simultaneous diagonalization technique is employed to find lower-dimensional nonlinear features with significant discriminant power. Experiments on face recognition task show that the proposed method is superior to the traditional KDA and LDA.     

Speed up kernel discriminant analysis

Linear discriminant analysis (LDA) has been a popular method for dimensionality reduction, which preserves class separability. The projection vectors are commonly obtained by maximizing the between-class covariance and simultaneously minimizing the within-class covariance. LDA can be performed either in the original input space or in the reproducing kernel Hilbert space (RKHS) into which data points are mapped, which leads to kernel discriminant analysis (KDA). When the data are highly nonlinear distributed, KDA can achieve better performance than LDA. However, computing the projective functions in KDA involves eigen-decomposition of kernel matrix, which is very expensive when a large number of training samples exist. In this paper, we present a new algorithm for kernel discriminant analysis, called Spectral Regression Kernel Discriminant Analysis (SRKDA). By using spectral graph analysis, SRKDA casts discriminant analysis into a regression framework, which facilitates both efficient computation and the use of regularization techniques. Specifically, SRKDA only needs to solve a set of regularized regression problems, and there is no eigenvector computation involved, which is a huge save of computational cost. The new formulation makes it very easy to develop incremental version of the algorithm, which can fully utilize the computational results of the existing training samples. Moreover, it is easy to produce sparse projections (Sparse KDA) with a L ₁-norm regularizer. Extensive experiments on spoken letter, handwritten digit image and face image data demonstrate the effectiveness and efficiency of the proposed algorithm.     

新的局部保持鉴别分析算法

提出了一种新的局部保持鉴别分析算法：基于迹比准则与自适应近邻图嵌入的局部保持鉴别分析算法。根据样本分布特性自适应构建类内和类间近邻图,保持数据的局部结构并且利用数据的鉴别信息,定义局部类内离差矩阵以及局部类间离差矩阵,采用迹比Fisher判别函数作为目标函数,通过迭代的方法最大化局部类间离差矩阵与类内离差矩阵的迹比值,解得最优子空间。在ORL和Yale人脸数据库上的实验表明该方法是有效的。     

中心线邻域鉴别嵌入算法及其在人脸识别中的应用*

针对边界费舍尔分析在特征提取过程中存在的不足,提出中心线邻域鉴别嵌入(CLNDE)算法,并应用于人脸识别中.CLNDE首先利用样本到类中心线的距离分别构造类内相似矩阵与类间相似矩阵;然后利用构造的相似矩阵计算样本的类间局部散度与类内局部散度;最后在最大化样本的类间局部散度的同时最小化类内局部散度,寻求最优投影矩阵.在人脸数据库上实验验证算法的优越性.     

Weighted maximum scatter difference based feature extraction and its application to face recognition

An improved maximum scatter difference (MSD) algorithm based on weighted scheme is proposed in this paper. The existing MSD model and its improved method only highlight the role which within-class scatter matrix plays while they pay little attention to the action of between-class scatter matrix. Another weakness of the existing MSD model is that it is difficult to select an appropriate weight for within-class scatter matrix because the range of weight is usually too large. In order to make MSD more suitable for classification, different weights are assigned to both between-class and within-class scatter matrices, respectively. This scheme is more convenient for operation than original MSD because it confines the range of parameters to a small range. Finally, the results of experiments conducted on AR and FERET face database indicate the effectiveness of the proposed approach.     

利用标准化LDA进行人脸识别

线性判别分析（LDA）是一种较为普遍的用于特征提取的线性分类方法。提出一种基于LDA的人脸识别方法－－标准化LDA，该方法克服了传统LDA方法的缺点，重新定义了样本类间离散度矩阵，在原始定义的基础上增加一个由类间距离决定的可变权函数，使得在选择投地，能够更好地分开各个类的样本；同时，它采用一种合理而有效的方法解决矩阵奇异的问题，即保留样本类内离散度矩阵的零空间，因为这个空间包含了最具有判别能力的信息。在这个零空间里，寻找对应于样本类间离散度矩阵的较大特征值的特征向量作为最后降维的转换矩阵。实验结果显示，在人脸识别中，与传统LDA相比，该方法有更好的识别率。标准化LDA也可以用于其他图像识别问题。     

Fisher极小准则不相关空间算法及其在人脸识别中的应用

不相关空间算法是一种基于广义Fisher准则求解不相关鉴别矢量集的快速算法,但该算法要求总体散度矩阵可逆。针对高维小样本的情况,文中提出求解不相关鉴别矢量集的改进方法。该方法的基本思路是在类间散度矩阵的值空间中运用广义Fisher极小准则求解鉴别矢量集,并讨论在该子空间中进行求解的合理性。针对高维情况下类间散度矩阵值空间的计算效率问题,提出首先利用PCA算法将数据降维,然后在低维空间中求解值空间的策略并讨论其合理性。在ORL人脸数据库上的实验验证该方法的有效性,其识别率高于传统的Fisher脸方法和不相关空间算法。     

改进的线性判别分析算法

线性判别分析是一种有效的特征提取方法,但其存在两个缺陷：小样本问题和秩限制问题。为了解决上述问题,提出一种改进的线性判别分析算法ILDA。该方法引进类间离散度标量和类内离散度标量,通过求解样本各维的权值达到特征提取的目的。若干标准人脸数据集和人工数据集上的实验表明ILDA在特征提取方面的有效性。     

核邻域保持判别嵌入在人脸识别中的应用

为更有效地进行数据降维,将核映射思想引入到邻域保持判别嵌入中,提出一种核邻域保持判别嵌入的流形学习算法。以类内相似度矩阵与类间散度矩阵之差作为鉴别准则,使类间散度矩阵不受满秩的约束,从而解决人脸数据的非线性和小样本问题。在ORL和Yale人脸库上的实验结果表明,该算法具有较好的人脸识别性能。     

局部非参数子空间分析在人脸识别中的应用

提出了一种局部非参数子空间分析算法（Local Nonparametric Subspace Analysis,LNSA）,将其应用在人脸识别中。LNSA算法结合了非参数子空间算法（Nonparametric Subspace Analysis,NSA）与局部保留投影算法（Locality Preserving Projection,LPP）。它利用LPP算法中的相似度矩阵重构NSA的类内散度矩阵,使得在最大化类间散度矩阵的同时保留了类的局部结构。在ORL人脸库和XM2VTS人脸库上作了实验并证明LNSA方法要优于其他方法。