一种结合主题模型的推荐算法

针对传统协同过滤推荐算法存在的冷启动、数据稀疏以及相似度度量的准确性问题,基于LDA主题模型对文本隐式主题挖掘的有效性和KL散度在主题分布相似性度量的准确性,提出了结合LDA主题模型的矩阵分解推荐算法。首先,利用改进的LDA算法输出项目-主题分布,并用困惑度作为主题数设置的修正函数;然后分别基于余弦相似度和KL散度计算得到项目相似度矩阵,将得到的相似度矩阵结合原评分训练集输出预评分,再将预评分填充到训练集;最后将训练集输入ALS矩阵分解算法得到推荐结果。通过MovieLens数据集的实验结果表明,该算法在不同隐式参数设定下均能得到比ALS推荐算法以及更小的预测误差,并且最优预测误差小于传统推荐算法。该实验说明了通过集成LDA主题模型的ALS算法效果要优于其他推荐算法。     

一种改进的线性判别分析算法MLDA

线性判别分析(LDA)是模式识别方法之一,已广泛应用于模式识别、数据分析等诸多领域。线性判别分析法寻找的是有效分类的方向。而当样本维数远大于样本个数(即小样本问题)时,LDA便束手无策。为有效解决线性判别分析法的小样本问题,提出了一种改进的LDA算法——MLDA。该算法将类内离散度矩阵进行标量化处理,有效地避免了对类内离散度矩阵求逆。通过实验证明MLDA在一定程度上解决了经典LDA的小样本问题。     

基于2D-PCA的两级LDA人脸识别方法

线性鉴别分析(LDA)小样本问题的已有解决方法在构造最优投影子空间时未完整利用LDA的4个信息空间,为此,提出一种基于二维主成分分析(2D-PCA)的两级LDA人脸识别方法。采用减法运算对样本类内散度矩阵和类间散度矩阵的特征值矩阵求逆,以解决小样本问题,并连续应用Fisher准则和修改后的Fisher准则连接2个投影子空间,获取包含LDA的4个信息空间的最优投影方向,利用2D-PCA对输入样本做预处理,以减少计算复杂度。在ORL和YALE人脸库上的实验结果表明,该方法虽然训练时间略有增加,但识别率分别为92.5%和95.8%,优于其他常用LDA算法。     

基于改进LDA算法的人脸识别

提出一种基于改进LDA的人脸识别算法,该算法克服传统LDA算法的缺点,重新定义样本类间离散度矩阵和Fisher准则,从而保留住最有辨别力的信息,增强算法的识别率.实验结果证明该算法是可行的,与传统的PCA LDA算法比较,具有较高的识别率.     

一种两阶段判别分析方法

为了解决LDA 对复杂分布数据的表达问题,本文提出了一种新的非参数形式的散度矩阵构造方法。该方法 能更好的刻画分类边界信息,并保留更多对分类有用的信息。同时针对小样本问题中非参数结构形式的类内散度矩阵可能奇 异,提出了一种两阶段鉴别分析方法对准则函数进行了最优化求解。该方法通过奇异值分解把人脸图像投影到混合散度矩阵 的主元空间,使类内散度矩阵在投影空间中是非奇异的,通过CS 分解,从理论上分析了同时对角化散度矩阵的求解,并证明了 得到的投影矩阵满足正交约束条件。在ORL,Yale 和YaleB 人脸库上测试的结果显示,改进的算法在性能上优于PCA+LDA, ULDA 和OLDA 等子空间方法。     

结合零空间法和F-LDA的人脸识别算法

线性判别分析（LDA）是一种常用的线性特征提取方法。传统LDA应用于人脸识别时主要存在两个问题：1）小样本问题,即由于训练样本不足引起矩阵奇异; 2)优化准则函数并不直接与识别率相关。提出了一种新的能同时解决以上两个问题的基于LDA的人脸识别算法。首先,通过重新定义样本的类内散布矩阵和类间散布矩阵,提出了一种新的零空间法。然后把这种新的零空间法与F LDA（Fractional LDA）算法相结合,得到一种对人脸识别更有效的特征提取方法。实验结果表明,这种新算法具有较高的识别率。     

多阶矩阵组合LDA及其在人脸识别中的应用

线性判别分析（LDA）是一种普遍用于特征提取的线性分类方法。但将LDA直接用于人脸识别会遇到小样本问题和秩限制问题。为了解决以上问题,提出一种基于多阶矩阵组合的LDA算法——MLDA。该算法重新定义了传统LDA中的类内离散度矩阵Sw,使传统Fisher准则具有更好的健壮性和适应性。若干人脸数据库上的比较实验证明了MLDA的有效性。     

基于拉普拉斯方向的差值线性判别分析

标准的LDA方法通常有3个问题:1)为了确保类内散度矩阵的非奇异性,必须首先通过PCA进行维数约简,这限制了对更多维数空间的使用;2)当每人只有单个训练样本时,类内散度矩阵必然奇异,此时LDA无法工作;3)缺乏对像素间的局部相关性的考虑。为了解决这些问题,提出一种基于拉普拉斯方向的差值线性判别分析方法。该方法通过拉普拉斯方向实现更鲁棒的图像相异性测度,通过引入差值散度矩阵来避免类内散度矩阵的奇异性。实验结果显示,该算法对表情变化、光照改变及不同遮挡情况获得了更高的识别率,尤其针对光照变化,效果更加显著。     

最大散度差鉴别分析及人脸识别

传统的Fisher线性鉴别分析(LDA)在人脸等高维图像识别应用中不可避免地遇到小样本问题。提出一种基于散度差准则的鉴别分析方法。与LDA方法不同的是,该方法利用样本模式的类间散布与类内散布之差而不是它们的比作为鉴别准则,这样,从根本上避免了类内散布矩阵奇异带来的困难。在ORL人脸数据库和AR人脸数据库上的实验结果验证算法的有效性。     

利用标准化LDA进行人脸识别

线性判别分析（LDA）是一种较为普遍的用于特征提取的线性分类方法。提出一种基于LDA的人脸识别方法－－标准化LDA，该方法克服了传统LDA方法的缺点，重新定义了样本类间离散度矩阵，在原始定义的基础上增加一个由类间距离决定的可变权函数，使得在选择投地，能够更好地分开各个类的样本；同时，它采用一种合理而有效的方法解决矩阵奇异的问题，即保留样本类内离散度矩阵的零空间，因为这个空间包含了最具有判别能力的信息。在这个零空间里，寻找对应于样本类间离散度矩阵的较大特征值的特征向量作为最后降维的转换矩阵。实验结果显示，在人脸识别中，与传统LDA相比，该方法有更好的识别率。标准化LDA也可以用于其他图像识别问题。     

Face recognition using kernel scatter-difference-based discriminant analysis

There are two fundamental problems with the Fisher linear discriminant analysis for face recognition. One is the singularity problem of the within-class scatter matrix due to small training sample size. The other is that it cannot efficiently describe complex nonlinear variations of face images because of its linear property. In this letter, a kernel scatter-difference-based discriminant analysis is proposed to overcome these two problems. We first use the nonlinear kernel trick to map the input data into an implicit feature space F. Then a scatter-difference-based discriminant rule is defined to analyze the data in F. The proposed method can not only produce nonlinear discriminant features but also avoid the singularity problem of the within-class scatter matrix. Extensive experiments show encouraging recognition performance of the new algorithm.     

Generalized nonlinear discriminant analysis and its small sample size problems

This paper develops a generalized nonlinear discriminant analysis (GNDA) method and deals with its small sample size (SSS) problems. GNDA is a nonlinear extension of linear discriminant analysis (LDA), while kernel Fisher discriminant analysis (KFDA) can be regarded as a special case of GNDA. In LDA, an under sample problem or a small sample size problem occurs when the sample size is less than the sample dimensionality, which will result in the singularity of the within-class scatter matrix. Due to a high-dimensional nonlinear mapping in GNDA, small sample size problems arise rather frequently. To tackle this issue, this research presents five different schemes for GNDA to solve the SSS problems. Experimental results on real-world data sets show that these schemes for GNDA are very effective in tackling small sample size problems.     

Incremental two-dimensional linear discriminant analysis with applications to face recognition

Two dimensional linear discriminant analysis (2DLDA) has been verified as an effective method to solve the small sample size (SSS) problem in linear discriminant analysis (LDA). However, most of the existing 2DLDA techniques do not support incremental subspace analysis for updating the discriminant eigenspace. Incremental learning has proven to enable efficient training if large amounts of training data have to be processed or if not all data are available in advance as, for example, in on-line situations. Instead of having to re-training across the entire training data whenever a new sample is added, this paper proposed an incremental two-dimensional linear discriminant analysis (I2DLDA) algorithm with closed-form solution to extract facial features of the appearance image on-line. The proposed I2DLDA inherits the advantages of the 2DLDA and the Incremental LDA (ILDA) and overcomes the number of the classes or chunk size limitation in the ILDA because the size of the between-class scatter matrix and the size of the within-class scatter matrix in the I2DLDA are much smaller than the ones in the ILDA. The results on experiments using the ORL and XM2VTS databases show that the I2DLDA is computationally more efficient than the batch 2DLDA and can achieve better recognition results than the ILDA.     

Discriminative common vectors for face recognition

In face recognition tasks, the dimension of the sample space is typically larger than the number of the samples in the training set. As a consequence, the within-class scatter matrix is singular and the linear discriminant analysis (LDA) method cannot be applied directly. This problem is known as the "small sample size" problem. In this paper, we propose a new face recognition method called the discriminative common vector method based on a variation of Fisher's linear discriminant analysis for the small sample size case. Two different algorithms are given to extract the discriminative common vectors representing each person in the training set of the face database. One algorithm uses the within-class scatter matrix of the samples in the training set while the other uses the subspace methods and the Gram-Schmidt orthogonalization procedure to obtain the discriminative common vectors. Then, the discriminative common vectors are used for classification of new faces. The proposed method yields an optimal solution for maximizing the modified Fisher's linear discriminant criterion given in the paper. Our test results show that the discriminative common vector method is superior to other methods in terms of recognition accuracy, efficiency, and numerical stability.     

基于泛滑动窗与加权2DLDA的单样本人脸识别

对于单训练样本人脸识别,基于每人多个训练样本的传统人脸识别算法效果均不太理想。尤其是基于Fisher线性鉴别准则的一些方法,由于类内散布矩阵为零矩阵,根本无法进行识别。针对这一问题进行了分析研究,提出了一种新的样本扩充方法,即泛滑动窗法。采用“大窗口,小步长”的机制进行窗口图像采集和样本扩充,不仅增加了训练样本,而且充分保持和强化了原始样本模式固有的类内和类间信息。然后,使用加权二维线性鉴别分析方法（Weighted 2DLDA）对上面获得的窗口图像进行特征抽取。在ORL国际标准人脸库上进行的实验表明了所提算法的可行性和有效性。     

一种结构受限的异方差线性判别分析

异方差线性判别分析(HLDA)因在语音识别中起到了巨大的特征去相关作用而被广泛利用。然而在训练数据不足或特征维数较高时,HLDA易出现不稳定性和小样本问题。根据特征的矩阵表示形式,提出了一种结构受限的HLDA。首先用二维线性判别分析(2DLDA)压缩矩阵形式的特征,然后作一维的HLDA。通过分析我们指出,二维的特征变换实际上是一种结构受限的一维特征变换。在RM库上的实验,受限HLDA对常规HLDA的词识别错误相对下降12.39%;在TIMIT库上的实验,受限HLDA对常规HLDA的音素识别错误相对下降4.43%。     

核诱导距离度量的鲁棒判别分析

提出了基于核诱导距离度量的鲁棒判别分析算法(robust discriminant analysis based on kernel-induced distance measure,KI-RDA)。KI-RDA不仅自然地推广了线性判别分析(linear discriminant analysis,LDA),而且推广了最近提出的强有力的基于非参数最大熵的鲁棒判别分析(robust discriminant analysis based on nonparametric maximum entropy,MaxEnt-RDA)。通过采用鲁棒径向基核,KI-RDA不仅能有效处理含噪数据,而且也适合处理非高斯分布的非线性数据,其本质的鲁棒性归咎于KI-RDA通过核诱导的非欧距离代替LDA的欧氏距离来刻画类间散度和类内散度。借助这些散度,为特征提取定义类似LDA的判别准则,导致了相应的非线性优化问题。进一步借助近似策略,将优化问题转化为直接可解的广义特征值问题,由此获得降维变换(矩阵)的闭合解。最后在多类数据集上进行实验,验证了KI-RDA的有效性。由于核的多样性,使KI-RDA事实上成为了一个一般性判别分析框架。     

Feature extraction based on Laplacian bidirectional maximum margin criterion

Maximum margin criterion (MMC) based feature extraction is more efficient than linear discriminant analysis (LDA) for calculating the discriminant vectors since it does not need to calculate the inverse within-class scatter matrix. However, MMC ignores the discriminative information within the local structures of samples and the structural information embedding in the images. In this paper, we develop a novel criterion, namely Laplacian bidirectional maximum margin criterion (LBMMC), to address the issue. We formulate the image total Laplacian matrix, image within-class Laplacian matrix and image between-class Laplacian matrix using the sample similar weight that is widely used in machine learning. The proposed LBMMC based feature extraction computes the discriminant vectors by maximizing the difference between image between-class Laplacian matrix and image within-class Laplacian matrix in both row and column directions. Experiments on the FERET and Yale face databases show the effectiveness of the proposed LBMMC based feature extraction method.     

基于多尺度自适应LDA的人脸识别方法

在人脸提取特征时,线性判别分析(LDA)方法受到光照、姿态等因素引起的高频部分影响较大,忽视了可能含有重要鉴别能力的低频信息.同时,人脸识别属于小样本问题,会使类内散布矩阵发生严重退化.针对以上两个问题,提出了一种基于多尺度自适应线性判别分析(MA-LDA)的人脸识别方法,并在ORL和Yale人脸库中进行了验证.MATLAB编程实验结果表明,该方法比传统方法有更好的性能.     

基于核对称散布矩阵空间的特征抽取方法

为解决传统Fisher鉴别分析方法中非线性小样本的特征抽取问题,从核线性子空间角度出发,构造一种矩阵变换,得到核空间中类内散布矩阵的另一个对称核子空间,通过对2个核子空间分别求解,从而得到样本的有效鉴别信息。在NUST603和ORL人脸数据库上的实验结果验证了该算法的有效性。