面向局部线性回归分类器的判别分析方法

局部线性回归分类器（locality-regularized linear regression classification,LLRC）在人脸识别上表现出了高识别率以及高效性的特点,然而原始特征空间并不能保证LLRC的效率。为了提高LLRC的性能,提出了一种与LLRC相联系的新的降维方法,即面向局部线性回归分类器的判别分析方法（locality-regularized linear regression classification based discriminant analysis,LLRC-DA）。LLRC-DA根据LLRC的决策准则设计目标函数,通过最大化类间局部重构误差并最小化类内局部重构误差来寻找最优的特征子空间。此外,LLRC-DA通过对投影矩阵添加正交约束来消除冗余信息。为了有效地求解投影矩阵,利用优化变量之间的关系,提出了一种新的迹比优化算法。因此LLRC-DA非常适用于LLRC。在FERET和ORL人脸库上进行了实验,实验结果表明LLRC-DA比现有方法更具有优越性。     

基于局部线性逼近的流形学习算法

流形学习方法是根据流形的定义提出的一种非线性数据降维方法,主要思想是发现嵌入在高维数据空间的低维光滑流形.局部线性嵌入算法是应用比较广泛的一种流形学习方法,传统的局部线性嵌入算法的一个主要缺点就是在处理稀疏源数据时会失效,而实际应用中很多情况还要面对处理源数据稀疏的问题.在分析局部线性嵌入算法的基础上提出了基于局部线性逼近思想的流形学习算法,其通过采用直接估计梯度值的方法达到局部线性逼近的目的,从而实现高维非线性数据的维数约简,最后在S-曲线上进行稀疏采样测试取得良好降维效果.     

基于改进的双向二维线性判别分析的人脸识别

针对传统的二维线性判别方法提取出的人脸特征系数维数大的问题,提出一个改进的双向二维线性判别分析方法GB2DLDA。双向压缩类内和类间散布矩阵,用压缩后的散布矩阵构成两个Fisher鉴别准则函数,求出两个投影矩阵,然后人脸图像矩阵向投影矩阵投影,提取出特征系数。实验证明在相同识别率下,用此方法提取的特征系数维数明显少于其它二维线性判别分析方法。在选择合适的特征向量的情况下,此方法的识别率要好于其它二维线性判别分析方法。     

基于线性判别分析的特征选择

提出一种新颖的基于特征抽取的特征选择方法,将特征选择问题建模为在子空间中的搜索问题,采用线形判别分析(LDA)的投影思想,对LDA施加一定的限制将其转换为对子空间的搜索优化问题,从而通过解LDA的优化问题得到特征选择的解,进一步把特征选择问题推导简化为对特征的评分和排序过程.通过在UCI机器学习库和Reuters-21578文本数据集上的实验,验证了该方法以较少的特征获得了比全部特征更好的分类结果.     

基于子模式行列方向二维线性判别分析特征融合的特征提取

针对人脸识别中表情和光照变化引起的面部变化、灰度不均匀等识别问题,提出一种基于子模式行列方向二维线性判别分析(Sp-RC2DLDA)的特征提取方法。该方法通过对原图像进行子模式分块处理,能有效提取图像的局部特征,减少表情、光照变化的影响,通过把相同位置的子图像组成子样本集,合理利用了子块间的空间关系,进一步提高了识别率;同时,对各个子样本集分别利用行方向二维线性判别分析(2DLDA)和列方向扩展2DLDA(E2DLDA)进行特征抽取,得到互补的行、列方向子图像特征,并分别把子图像特征组合成原图像的特征矩阵,然后利用一种特征融合方法对行、列方向特征矩阵进行有效融合,对互补的特征空间进行融合有效地改善了识别性能;最后采用最近邻分类器进行人脸识别实验。在Yale及ORL人脸库上的实验结果表明,Sp-RC2DLDA有效地减少了表情和光照变化的影响,具有较好的鲁棒性。     

基于线性判别分析的寄生虫卵识别

寄生虫病是危害人类及动物健康的疾病之一。为了实现对寄生虫卵的自动识别,辅助临床检测,提出基于线性判别分析的寄生虫卵识别方法。采用结合形态学滤波和Otsu的方法分割得到寄生虫卵及其轮廓,提取形状特征和纹理特征作为特征向量集,并利用线性判别分析实现对寄生虫卵自动识别。实验结果表明,该方法对6种寄生虫卵的识别正确率达到90.70%。     

基于部件的级联线性判别分析人脸识别

文章提出一种基于人脸部件表示的级联线性判别分析人脸识别方法。该方法将人脸图像划分为具有交叠区域的多个部件,对每个部件应用线性判别分析以寻找该部件的判别方向,然后对所有部件应用线性判别分析以寻找总体最优判别方向。以从该级联线性判别分析提取的特征作为人脸描述。在FERET人脸库上的人脸识别和人脸确认的实验结果表明,该方法优于传统的基于全局图像的Fisherface方法。     

一种用于人脸识别的图优化线性判别分析算法

提出一个面向人脸识别的基于图优化的线性判别分析降维算法。该算法首先定义同类性的关联邻接矩阵和异类性的互斥邻接矩阵;然后以两个邻接矩阵作为作用因子分别建立两种不同样本之间的权值矩阵;最后通过这两个度量权值矩阵的相关投影完成数据的降维。在Yale、YaleB和UMIST人脸库的实验验证了该算法的有效性。     

一种基于局部和判别特性的降维算法

提出了一种基于LPP和LDA的降维算法。该算法不仅考虑了LPP能保持局部邻近关系属性,还考虑了LDA能使降维后的数据更易于分类属性,并且该算法是线性的,很容易将新样本映射到目标空间。在人脸识别中的实验验证了算法的正确性和有效性。     

张量局部Fisher判别分析的人脸识别

子空间特征提取是人脸识别中的关键技术之一,结合局部Fisher判别分析技术和张量子空间分析技术的优点, 本文提出了一种新的张量局部Fisher判别分析(Tensor local Fisher discriminant analysis, TLFDA)子空间降维技术. 首先,通过对局部Fisher判别技术进行分析,调整了其类间散度目标泛函, 使算法的识别性能更高且时间复杂度更低;其次,引入张量型降维技术对输入数据进行双边投影变换而非单边投影, 获得了更高的数据压缩率;最后,采用迭代更新的方法计算最优的变换矩阵.通过ORL和PIE两个人脸库验证了所提算法的有效性.     

线性判别分析中两种空间信息嵌入方法之比较

由"没有免费午餐定理(NFL)"可知:只有充分利用了与问题相关的先验知识的学习器才会拥有好的学习性能,而常用的线性判别分析(LDA)在为图像提取判别特征时对图像向量化的处理导致了空间结构的破坏,以致结构信息未被利用,从而限制了学习性能的进一步提升。空间平滑的LDA(SLDA)通过对LDA目标的空间正则化弥补了此不足,同时图像欧氏距离(IMED)则通过空间平滑欧氏距离实现对空间结构的利用,而后将其用于LDA(IMEDA)。对这两种LDA间的内在联系进行了尝试探究:理论上证明了对于中心化样本,SLDA是IMEDA的特例;分析了算法的时间和空间复杂度;经验上通过Yale、AR和FERET人脸集比较了SLDA和IMEDA的识别性能和运行时间,同时分析了参数对模型性能的影响。     

一种基于马氏距离的线性判别分析分类算法

对于一个特定的模式识别问题,表达和识别模式的特征具有不同的形式,它们在物理意义上是完全不同的,而且在数量级具有很大差别。该文提出了一种基于马氏距离的线性判别分析分类算法,选取判别函数为马氏距离,可以适用于具有不同类型特征值的分类问题。将该算法应用于UCI中Credit-A、Credit-G、Iris和Vehicle四个数据库的分类,并采用K次交叉验证方法进行实验。从实验结果中可知,与ENTROPY算法和C4．5（8）算法分类效果相比较,该文所提出的线性判别分析算法计算简单,识别率较高,是一种实际可行的分类算法。     

Laplacian linear discriminant analysis

A novel linear discriminant criterion function is proved to be equal to Fisher's criterion function. The analysis of the function is linked to spectral decomposition of the Laplacian of a graph. Moreover, the function is maximized using two algorithms. Experimental results show the effectiveness and some specific characteristics of our algorithms.     

基于线性判别分析的Choquet积分的符号模糊测度提取

在解决分类问题时,建立在Choquet积分上的分类器以其非线性和不可加性的特点,扮演着越来越重要的角色。由于Choquet积分中的符号模糊测度可以描述各特征对结果的影响,因此Choquet积分在解决数据分类及融合 问题方面具有显著的优势。但是,关于Choquet积分符号模糊测度值的求解,学术界一直缺乏有效的方法。目前最常用的方法是遗传算法,但是遗传算法在解决符号模糊测度值的优化问题时存在算法较为复杂、耗时较长等缺陷。由于符号模糊测度值在Choquet积分分类器中是决定性的重要参数,因此设计出一种有效的符号模糊测度提取方法十分必要。文中提出基于线性判别分析的Choquet积分符号模糊测度的提取方法,推导出在分类问题下Choquet积分的符号模糊测度值的解析式表达,其能够有效、快速地得出关键性参数。分别在人工数据集及基准实际数据集上进行测试与验证,实验结果表明所提方法能有效解决Choquet积分分类器中符号模糊测度的优化问题。     

A Highly Accurate Dysphonia Detection System Using Linear Discriminant Analysis

The recognition of pathological voice is considered a difficult task for speech analysis. Moreover, otolaryngologists needed to rely on oral communication with patients to discover traces of voice pathologies like dysphonia that are caused by voice alteration of vocal folds and their accuracy is between 60%–70%. To enhance detection accuracy and reduce processing speed of dysphonia detection, a novel approach is proposed in this paper. We have leveraged Linear Discriminant Analysis (LDA) to train multiple Machine Learning (ML) models for dysphonia detection. Several ML models are utilized like Support Vector Machine (SVM), Logistic Regression, and K-nearest neighbor (K-NN) to predict the voice pathologies based on features like Mel-Frequency Cepstral Coefficients (MFCC), Fundamental Frequency (F₀), Shimmer (%), Jitter (%), and Harmonic to Noise Ratio (HNR). The experiments were performed using Saarbrucken Voice Database (SVD) and a privately collected dataset. The K-fold cross-validation approach was incorporated to increase the robustness and stability of the ML models. According to the experimental results, our proposed approach has a 70% increase in processing speed over Principal Component Analysis (PCA) and performs remarkably well with a recognition accuracy of 95.24% on the SVD dataset surpassing the previous best accuracy of 82.37%. In the case of the private dataset, our proposed method achieved an accuracy rate of 93.37%. It can be an effective non-invasive method to detect dysphonia.     

A Gradient Linear Discriminant Analysis for Small Sample Sized Problem

The purpose of conventional linear discriminant analysis (LDA) is to find an orientation which projects high dimensional feature vectors of different classes to a more manageable low dimensional space in the most discriminative way for classification. The LDA technique utilizes an eigenvalue decomposition (EVD) method to find such an orientation. This computation is usually adversely affected by the small sample size problem. In this paper we have presented a new direct LDA method (called gradient LDA) for computing the orientation especially for small sample size problem. The gradient descent based method is used for this purpose. It also avoids discarding the null space of within-class scatter matrix and between-class scatter matrix which may have discriminative information useful for classification.     

一种新的基于DCT变换的线性判别分析

对于高维复杂模式识别问题,传统的线性判别分析通常首先采用PCA变换来降低模式的维数,然后再求取最优判别矢量集。然而PCA变换是以判别信息的损失为代价的,故无法保证所提取的特征是最优的。DCT变换具有"能量聚集特性"和变换的保距特性,文中正是基于此特性,提出一种新的基于DCT变换的线性判别分析方法,同时,也给出了一种在该模型下的最优判别矢量集的直接求解方法。实验表明,文中算法具有计算速度快、识别率高的优点。     

Nonlinear discriminant mapping using the Laplacian of a graph

In this paper, an algorithm for nonlinear discriminant mapping (NDM) is presented, which elegantly integrates the ideas of both linear discriminant analysis (LDA) and Isomap by using the Laplacian of a graph. The objective of NDM is to find a linear subspace project of nonlinear data set, which preserves maximum difference between between-class scatter and within-class scatter.     

核诱导距离度量的鲁棒判别分析

提出了基于核诱导距离度量的鲁棒判别分析算法(robust discriminant analysis based on kernel-induced distance measure,KI-RDA)。KI-RDA不仅自然地推广了线性判别分析(linear discriminant analysis,LDA),而且推广了最近提出的强有力的基于非参数最大熵的鲁棒判别分析(robust discriminant analysis based on nonparametric maximum entropy,MaxEnt-RDA)。通过采用鲁棒径向基核,KI-RDA不仅能有效处理含噪数据,而且也适合处理非高斯分布的非线性数据,其本质的鲁棒性归咎于KI-RDA通过核诱导的非欧距离代替LDA的欧氏距离来刻画类间散度和类内散度。借助这些散度,为特征提取定义类似LDA的判别准则,导致了相应的非线性优化问题。进一步借助近似策略,将优化问题转化为直接可解的广义特征值问题,由此获得降维变换(矩阵)的闭合解。最后在多类数据集上进行实验,验证了KI-RDA的有效性。由于核的多样性,使KI-RDA事实上成为了一个一般性判别分析框架。     

优化线性辨别分析在人脸识别中的应用(英文)

国内外学者研究发现,类间方差最大化的方向与类内方差最大化的方向之间的角度对传统的线性辨别分析方法的准确性影响显著,并且,当这两个方向平行的时候,传统的线性方法往往不能得到很好的结果。经过的研究和实验,发现传统线性方法的准确性与类间方差和类内方差之间的角度没有直接的决定关系,它的最大问题在于线性地对类间方差和类内方差的加和不能完全保留类别之间的辨别信息。提出了一种优化的线性辨别分析的方法(OLDA)来解决这个问题。首先,引入了辨别能量的概念,能够给任意两个类之间的辨别信息赋予同样的权重;其次,引入了一种梯度下降的算法来计算最终的判别向量,并且加速迭代算子的引入能够更加有效地解决运算复杂度的问题。最后,为了解决非线性问题,预先的聚类算法能够将非线性问题转化成为线性问题,从而使数据集能够被有效地分辨出来。采用了一个人脸数据集和一个虚拟数据集进行了实现,实验结果表明提出的优化辨别分析的方法能够有效地解决数据集的分类问题。