重加权稀疏主成分分析算法及其在人脸识别中的应用

针对主成分分析（PCA）算法获取的主成分向量不够稀疏,拥有较多的非零元这一问题,使用重加权方法对PCA算法进行优化,提出了一个新的提取高维数据特征的方法,即重加权稀疏主成分分析（RSPCA）算法。首先,将重加权l₁最优化框架和LASSO回归模型引入到PCA算法数学模型中,建立新的数据降维模型;然后,使用交替最小化算法、奇异值分解算法、最小角回归算法等方式对模型进行求解;最后,使用人脸识别实验对算法效果进行了验证。在实验中使用K折交叉验证的方法针对ORL人脸数据集分别使用PCA算法和RSPCA算法进行识别实验。实验结果表明,RSPCA算法在获取更稀疏解的情况下仍拥有着不弱于PCA算法的表现,平均识别准确率达到95.1%,所提算法与表现最好的sPCA-rSVD算法相比,识别准确率提高了6.2个百分点;针对手写数字识别这一具体现实应用进行求解,获取到平均识别准确率96.4%的良好实验效果。证明了所提方法在人脸识别及书写数字识别方面的优异性。     

基于相同稀疏模式的稀疏主成分分析算法

稀疏主成分分析是一种用于降维和特征选择的无监督方法。由于计算多个主成分时主载荷向量间不具有相同的稀疏模式,导致难以从原始特征空间中确定出对主成分贡献最大的小部分变量,为解决此问题,提出一种自适应稀疏主成分分析（Adaptive sparse principal component analysis, ASPCA）算法。首先使用组套索模型,通过在载荷向量上施加块稀疏约束得出自适应稀疏主成分分析公式,随后对稀疏矩阵的不同列使用不同的调整参数获得自适应惩罚,最后运用块坐标下降法对自适应稀疏主成分分析公式进行两阶段优化,从而找到稀疏载荷矩阵和正交矩阵,实现降维的最优化。对稀疏主成分分析（Sparse principal component analysis, SPCA）算法、结构化且稀疏的主成分分析（Structured and sparse principal component analysis, SSPCA）算法和ASPCA算法进行仿真比较,结果表明ASPCA算法的降维性能更优,能提取更有价值的特征,从而显著提高了分类模型的平均分类准确率。     

鲁棒的稀疏Lp-模主成分分析

主成分分析（Principle component analysis,PCA）是一种被广泛应用的降维方法.然而经典PCA的构造基于L₂-模导致了其对离群点和噪声点敏感,同时经典PCA也不具备稀疏性的特点.针对此问题,本文提出基于Lp-模的稀疏主成分分析降维方法（LpSPCA）.LpSPCA通过极大化带有稀疏正则项的Lp-模样本方差,使得其在降维的同时保证了稀疏性和鲁棒性.LpSPCA可用简单的迭代算法求解,并且当p≥1时该算法的收敛性可在理论上保证.此外通过选择不同的p值,LpSPCA可应用于更广泛的数据类型.人工数据及人脸数据上的实验结果表明,本文所提出的LpSPCA不仅具有较好的降维效果,并且具有较强的抗噪能力.     

一种稀疏可控的主成分分析方法

主成分分析(Principal Component Analysis,PCA)是一种用线性变换选出少数重要变量(降维)的多元统计分析方法。虽然传统PCA被广泛应用于科学研究与工程领域中,但是其结果有时很难解释。因此,一些研究人员引入稀疏约束项(lasso、fused lasso以及adaptive lasso等),以得到可解释的结果。由于传统稀疏项的稀疏度不容易控制,为此引入一种新的约束项,即稀疏可控惩罚项(Sparse Controllable penalty,SCP),来控制主成分的稀疏程度。与传统的约束项相比,SCP具有长度不敏感、维度不敏感和约束项的取值范围在0到1之间的优点。这些优点极大地降低了调节稀疏度的难度。实验表明,稀疏可控主成分分析(Sparse Controllable Principal component Analysis,SCPCA)是高效的。     

基于稀疏化双向二维主成分分析的人脸识别

双向二维主成分分析((2D)~2PCA)易受异常值影响,鲁棒性差,且所提取的特征向量是非稀疏的。针对上述不足,提出基于L_1范数的稀疏双向二维主成分分析方法(2D)~2PCA-L1S。在(2D)~2PCA目标函数中加入L_1范数约束,以提高算法的抗干扰能力,同时引入弹性网约束,通过Lasso与Ridge惩罚函数实现稀疏性。在Feret和Yale数据库中进行基于最近邻的人脸分类、人脸重构和基于粒子群优化SVM参数的人脸识别实验,结果表明,相较于2DPCA、(2D)~2PCA、(2D)~2PCA-L1等主成分分析方法,该方法能准确提取人脸主要信息,人脸识别和人脸重构效果较好。     

融合类别信息的二维主成分分析人脸识别算法

二维主成分分析(2DPCA)已被成功地应用在人脸识别领域,但是这种2DPCA是无监督方法,投影没有考虑到类别信息,在一定程度上影响了识别性能.因此提出一种新的2DPCA,它利用训练样本的类别标记来生成K-L变换的产生矩阵,融合了样本的类别信息,从而使2DPCA的识别性能更好.基于ORL和Yale人脸数据库的实验表明该方法比传统的2DPCA的识别性能更高.     

基于自步学习的加权稀疏表示人脸识别方法

近年来基于稀疏表示的分类方法（SRC）成为了一个新的热点问题,在人脸识别领域取得了很大的成功。但基于稀疏表示的方法在重建待测样本时,有可能会利用与待测样本相差较大的训练样本,并且没有考虑到表示系数的局部信息,从而导致分类结果不稳定。提出一种基于自步学习的加权稀疏表示算法SPL-WSRC,在字典中有效剔除与待测样本相差较大的训练样本,并利用加权手段考虑样本间的局部信息,以提高分类精度和稳定性。通过3个典型的人脸数据集中的实验,实验结果表明,所提算法优于原稀疏表示算法SRC,特别是当训练样本足够多时,效果更明显。     

基于自步学习的无监督属性选择算法

针对现有属性选择算法平等地对待每个样本而忽略样本之间的差异性,从而使学习模型无法避免噪声样本影响问题,提出一种融合自步学习理论的无监督属性选择（UFS-SPL）算法。首先自动选取一个重要的样本子集训练得到属性选择的鲁棒性初始模型,然后逐步自动引入次要样本提升模型的泛化能力,最终获得一个能避免噪声干扰而同时具有鲁棒性和泛化性的属性选择模型。在真实数据集上与凸半监督多标签属性选择（CSFS）、正则化自表达（RSR）和无监督属性选择的耦合字典学习方法（CDLFS）相比,UFS-SPL的聚类准确率、互信息和纯度平均提升12.06%、10.54%和10.5%。实验结果表明,UFS-SPL能够有效降低数据集中无关信息的影响。     

基于完全二维对称主成分分析的人脸识别

镜像对称性是人脸的一个直观明显的自然特性,结合该特性在完全二维主成分分析的基础上提出完全二维对称主成分分析的人脸识别方法。该方法通过镜像变换得到奇对称样本和偶对称样本,分别对奇偶对称样本进行完全二维主成分分析,通过奇偶加权因子对奇偶对称样本的特征矩阵进行组合,并采用最近邻距离分类器分类。在ORL人脸数据库上的实验表明,该方法有较好的识别效果。     

基于集成主成分分析的人脸识别

设计了一种基于主成分分析的分类器集成方法。应用随机子空间法获得多个初始分类器,由它们的分类性能给出分类器的保留分值,从而确定它们的保留优先级别,最后由保留优先级别选择一组分类器组成集成。理论分析和在人脸数据库ORL上的实验结果表明,这种基于集成PCA的分类方法能够更好地对模式进行分类。     

基于多线性主元分析和FLD的掌纹识别*

为了减少高维对计算成本的影响,同时提取有利于分类的判别特征,提出运用多线性主元分析(MPCA)与FLD相结合的方法进行掌纹识别。运用MPCA直接对掌纹张量进行降维和特征提取,低维特征向量作为FLD的输入,提取判别特征向量,计算特征向量间的余弦距离进行掌纹匹配。PolyU掌纹图像库的实验结果表明,与主元分析（PCA）、PCA+FLD、二维主元分析(2DPCA)、独立元分析（ICA）和MPCA相比,该算法的识别率(RR)最高为9991%,特征提取和匹配总时间为0398 s,满足实时系统的要求。     

基于稀疏动态主元分析的故障检测方法

本文将动态主元分析(Dynamic Principal Component Analysis, DPCA)和稀疏主元分析(Sparse Principal Component Analysis, SPCA)两种方法结合起来,提出一种新的稀疏动态主元分析方法,并将其用于工业过程的故障检测。所提出的稀疏动态主元分析方法通过对过程数据的动态增广矩阵进行稀疏主元的求解,获取稀疏的负荷向量,该方法既考虑到了过程数据的动态特性,又降低了过程数据的冗余度,同时降低了计算负荷,非常适合工业过程的实时故障检测。此外,本文还提出了一种前向选择算法,用于确定稀疏主元中的非零负荷数目。最后,将所提出方法应用于数值例子和田纳西-伊斯曼过程,并将与主元分析、动态主元分析和稀疏主元分析等三种方法相比较,表明所提方法可以获得更好的故障检测效果。     

基于主分量分析的缺陷识别研究

为了解决传统的人工定义方法和小波包分解方法在超声信号特征提取方面的不足,提出了将主分量分析方法应用于信号的特征提取,并据此进行超声检测的缺陷识别.这种方法不但大大降低了数据量,减少了计算复杂度,同时也能够保证压缩后的数据能够有效的代表原数据特性.通过对提取到的特征建立特征向量,利用模糊模式判别方法进行测试,并和现有的两种方法进行对比.与目前采用的方法相比,该方法在识别效率和准确性上都表现非常优秀,能对各种模式有效识别.     

改进的广义主分量分析及在人脸识别中的应用

广义主分量分析是一种利用图像矩阵直接计算的二维主分量分析,较传统主分量分析提高了特征抽取速度及识别率.通过对广义主分量分析中的产生矩阵进行分析,并重新定义,在类间散布矩阵定义的基础上引入了径向基函数,通过调整径向基函数的系数得到更有利于分类的特征信息,获得较高的识别率.在Yale,ORL两个人脸数据库上的实验结果表明了改进方法的有效性和鲁棒性.     

基于模糊理论决策的双向二维PCA 步态识别算法

针对步态识别中的平均步态能量图像系数矩阵维数过高和分类较困难的特 点,提出一种基于模糊理论决策分类的双向二维主成分分析的步态识别算法。通过预处理技 术得到平均步态能量图并将得到的图像分割为多个子图像,利用双向二维主成分分析来降低 平均步态能量子图像的系数矩阵维数,加快识别速度。引入模糊理论决策的方法进行最近邻 分类器的分类。最后在CASIA 步态数据库上对所提出的算法进行实验,实验结果表明该算 法具有较好的识别性能并有较强的鲁棒性。     

用于故障检测的集成核主分量分析

针对复杂环境下的多变量工业过程在线故障检测问题, 提出基于集成核主分量分析的解决方法. 该方法首先求出样本映射后的无限维空间的多组近似基, 将主分量分析问题特征向量的解空间限定在近似基张成空间求解; 然后集成特征向量和特征值, 并计算Hotelling ??2 统计量和平方预报误差; 最后据此判断检测结果. 该方法对Tennessee Eastman 过程故障检测样本进行测试, 并与其他两种方法进行对比. 测试结果表明了所提出方法的有效性.

     

基于二维图像矩阵的ICA人脸识别

为了解决传统独立分量分析(ICA)在人脸识别过程中存在的高维小样本问题,同时为了提高识别效率,提出了一种基于二维图像矩阵的独立分量分析(ICA)特征提取方法.该方法将人脸图像矩阵作为训练样本,首先利用主分量分析(PCA)对训练样本进行去二阶相关和降维处理,然后对处理后的样本进行ICA特征提取,由于训练样本维数很小,因此它降低了传统ICA方法中高维小样本问题产生的识别错误率,同时减少了识别时间.在Yale人脸库和ORL人脸库上验证了该算法的有效性.     

基于PCA和神经网络的识别方法研究

在计算机集成制造系统环境下,质量控制图是统计过程控制的重要工具,实际应用中最困难的是识别出控制图中由于异常因素造成的不同异常模式。针对这一问题展开研究,用主成分分析法作为前处理过程进行样本集的选择与优化,提出了基于PCA_改进BP算法的控制图模式智能识别方法。