一种基于L1范数的主成分分析优化算法及应用

主成分分析(PCA)已经广泛应用于计算机视觉中,但是传统的基于L2范数的PCA对异常值和特征噪声(比如有遮挡的图像)敏感.基于L1范数的PCA(L1-PCA)相比基于L2范教的PCA更具鲁棒性,并且可以克服对异常值和特征噪声敏感的问题.然而,在应用L1-PCA算法时,其算法的优化非常关键.本文针对这一问题,提出基于增强拉格朗日乘子的L1-PCA的优化算法并将其应用于处理有遮挡图像的重构,通过在Yale人脸数据库的实验测试表明所提出的算法有效.数值和可视化的实验结果都表明优化的L1-PCA优于传统PCA.     

维数约简算法简述

机器学习是近几年研究的热点,维数约简算法是机器学习的必要手段,本文从维数约简算法的定义讲起,介绍了几种典型的数据降维算法,其中包括线性降维和非线性降维,流形学习是非线性降维的代表算法。并且介绍了每个算法的构造过程及其特点,在此基础上分析了所有维数约简算法的执行效率时间和空间复杂度,并且给出了每个算法的特点和算法的核心思想,最后在此基础上给予总结,为后面研究者提供参考和借鉴。     

一种基于p-Laplacian的谱聚类维数约简算法

近年来,谱聚类因其深厚的理论基础而在机器学习和数据挖掘领域中引起了广泛的关注。针对谱聚类算法中采用Laplacian矩阵时无法获得较好的图切判据,通过引入p-Laplacian算子,提出了一种基于p-Laplacian的谱聚类维数约简算法。仿真实验表明,提出的方法可以获得一种优化图切的近似解,使得在降维后能够更为精确地求得原始数据在低维空间中的嵌入投影。     

基于维数约简与特征选择的PGS方法在数据处理中的应用

特征选择和维数约简在机器学习、模式识别和数据挖掘领域是很常用的方法。它们之间也具有一定的联系。但对它们的融合应用1／1前很少研究，从而融合特征选择和维数约简的思路被提出。该思路融合了主成分分析方法和遗传算法，提出PGS方法。并把它应用于基因microarray数据的预测分类，取得了较好的效果。     

基于维数约简与特征选择的PGS方法在数据处理中的应用

特征选择和维数约简在机器学习、模式识别和数据挖掘领域是很常用的方法,它们之间也具有一定的联系,但对它们的融合应用目前很少研究,从而融合特征选择和维数约简的思路被提出.该思路融合了主成分分析方法和遗传算法,提出PGS方法,并把它应用于基因microarray数据的预测分类,取得了较好的效果.     

一种基于图嵌入维数约简的图像检索方法

通过将维数约简技术引入检索过程,提出了一种基于图嵌入维数约简的图像检索新方法。通过构建邻接图,引入监督信息,使得图像检索过程成为有粗糙监督的学习过程。降低特征向量维数,不仅节约存储空间,而且由于在目标函数的指导下,特征空间得到优化,从而提升了图像检索的性能。     

基于边界鉴别分析的递归维数约简算法

提出一种基于边界鉴别分析的递归维数约简算法.该算法把已求取边界鉴别向量正交于待求超平面法向量作为支持向量机(SVM)优化问题新的约束条件;然后对改进SVM进行递归求解,得到正交边界鉴别向量基;最后将数据样本在正交边界鉴别向量上投影实现维数约简.该算法不仅克服了现有维数约简算法难以支持小样本数据集、受数据样本分布影响等问题,而且抽取的特征向量具有更优的分类性能.仿真实验说明了算法的有效性.     

一种基于最大边界投影和l2,1 范数正则化的属性选择算法

当数据含有噪声或标签错误时,传统的属性选择方法(如粗糙集)无法得到正确结果,为此提出一种针对含噪、标签错误数据的属性选择方法。首先用最大边界投影方法获得数据的最佳投影;然后通过对投影矩阵进行L2,1范数正则化操作,进而获得行稀疏的投影矩阵,据此获得对关键属性的挖掘;最后给出方法的收敛性和针对标签错误数据的有效性证明。实验结果表明,所提出的算法克服了噪声和标签错误的影响,较好地实现了针对含噪、标签错误数据的属性选择。     

一种有效的时间序列维数约简方法

提出了一种用于相似性查询的时间序列维数约简的有效方法，该方法采用快速小波变换将时间序列分解成不同频率的子带，用经过多分辨分解后得到的低频逼近信号重新表示原始序列，这样将一个高维的时间序列映射到一个低维空间，这种方法支持欧几理德距离标准和L－平移欧几理德距离标准，该算法的时间复杂性为O（n)。     

基于调和函数的张量数据维数约简

实际应用中的许多数据,如图像,视频,通常具有张量性和高维性特征,张量数据的维数约简便成为近期的研究热点。现有的张量维数约简方法大都是监督的,它们不能有效利用未标签样本数据的信息。基于调和函数的张量数据维数约简方法综合了传统半监督方法和张量方法的优点,能够在有效利用未标签样本信息的同时,保持数据天然的张量结构特征。仿真实验和真实数据上的结果都验证了其有效性。     

一种融入PCA的LBP特征降维车型识别算法

车型识别是智能交通系统研究的关键技术之一,针对车型识别的过程中存在处理的信息量大,提取特征维数高,识别实时性较差等问题,设计了一种融入PCA的LBP特征降维车型识别算法。首先在视频序列中使用帧间差分法提取目标车辆;然后计算目标车辆的LBP特征并利用PCA方法将数据由像素维数降至训练数据维数,在增强识别算法对光线变化鲁棒性的同时,一定程度上降低了车型识别的计算量;最后利用最小距离分类器对目标车辆进行分类识别。实验结果表明,所设计的车型识别算法与常规PCA方法相比,所设计的算法在光照变化时识别准确率有所提高,算法的实时性得到了一定的提升。     

IDR/QR: an incremental dimension reduction algorithm via QR decomposition

Dimension reduction is a critical data preprocessing step for many database and data mining applications, such as efficient storage and retrieval of high-dimensional data. In the literature, a well-known dimension reduction algorithm is linear discriminant analysis (LDA). The common aspect of previously proposed LDA-based algorithms is the use of singular value decomposition (SVD). Due to the difficulty of designing an incremental solution for the eigenvalue problem on the product of scatter matrices in LDA, there has been little work on designing incremental LDA algorithms that can efficiently incorporate new data items as they become available. In this paper, we propose an LDA-based incremental dimension reduction algorithm, called IDR/QR, which applies QR decomposition rather than SVD. Unlike other LDA-based algorithms, this algorithm does not require the whole data matrix in main memory. This is desirable for large data sets. More importantly, with the insertion of new data items, the IDR/QR algorithm can constrain the computational cost by applying efficient QR-updating techniques. Finally, we evaluate the effectiveness of the IDR/QR algorithm in terms of classification error rate on the reduced dimensional space. Our experiments on several real-world data sets reveal that the classification error rate achieved by the IDR/QR algorithm is very close to the best possible one achieved by other LDA-based algorithms. However, the IDR/QR algorithm has much less computational cost, especially when new data items are inserted dynamically.     

Local fuzzy PCA based GMM with dimension reduction on speaker identification

To reduce the high dimensionality required for training of feature vectors in speaker identification, we propose an efficient GMM based on local PCA with fuzzy clustering. The proposed method firstly partitions the data space into several disjoint clusters by fuzzy clustering, and then performs PCA using the fuzzy covariance matrix on each cluster. Finally, the GMM for speaker is obtained from the transformed feature vectors with reduced dimension in each cluster. Compared to the conventional GMM with diagonal covariance matrix, the proposed method shows faster result with less storage maintaining same performance.     

主成分分析在图像Zernike矩特征降维中的应用

首先介绍了图像特征向量维度过高的问题以及图像特征降维处理。在讨论Zernike矩基本概念以及图像Zernike矩形状特征向量表示的基础上,指出Zernike矩特征向量一般都是高维的。在介绍主成分分析方法的基础上,指出可以将其应用到Zernike矩特征向量的降维中,并给出了降维的处理过程。最后的实验结果证明了该方法的可行性。     

基于L1范数的全变分正则化超分辨重构算法

针对结构化照明显微成像系统的超分辨图像重构算法存在边界振铃效应、噪声免疫性差的问题,提出了一种基于L1范数的全变分正则化超分辨图像重构算法（简称L1/TV重构算法）。从结构化显微成像模型入手,分析了传统算法的设计原理和局限性;论述了L1/TV重构算法的原理,采用L1范数对重构图像保真度进行约束,并利用全变分正则化有效克服了重构过程的病态性,保护了重构图像边缘。对比研究传统重构算法和L1/TV重构算法的性能。实验结果表明：L1/TV重构算法具有更强的抗噪声干扰能力,重构图像空间分辨率更高。     

基于L1和L2混合范式的序列图像超分辨率重建

针对超分辨率重建时需要同时滤除高斯噪声和脉冲噪声的问题,提出一种基于L₁和L₂混合范式并结合双边全变分(BTV)正则化的序列图像超分辨率重建方法。首先基于多分辨率策略的光流场模型对序列低分辨率图像进行配准,使图像的配准精度达到亚像素级,进而可以利用图像间的互补信息提高图像分辨率;其次利用L₁和L₂混合范式的优点,用BTV正则化算法解决重建的病态性反问题;最后进行序列图像超分辨率重建。实验数据显示算法可以降低图像均方误差,并将峰值信噪比(PSNR)提高1.2 dB~5.2 dB。实验结果表明,提出的算法能够有效地滤除高斯和脉冲噪声,保持图像边缘,提高图像可辨识度,可为车牌识别、人脸识别和视频监控等方面提供了良好的技术基础。     

Hidden Markov model-based classification of heart valve disease with PCA for dimension reduction

In this study, a biomedical system to classify heart sound signals obtained with a stethoscope, has been proposed. For this purpose, data from healthy subjects and those with cardiac valve disease (pulmonary stenosis (PS) or mitral stenosis (MS)) have been used to develop a diagnostic model. Feature extraction from heart sound signals has been performed. These features represent heart sound signals in the frequency domain by Discrete Fourier Transform (DFT). The obtained features have been reduced by a dimension reduction technique called principal component analysis (PCA). A discrete hidden Markov model (DHMM) has been used for classification. This proposed PCA-DHMM-based approach has been applied on two data sets (a private and a public data set). Experimental classification results show that the dimension reduction process performed by PCA has improved the classification of heart sound signals.     

基于L1范数的分块二维局部保持投影算法

针对高维输入数据维数较大时可能存在奇异值问题,同时为提高算法的运算效率以及算法的鲁棒性,提出了一种基于L1范数的分块二维局部保持投影算法B2DLPP-L1。传统的局部保持投影算法为避免出现奇异值问题,首先运用主成分分析算法将高维数据投影到子空间中,然而这种方式将会造成高维数据中部分有效信息的流失,B2DLPP-L1算法选择将二维数据直接作为输入数据,避免运用向量形式的输入数据时可能造成的数据流失;同时该算法对二维输入数据进行分块处理,将分块后的数据块作为新的输入数据,之后运用基于L1范数的二维局部保持投影算法对其进行降维。理论上,B2DLPP-L1算法能够较好地对数据进行降维,不仅能够保持高维数据中的有效信息,降低计算复杂程度,提高算法的运行效率,同时还能够克服存在外点情况下分类准确率较低问题,提高算法的鲁棒性。通过选择不同的人脸数据库进行实验,实验结果表明,在存在外点的情况下,运用最近邻分类器时能够取得更高的分类准确率,同时所需的分类时间有所减少。     

Graph cuts via l1 norm minimization

Graph cuts have become an increasingly important tool for solving a number of energy minimization problems in computer vision and other fields. In this paper, the graph cut problem is reformulated as an unconstrained $\ell_1$ norm minimization which can be solved effectively using interior point methods. This reformulation exposes connections between the graph cuts and other related continuous optimization problems. Eventually the problem is reduced to solving a sequence of sparse linear systems involving the Laplacian of the underlying graph. The proposed procedure exploits the structure of these linear systems in a manner that is easily amenable to parallel implementations. Experimental results obtained by applying the procedure to graphs derived from image processing problems are provided.