Process monitoring via enhanced neighborhood preserving embedding

A novel process monitoring scheme named enhanced neighborhood preserving embedding (ENPE) is proposed. Neighborhood preserving embedding (NPE) only considers the reconstruction error on the basis of each local neighborhood is linear. For the purpose of addressing both the reconstruction error and the distance, the dual weight matrix and the enhanced objective function are constructed in the ENPE method. Finally, under a numerical example and the Tennessee Eastman (TE) benchmark, the superiority of the proposed ENPE method is evaluated through comparing with principal component analysis (PCA) and NPE.     

低秩稀疏图嵌入的半监督特征选择

目的 特征降维是机器学习领域的热点研究问题。现有的低秩稀疏保持投影方法忽略了原始数据空间和降维后的低维空间之间的信息损失,且现有的方法不能有效处理少量有标签数据和大量无标签数据的情况,针对这两个问题,提出基于低秩稀疏图嵌入的半监督特征选择方法（LRSE）。方法 LRSE方法包含两步：第1步是充分利用有标签数据和无标签数据分别学习其低秩稀疏表示,第2步是在目标函数中同时考虑数据降维前后的信息差异和降维过程中的结构信息保持,其中通过最小化信息损失函数使数据中有用的信息尽可能地保留下来,将包含数据全局结构和内部几何结构的低秩稀疏图嵌入在低维空间中使得原始数据空间中的结构信息保留下来,从而能选择出更有判别性的特征。结果 将本文方法在6个公共数据集上进行测试,对降维后的数据采用KNN分类验证本文方法的分类准确率,并与其他现有的降维算法进行实验对比,本文方法分类准确率均有所提高,在其中的5个数据集上本文方法都有最高的分类准确率,其分类准确率分别在Wine数据集上比次高算法鲁棒非监督特征选择算法（RUFS）高11.19%,在Breast数据集上比次高算法RUFS高0.57%,在Orlraws10P数据集上比次高算法多聚类特征选择算法（MCFS）高1%,在Coil20数据集上比次高算法MCFS高1.07%,在数据集Orl64上比次高算法MCFS高2.5%。结论 本文提出的基于低秩稀疏图嵌入的半监督特征选择算法使得降维后的数据能最大限度地保留原始数据包含的信息,且能有效处理少量有标签样本和大量无标签样本的情况。实验结果表明,本文方法比现有算法的分类效果更好,此外,由于本文方法基于所有的特征都在线性流形上的假设,所以本文方法只适用于线性流形上的数据。     

基于DKNPE方法的故障检测

针对传统方法对非线性或多模态间歇过程的故障检测率低的问题,提出一种基于K近邻邻域保持嵌入得分差分（difference of K nearest neighbors score associated with neighborhood preserving embedding,DKNPE）的健康状态监视方法。首先,通过NPE方法计算训练数据集的得分矩阵,称其为样本的本质得分。然后,在训练数据集计算每个样本的K近邻均值,并将其投影到低维空间以获得样本的估计得分。接下来,在差分子空间（diffe-rence subspaces,DS）和差分残差子空间（difference residual subspaces,DRS）中分别建立两个新的统计量对样本进行过程监控。将本方法在两个模拟数值例子和半导体蚀刻过程中进行测试,并与PCA、FD-KNN和NPE等传统方法进行对比分析, 测试结果验证了该方法的有效性。     

基于稀疏表示的可变形部件模型目标检测

基于可变形部件模型DPM的目标检测算法采用方向梯度直方图HOG进行特征表示,由于HOG无法处理模糊的边界而且忽略了平滑的特征区域,从而影响了DPM算法的性能。为了提高DPM的性能,提出了一种基于稀疏表示的可变形部件模型目标检测的方法。该方法利用稀疏编码构建一种新的特征描述子来取代原可变形部件所使用的方向梯度直方图,新的特征描述子能够描述物体更多的信息,对图像中的噪声不敏感。实验结果表明,该方法在PASCAL VOC 2012数据集上提高了原可变形部件模型算法的精度。     

基于低秩稀疏图的结构保持投影算法

在图嵌入理论框架下,能够较好地揭示数据本质特性的图在一些维数约简方法中起到关键性的作用。基于稀疏表示和低秩表示方法,构建了一种低秩稀疏图,能够同时揭示数据的局部结构信息和全局结构信息。然后,利用图嵌入理论方法使这些特性在线性投影的过程中得以保持不变,从而学习出高维数据有效的低维嵌入。在标准的人脸和手写数字数据集(ORL,Yale,PIE,MNIST)上进行实验,同传统的图嵌入方法比较,结果表明了算法的有效性。     

基于局部特征和稀疏表示的图像目标检测算法

传统的基于局部特征的图像目标检测算法具有对遮挡和旋转敏感、检测精度不高以及运算速度慢的特点,为了改进该算法的性能,提出了一种将图像局部特征应用于稀疏表示理论的图像目标检测算法。该算法利用随机树的方式有监督地学习样本图像的局部特征形成字典,通过学习好的字典和测试图像的子块来预测图像中目标的中心位置,以此寻求待检测图像稀疏的表示,从而实现对图像中感兴趣目标的检测。实验结果表明,该算法对目标的遮挡、旋转和复杂背景有很好的鲁棒性,而且检测精度和运算速度相对于同类经典算法均有提高。     

基于稀疏表示与线性回归的图像快速超分辨率重建

单幅图像超分辨率的目的是从一幅低分辨率的图像来重构出高分辨率的图像。基于稀疏表示和邻域嵌入的超分辨率图像重建方法使得重建图像质量有了极大的改善。但这些方法还很难应用到实际中,因为其重建图像的速度太慢或者需要调节复杂的参数。目前大多数的方法在图像重建的速度和质量两个方面很难有一个好的权衡。鉴于以上问题提出了一种基于线性回归的快速图像超分辨率重建算法,将稀疏表示和回归的方法有效地结合在一起。通过稀疏表示训练的字典,用一种新的方式将整个数据集划分为多个子空间,然后在每一类子空间中独立地学习高低分辨率图像之间的映射关系,最后通过选择相应的投影矩阵来重建出高分辨图像。实验结果表明,相比于其他方法,本文提出的算法无论在图像重建速度还是重建质量方面都取得了更好的超分辨率重建效果。     

基于群结构稀疏表示的图像修复

针对基于稀疏表示的图像修复方法存在稀疏系数先验知识表达不足等问题,考虑图像的纹理自相似性和原子系数的群结构稀疏性,提出了群结构约束的稀疏表示模型,通过选取合适的群结构约束稀疏系数,使字典中相邻基对应的稀疏系数之间建立联系,并统一对输入图像的有效数据图块与训练样本进行稀疏编码来进一步训练字典,使其具有相同的稀疏模式,从而建立联合稀疏关联,并将其作为先验知识指导图像修复。通过区域目标剔除、像素缺失修复等实验验证其性能,实验结果表明,该方法有较强的自适应性,修复效果较好。     

改进型稀疏分类鲁棒目标跟踪算法

针对当前基于稀疏分类的目标跟踪算法跟踪精度较低等问题,结合判别分析思想,提出改进型稀疏跟踪算法。采用基于在线学习的标准对冲算法估算目标的位置以及面积,并详细介绍了标准对冲算法原理。对于在跟踪过程中目标外形改变的问题,提出了基于时序循环的模板更新方法。对目标暂时消失或被完全遮挡时会产生跟踪失败的问题,创造性地提出了基于稀疏分类器网格SCG的合作跟踪框架。进行了两类实验,第一类实验验证了该算法的有效性。第二类实验在大量公共图像序列的基础上对该算法及其他图像跟踪算法进行测试比较。实验结果证明,该算法适用于复杂背景下的跟踪任务,在跟踪失败后能自动恢复跟踪,在目标被部分遮挡、长期遮挡或目标与背景有相似特征模式的情况下都能保持较高的跟踪精度。     

基于多尺度稀疏表示的图像融合方法

针对目前基于稀疏表示的常用图像融合算法计算复杂度高以及忽略图像局部特征的问题,提出多尺度稀疏表示(multi-scale sparse representation,MSR)的图像融合方法.充分利用小波多尺度分析较好突出图像局部特征的特点,将其和过完备稀疏表示有效结合;待融合图像在小波解析域中进行小波多层分解,对每个尺度的特征运用K-SVD (kernel singular value decomposition)多尺度字典进行OMP (orthogonal matching pursuit)稀疏编码,并在小波域中各个尺度中进行融合.实验结果表明,与传统的小波变换、轮廓波变换、稀疏表示融合算法相比,该算法更能保证图像局部特征的完整性,实现更好的性能.     

基于QR分解的正则化邻域保持嵌入算法

针对训练样本不足时,对数据的低维子空间估计可能会产生严重偏差的问题,提出了一种基于QR分解的正则化邻域保持嵌入算法。首先,该算法定义一个局部拉普拉斯矩阵保留原始数据的局部结构;其次,将类内散度矩阵的特征谱空间划分成三个子空间,通过倒数谱模型定义的权值函数获得新的特征向量空间,进而对高维数据进行预处理;最后,定义一个邻域保持邻接矩阵,利用QR分解获得的投影矩阵和最近邻分类器进行人脸分类。与正则化广义局部保持投影(RGDLPP)算法相比,所提算法在ORL、Yale、FERET和PIE库上识别率分别提高了2个百分点、1.5个百分点、1.5个百分点和2个百分点。实验结果表明,所提算法易于实现,在小样本(SSS)下有较高的识别率。     

基于拓展稀疏表示模型和LC-KSVD的人脸识别

为了提高人脸的识别率和识别速度及其识别的鲁棒性,提出了基于拓展稀疏表示模型和LC-KSVD（Label Consist K-SVD）的人脸识别算法。针对字典学习中只包含表示能力没有包含类别信息的问题,在原始的稀疏表示模型中添加了残差向量作为系数修正向量,使得拓展稀疏表示模型具有更强的鲁棒性;在字典学习中添加稀疏编码和分类器参数约束项,通过字典学习同时更新稀疏编码和分类器参数,使字典中包含很好的表示能力和判别分类能力。实验结果表明,基于拓展稀疏表示模型和LC-KSVD的人脸识别具有高识别率和低识别速度,并且有很好的鲁棒性。     

基于监督协同近邻保持投影的人脸识别算法

基于流形学习理论的近邻保持嵌入算法(Neighborhood Preserving Embedding,NPE)能够发现数据集中隐含的内蕴结构,但当训练样本不足时,无法准确发现数据的内在流形结构,从而影响算法的识别效果.针对这一问题,对NPE算法进行改进,提出了监督协同近邻保持投影算法(Supervised Collaborative Neighborhood Preserving Projection,SCNPP).该算法在类别信息的指导下构建近邻图,使同类样本间的几何关系得到保持,利用协同表示弥补NPE因样本不足造成的表示误差,以一个有效保持样本近邻关系、准确发现数据内在流形结构的权值矩阵计算投影矩阵,提高分类效果.在FERET、AR和Extended Yale B人脸数据集上的实验验证了该算法的有效性.     

基于非负稀疏表示的人脸识别

对稀疏表示在人脸识别中的应用进行了研究,提出了人脸识别的非负稀疏表示方法和采样方法.提出了非负稀疏表示的乘性迭代算法,分析了该方法与非负矩阵分解的联系,设计了基于非负稀疏表示的分类算法.在仿射传播算法的基础上,提出了人脸数据集的采样方法,并在人脸图像集上进行了实验.与稀疏表示相比,非负稀疏表示在计算复杂度和鲁棒性上具有优越性;与随机采样方法相比,该采样方法具有较高的识别精度.     

Robust locally linear embedding

In the past few years, some nonlinear dimensionality reduction (NLDR) or nonlinear manifold learning methods have aroused a great deal of interest in the machine learning community. These methods are promising in that they can automatically discover the low-dimensional nonlinear manifold in a high-dimensional data space and then embed the data points into a low-dimensional embedding space, using tractable linear algebraic techniques that are easy to implement and are not prone to local minima. Despite their appealing properties, these NLDR methods are not robust against outliers in the data, yet so far very little has been done to address the robustness problem. In this paper, we address this problem in the context of an NLDR method called locally linear embedding (LLE). Based on robust estimation techniques, we propose an approach to make LLE more robust. We refer to this approach as robust locally linear embedding (RLLE). We also present several specific methods for realizing this general RLLE approach. Experimental results on both synthetic and real-world data show that RLLE is very robust against outliers.     

基于核稀疏表示的特征选择算法*

为了解决高维数据在分类时导致的维数灾难,降维是数据预处理阶段的主要步骤。基于稀疏学习进行特征选择是目前的研究热点。针对现实中大量非线性可分问题,借助核技巧,将非线性可分的数据样本映射到核空间,以解决特征的非线性相似问题。进一步对核空间的数据样本进行稀疏重构,得到原数据在核空间的一种简洁的稀疏表达方式,然后构建相应的评分机制选择最优子集。受益于稀疏学习的自然判别能力,该算法能够选择出保持原始数据结构特性的"好"特征,从而降低学习模型的计算复杂度并提升分类精度。在标准UCI数据集上的实验结果表明,其性能上与同类算法相比平均可提高约5%。     

基于稀疏表示的医学图像融合

针对传统基于K阶奇异值分解(KSVD)的字典学习算法时间复杂度高,学习字典对源图像的表达能力不理想,应用于医学图像融合效果差的问题,提出了一种新的字典学习方法:在字典学习之前对医学图像的特征信息进行筛选,选取能量和细节信息丰富的图像块作为训练集学习字典;根据学习得到的字典建立源图像的稀疏表示模型,运用正交匹配追踪算法(OMP)求解每个图像块的稀疏系数,采用"绝对值最大"策略构造融合图像的稀疏表示系数,最终得到融合图像.实验结果表明:针对不同的医学图像,提出的方法有效.     

基于自适应相似组稀疏表示的图像修复算法

针对图像修复结果中存在的结构连续性和纹理清晰性较差的问题,提出了一种基于自适应相似组的图像修复算法。区别于传统的以单一图像块或固定数目图像块作为修复单元的方法,该算法根据自然图像中纹理区和结构区的不同特点,自适应地选取不同数目的相似图像块,构造自适应相似组;然后以相似组作为基本单元,学习自适应字典,并构造基于稀疏表示的图像修复模型;最后,采用Split Bregman Iteration算法高效地求解目标代价函数。实验结果表明,与基于图像块的图像修复算法和图像块组稀疏表示（GSR）算法相比,该算法在峰值信噪比（PSNR）上平均提高了0.94~4.34 dB,在结构相似性指数（SSIM）上平均提高了0.0069~0.0345,同时,修复速度分别是对比算法的2.51倍和3.32倍。     

基于稀疏表示的SAR图像目标识别方法

为了准确地进行SAR图像目标识别,提出一种基于稀疏表示的SAR目标识别方法,在用主成分分析（PCA）进行降维的前提下,利用降维后的训练样本构建稀疏线性模型,通过 ξ1范数最优化求解测试样本的稀疏系数解x,利用系数的稀疏性分布进行目标的分类识别。基于MSTAR数据进行了仿真验证,实验证明,基于稀疏表示的SAR目标识别方法在一定的特征维数下能够获得很好的识别性能,在目标方位角未知的情况下识别率仍可达到98%以上。     

Multi-polarimetric SAR image compression based on sparse representation

The use of sparse representation in signal and image processing has gradually increased over the past few years.Obtaining an over-complete dictionary from a set of signals allows us to represent these signals as a sparse linear combination of dictionary atoms.By considering the relativity among the multi-polarimetric synthetic aperture radar(SAR)images,a new compression scheme for multi-polarimetric SAR image based sparse representation is proposed.The multilevel dictionary is learned iteratively in the 9/7 wavelet domain using a single channel SAR image,and the other channels are compressed by sparse approximation,also in the 9/7 wavelet domain,followed by entropy coding of the sparse coefficients.The experimental results are compared with two state-of-the-art compression methods:SPIHT(set partitioning in hierarchical trees)and JPEG2000.Because of the efficiency of the coding scheme,our method outperforms both SPIHT and JPEG2000 in terms of peak signal-to-noise ratio(PSNR)and edge preservation index(EPI).