基于核技巧和超图正则的稀疏非负矩阵分解

针对传统的非负矩阵分解（NMF）应用于聚类时,没有同时考虑到鲁棒性和稀疏性,导致聚类性能较低的问题,提出了基于核技巧和超图正则的稀疏非负矩阵分解算法（KHGNMF）。首先,在继承核技巧的良好性能的基础上,用L_2,1范数改进标准非负矩阵分解中的F范数,并添加超图正则项以尽可能多地保留原始数据间的内在几何结构信息;其次,引入L_2,1/2伪范数和L_1/2正则项作为稀疏约束合并到NMF模型中;最后,提出新算法并将新算法应用于图像聚类。在6个标准的数据集上进行验证,实验结果表明,相对于非线性正交图正则非负矩阵分解方法,KHGNMF使聚类性能（精度和归一化互信息）成功地提升了39%~54%,有效地改善和提高了算法的稀疏性和鲁棒性,聚类效果更好。     

基于特征融合的多约束非负矩阵分解算法

针对非负矩阵分解后数据的稀疏性降低、单一图像特征不能够很好地描述图像内容的问题,提出一种基于特征融合的多约束非负矩阵分解算法。该算法不仅考虑了少量已知样本的标签信息和稀疏约束,还对其进行了图正则化处理,而且将分解后的具有不同稀疏度的图像特征进行了融合,从而增强了算法的聚类性能和有效性。在Yale-32和COIL20数据集上进行的对比实验进一步验证了该算法具有更好的聚类精度和稀疏性。     

鲁棒结构正则化非负矩阵分解

现有的非负矩阵分解方法既忽略数据的非局部结构,又难以有效应对噪声和野值点。为了解决上述问题,提出一种新的用于聚类的鲁棒结构正则化非负矩阵分解算法。所提出的算法分别构建一个近邻图和一个最大熵图描述数据的局部结构和非局部结构,并使用L_2,1范数代价函数尝试解决噪声问题,从而学习到鲁棒具有判别力的表征。给出一个最优的迭代算法求解两个非负因子,该优化算法的收敛性已被理论和实验证明。在七个图像数据集上的聚类实验结果表明,所提出的算法在无噪声和有噪声情况下聚类均优于其他主流方法。     

基于l2,0范数稀疏性和模糊相似性的图优化无监督组特征选择方法

基于图的无监督特征选择方法大多选择投影矩阵的l_2,1范数稀疏正则化代替非凸的l_2,0范数约束,然而l_2,1范数正则化方法根据得分高低逐个选择特征,未考虑特征的相关性.因此,文中提出基于l_2,0范数稀疏性和模糊相似性的图优化无监督组特征选择方法,同时进行图学习和特征选择.在图学习中,学习具有精确连通分量的相似性矩阵.在特征选择过程中,约束投影矩阵的非零行个数,实现组特征选择.为了解决非凸的l_2,0范数约束,引入元素为0或1的特征选择向量,将l_2,0范数约束问题转化为0-1整数规划问题,并将离散的0-1整数约束转化为2个连续约束进行求解.最后,引入模糊相似性因子,拓展文中方法,学习更精确的图结构.在真实数据集上的实验表明文中方法的有效性.     

基于干净数据的流形正则化非负矩阵分解

现有的非负矩阵分解（NMF）算法往往基于欧氏距离来设计目标函数,对噪声比较敏感。为了增强算法的鲁棒性,提出一种基于干净数据的流形正则化非负矩阵分解（MRNMF/CD）算法。在MRNMF/CD算法中,把低秩约束、流形正则化和NMF技术无缝地融为一体,使算法性能较为优异。首先,通过添加低秩约束,MRNMF/CD可以从噪声数据中恢复干净数据,并获得数据的全局结构;其次,为了利用数据的局部几何结构信息,MRNMF/CD把流形正则化融入目标函数中。此外,还提出了一种求解MRNMF/CD的迭代算法,并从理论上分析了该求解算法的收敛性。在ORL、Yale和COIL20数据集上的实验结果表明,MRNMF/CD算法比现有的k-means、主成分分析（PCA）、NMF和图正则化非负矩阵分解（GNMF）算法具有更好的识别准确性。     

基于流形正则化的非光滑非负矩阵分解

经典的非光滑非负矩阵分解方法只能发现数据中的全局统计信息,对于非线性分布数据无能为力,而流形学习方法在探索高维非线性数据集真实几何结构方面具有明显优势。鉴于此,基于流形正则化思想,提出了一种新颖的基于流形正则化的非光滑非负矩阵分解方法。该方法不仅考虑了数据的几何结构,而且对编码系数矩阵和基矩阵同时进行稀疏约束,并将它们整合于单个目标函数中。构造了一个有效的乘积更新算法,并在理论上证明了算法的收敛性。标准数据集上的实验表明了MRnsNMF的有效性。     

稀疏约束图正则非负矩阵分解的增量学习算法

针对非负矩阵分解后数据的稀疏性降低、训练样本增多导致运算规模不断增大的现象,提出了一种稀疏约束图正则非负矩阵分解的增量学习算法。该方法不仅考虑数据的几何信息,而且对系数矩阵进行稀疏约束,并将它们与增量学习相结合。算法在稀疏约束和图正则化的条件下利用上一步的分解结果参与迭代运算,在节省大量运算时间的同时提高了分解后数据的稀疏性。在ORL和PIE人脸数据库上的实验结果表明了该算法的有效性。     

利用正则化矩阵分解技术的多视图聚类方法

为了解决具有多种特征属性的多媒体数据（多视图数据）挖掘问题,在非负矩阵分解（NMF）算法的基础上,提出了一种多视图正则化矩阵分解算法（MRMF）,该算法使用了多元非负矩阵分解技术,同时使用[L2,1]范数描述矩阵分解的损失函数,并采用多视图流形正则化对矩阵分解进行正则化约束。与现有的一些数据聚类或多视图聚类算法相比,提出的MRMF算法不易受到原始数据中噪声的影响,而且能够充分考虑到不同视图在聚类中所具有不同权重的问题,能够对多视图数据进行较为准确的聚类。MRMF算法的有效性在一些经典的公开数据集上进行了验证,并取得了较好的聚类精度。     

基于超图正则化非负Tucker分解的图像聚类算法

针对非负张量分解应用于图像聚类时忽略了高维数据内部几何结构的问题,在经典的张量非负Tucker分解的基础上,添加超图正则项以尽可能多地保留原始数据的内在几何结构信息,提出一种基于超图正则化非负Tucker分解模型HGNTD。通过构造超图刻画数据内部样本间的高阶关系,提高几何结构描述的准确性,针对超图正则化非负张量分解模型,基于交替非负最小二乘法,设计快速有效的超图正则化非负Tucker分解算法求解所给模型,证明算法在非负的条件下是收敛的,最终将算法应用于图像聚类。在Yale和COIL两个常用公开数据集上的实验结果表明,相对于k-means、非负矩阵分解、图正则化非负矩阵分解、非负Tucker分解和图正则化非负Tucker分解等算法,超图正则化非负Tucker分解算法聚类准确度提升了8.6%~11.4%,归一化互信息提升了2.0%~7.5%,具有更好的聚类效果。     

基于超像素的流形正则化稀疏约束NMF混合像元分解算法

针对传统非负矩阵分解（NMF）法用于高光谱图像混合像元分解时产生的分解结果精度不高、对噪声敏感等问题，提出一种基于超像素的流形正则化稀疏约束NMF混合像元分解算法——MRS-NMF。首先，通过基于熵率的超像素分割来构造高光谱图像的流形结构，把原图像分割为k个超像素块并把每个超像素块中具有相似性质的数据点标上相同的标签，定义像素块内有相同标签的任意两个数据点之间的权重矩阵，然后将权重矩阵应用于NMF的目标函数中以构造出流形正则化约束项；第二，在目标函数中添加二次抛物线函数以完成稀疏约束；最后，采用乘法迭代更新法则求解目标函数以得到端元矩阵和丰度矩阵的求解公式，同时设置最大迭代次数和容忍误差阈值，迭代运算得到最终结果。该方法有效利用了高光谱图像的光谱和空间信息。实验结果表明，在模拟的高光谱数据中，与传统的流形稀疏约束的非负矩阵分解（GLNMF）、L1/2-NMF和顶点成分分析-全约束最小二乘法（VCA-FCLS）等方法相比，MRS-NMF可以提高0.016~0.063的端元分解精度和0.01~0.05的丰度分解精度；而在真实的高光谱图像中，MRS-NMF较传统的GLNMF、顶点成分分析法（VCA）、最小体积约束的非负矩阵分解（MVCNMF）等方法可以平均提高0.001~0.0437的端元分解精度。所提MRS-NMF算法有效地提高了混合像元分解的精度，同时具有较好的抗噪性能。     

非负子空间聚类指导下的非负矩阵分解

非负矩阵分解作为一种有效的数据表示方法被广泛应用于模式识别和机器学习领域。为了得到原始数据紧致有效的低维数据表示,无监督非负矩阵分解方法在特征降维的过程中通常需要同时发掘数据内部隐含的几何结构信息。通过合理建模数据样本间的相似性关系而构建的相似度图,通常被用来捕获数据样本的空间分布结构信息。子空间聚类可以有效发掘数据内部的子空间结构信息,其获得的自表达系数矩阵可用于构建相似度图。该文提出了一种非负子空间聚类算法来发掘数据的子空间结构信息,同时利用该信息指导非负矩阵分解,从而得到原始数据有效的非负低维表示。同时,该文还提出了一种有效的迭代求解方法来求解非负子空间聚类问题。在两个图像数据集上的聚类实验结果表明,利用数据的子空间结构信息可以有效改善非负矩阵分解的性能。     

Graph dual regularization non-negative matrix factorization for co-clustering

Low-rank matrix factorization is one of the most useful tools in scientific computing, data mining and computer vision. Among of its techniques, non-negative matrix factorization (NMF) has received considerable attention due to producing a parts-based representation of the data. Recent research has shown that not only the observed data are found to lie on a nonlinear low dimensional manifold, namely data manifold, but also the features lie on a manifold, namely feature manifold. In this paper, we propose a novel algorithm, called graph dual regularization non-negative matrix factorization (DNMF), which simultaneously considers the geometric structures of both the data manifold and the feature manifold. We also present a graph dual regularization non-negative matrix tri-factorization algorithm (DNMTF) as an extension of DNMF. Moreover, we develop two iterative updating optimization schemes for DNMF and DNMTF, respectively, and provide the convergence proofs of our two optimization schemes. Experimental results on UCI benchmark data sets, several image data sets and a radar HRRP data set demonstrate the effectiveness of both DNMF and DNMTF.     

基于超图正则化的概念分解及在数据表示中的应用

针对传统图模型的流形学习无法准确表达数据间多元几何结构信息的问题, 提出一种基于超图正则化的概念分解(HRCF) 算法. 该算法用一组具有相似属性的数据子集构建超边, 建立数据间高阶关系的超图模型. 通过在概念分解算法中增加超图正则项, 保持数据间多元几何流形结构, 提高了算法的鉴别性. 在Yale 库、USPS 库和TDT2 库上的实验表明, HRCF 算法明显提高了聚类的准确率和归一化互信息, 验证了算法的有效性.

     

自适应图正则化的低秩非负矩阵分解算法

图正则化(nonnegative matrix factorization,NMF)算法(graph regularization nonnegative matrix factorization,GNMF)仍存在一些不足之处:GNMF算法并没有考虑数据的低秩结构;在GNMF算法中,其拉普拉斯图是使用K近邻(K nea...     

基于竞争性协同表示的局部判别投影特征提取

特征提取算法中利用样本间的协同表示关系构造邻接图只考虑所有训练样本的协同能力,而忽视了每一类训练样本的内在竞争能力。为此,本文提出一种基于竞争性协同表示的局部判别投影特征提取算法（competitive collaborative repesentation-based local discrininant projection for feature extraction,CCRLDP）,该算法利用基于具有竞争性协同表示的方法构造类间图和类内图,考虑到邻接图中各类型系数的影响,引入保留正表示系数的思想稀疏化邻接图,通过计算类内散度矩阵和类间散度矩阵来刻画图像的局部结构并得其最优投影矩阵。在一些数据集上的实验结果表明,相比同类基于局部判别投影的特征提取算法,该算法具有很高的识别率,并在噪声和遮挡上具有良好的鲁棒性,该算法能有效地提高图像的识别效率。     

基于非负矩阵分解与稀疏表示的多标签分类算法

传统的多标签分类算法是以二值标签预测为基础的,而二值标签由于仅能指示数据是否具有相关类别,所含语义信息较少,无法充分表示标签语义信息。为充分挖掘标签空间的语义信息,提出了一种基于非负矩阵分解和稀疏表示的多标签分类算法（MLNS）。该算法结合非负矩阵分解与稀疏表示技术,将数据的二值标签转化为实值标签,从而丰富标签语义信息并提升分类效果。首先,对标签空间进行非负矩阵分解以获得标签潜在语义空间,并将标签潜在语义空间与原始特征空间结合以形成新的特征空间;然后,对此特征空间进行稀疏编码来获得样本间的全局相似关系;最后,利用该相似关系重构二值标签向量,从而实现二值标签与实值标签的转化。在5个标准多标签数据集和5个评价指标上将所提算法与MLBGM、ML²、LIFT和MLRWKNN等算法进行对比。实验结果表明,所提MLNS在多标签分类中优于对比的多标签分类算法,在50%的案例中排名第一,在76%的案例中排名前二,在全部的案例中排名前三。     

自适应标记关联与实例关联诱导的缺失多视图弱标记学习

针对多视图多标记学习中视图不完整和标记不完整问题,提出一种自适应标记关联与实例关联诱导的缺失多视图弱标记学习模型。模型假设样本各视图特征基于一个共享表示,通过不同映射得到。首先通过嵌入指示矩阵进行矩阵分解,充分利用已有的不完整多视图弱标记数据,然后引入图论中学习标准拉普拉斯矩阵的技术来刻画标记关联关系、实例关联关系,从而在模型里嵌入流形正则化思想,使学到的潜在共享表示以及分类器更加合理,最后在4个多视图多标记数据集上实验。实验结果表明,所提方法能够有效解决不完整多视图弱标记学习问题。     

Multi-Manifold Concept Factorization for Data Clustering

Clustering plays an important role in many fields, such as pattern recognition and data mining. Its goal is to group the collected data points into their respective clusters. To this end, a number of matrix factorization based methods have been developed to obtain satisfying clustering results by extracting the latent concepts in the data, e.g., concept factorization (CF) and locally consistent concept factorization (LCCF). LCCF takes into account the local manifold structure of the data, but it is nontrivial to estimate the intrinsic manifold, reflecting the true data structure. To address this issue, we in this paper present a novel method called Multi-Manifold Concept Factorization (MMCF) to derive more promising clustering performance. Specifically, we assume the intrinsic manifold lies in a convex hull of some predefined candidate manifolds. The basic idea is to learn a convex combination of a group of candidate manifolds, which is utilized to approximate the intrinsic manifold of the data. In this way, the low-dimensional data representation derived from MMCF is able to better preserve the locally geometrical structure of the data. To optimize the objective function, we develop an alternating algorithm and learn the manifold coefficients using the entropic mirror descent algorithm. The effectiveness of the proposed approach has been demonstrated through a set of evaluations on several real-world data sets.