基于Hessian正则化的多视图联合非负矩阵分解算法

非负矩阵在表征多视图数据时没有考虑数据本身的流型结构,不能有效表达数据内部信息。为此,提出一种基于Hessian正则化的非负矩阵分解算法。利用Hessian泛函的L2模,保持样本局部拓扑结构,并扩展成基于Hessian正则化的联合非负矩阵分解算法,以对多视图数据进行变换。实验结果表明,基于Hessian正则化的非负矩阵分解算法和基于Hessian正则化的联合非负矩阵分解算法的聚类精度以及互信息值都有较大提高,2种算法的数据变化性能都优于传统非负矩阵分解算法。     

融合物品相似性与流形正则化的矩阵分解推荐模型

矩阵分解是推荐系统中应用最为广泛的方法之一,但其对物品隐因子及其相似性学习不够充分.社会网络分析中认为相互连接的个体有一定共性,受此启发提出一个能够借助近邻关系有效学习物品隐因子及其相似性的矩阵分解推荐模型.首先基于评分矩阵对物品相似性计算进行改良,综合同一用户和相似用户的评分共现信息对物品信息建模;然后通过构建相似性...     

Max-margin Non-negative Matrix Factorization

In this paper we introduce a supervised, maximum margin framework for linear and non-linear Non-negative Matrix Factorization. By contrast to existing methods in which the matrix factorization phase (i.e. the feature extraction phase) and the classification phase are separated, we incorporate the maximum margin classification constraints within the NMF formulation. This results to a non-convex constrained optimization problem with respect to the bases and the separating hyperplane, which we solve following a block coordinate descent iterative optimization procedure. At each iteration a set of convex (constrained quadratic or Support Vector Machine-type) sub-problems are solved with respect to subsets of the unknown variables. By doing so, we obtain a bases matrix that maximizes the margin of the classifier in the low dimensional space (in the linear case) or in the high dimensional feature space (in the non-linear case). The proposed algorithms are evaluated on several computer vision problems such as pedestrian detection, image retrieval, facial expression recognition and action recognition where they are shown to consistently outperform schemes that extract features using bases that are learned using semi-NMF and classify them using an SVM classifier.     

Cold-Start Link Prediction via Weighted Symmetric Nonnegative Matrix Factorization with Graph Regularization

Link prediction has attracted wide attention among interdisciplinary researchers as an important issue in complex network. It aims to predict the missing links in current networks and new links that will appear in future networks. Despite the presence of missing links in the target network of link prediction studies, the network it processes remains macroscopically as a large connected graph. However, the complexity of the real world makes the complex networks abstracted from real systems often contain many isolated nodes. This phenomenon leads to existing link prediction methods not to efficiently implement the prediction of missing edges on isolated nodes. Therefore, the cold-start link prediction is favored as one of the most valuable subproblems of traditional link prediction. However, due to the loss of many links in the observation network, the topological information available for completing the link prediction task is extremely scarce. This presents a severe challenge for the study of cold-start link prediction. Therefore, how to mine and fuse more available non-topological information from observed network becomes the key point to solve the problem of cold-start link prediction. In this paper, we propose a framework for solving the cold-start link prediction problem, a joint-weighted symmetric nonnegative matrix factorization model fusing graph regularization information, based on low-rank approximation algorithms in the field of machine learning. First, the nonlinear features in high-dimensional space of node attributes are captured by the designed graph regularization term. Second, using a weighted matrix, we associate the attribute similarity and first order structure information of nodes and constrain each other. Finally, a unified framework for implementing cold-start link prediction is constructed by using a symmetric nonnegative matrix factorization model to integrate the multiple information extracted together. Extensive experimental validation on five real networks with attributes shows that the proposed model has very good predictive performance when predicting missing edges of isolated nodes.     

一种增量式非负矩阵分解算法

针对现有的非负矩阵分解算法在应用于问题规模逐渐增大的情形时,运算规模随之增大、空间和时间效率不高的情况,提出一种增量式非负矩阵分解算法,使用分块矩阵的思想降低运算规模,利用上一步的分解结果参与运算从而避免重复运算。实验结果表明,该算法对节约计算资源是有效的。     

基于线性投影结构的非负矩阵分解

非负矩阵分解(Non-negative matrix factorization, NMF)是一个近年来非常流行的非负数据处理方法, 它常用于维数约减、特征提取和数据挖掘等. NMF定义中采用的数学模型基于非线性投影结构构造, 这决定了NMF降维需借助计算量很大的迭代操作来实现. 此外, 由此模型提取的NMF特征常不稀疏, 这与NMF的设计期望相差甚远. 为一并解决上述两个问题, 本文提出了一个新的模型---基于线性投影结构的NMF (Linear projection-based NMF, LPBNMF), 并构造了一个单调的LPBNMF算法. 从数学的角度看, LPBNMF可理解为实现NMF的一种特殊方式. LPBNMF降维通过线性变换来完成, 它所采用的数学模型的自身结构特点决定了由其得到的特征一定非常稀疏. 大量的比较实验表明, PBNMF的降维效率显著高于NMF, LPBNMF特征明显比NMF特征更稀疏和局部化. 最后, 基于AR人脸数据库的实验揭示, LPBNMF特征比NMF、LDA以及PCA等特征更适合于用最近邻分类法处理有遮挡人脸识别问题.     

使用非负矩阵分解方法识别脸部表情

在论文中两种图像识别的方法即非负矩阵分解方法(NMF)和主成分分析方法(PCA)被适用于认识三种基本脸部表情的数据库.三种表情是:高兴,惊恐和中性表达.采用NMF和PCA方法提取的脸部表情特征被分别独立地送到最大相关分类比较不同的结果.基于CMU脸数据库的实验方面证明,我们得到的结论是NMF有了比较好的表现.     

稀疏约束图正则非负矩阵分解

非负矩阵分解(NMF)是在矩阵非负约束下的一种局部特征提取算法。为了提高识别率,提出了稀疏约束图正则非负矩阵分解方法。该方法不仅考虑数据的几何信息,而且对系数矩阵进行稀疏约束,并将它们整合于单个目标函数中。构造了一个有效的乘积更新算法,并且在理论上证明了该算法的收敛性。在ORL和MIT-CBCL人脸数据库上的实验表明了该算法的有效性。     

Non-negative Matrix Factorization with Pairwise Constraints and Graph Laplacian

Neural Processing Letters - Non-negative matrix factorization (NMF) is a very effective method for high dimensional data analysis, which has been widely used in information retrieval, computer...     

面向数据表示的Cauchy非负矩阵分解

非负矩阵分解(Non-negative Matrix Factorization, NMF)是一类广泛应用于数据挖掘和机器学习领域的重要矩阵分解模型,可从一组高维非负向量中提取出低维、稀疏和有意义的特征。标准NMF利用Frobenius范数的平方度量重建误差,虽然在一些应用场景中表现出一定的有效性,但对非高斯噪声和离群点较为敏感。由于现实世界中的真实数据不可避免地包含各种噪声,因此有必要对非高斯噪声和离群点较为稳健的非负矩阵分解模型进行研究。为此,文中提出用Cauchy估计函数取代标准NMF中的平方形式的残差。在度量样本重建误差时,充分考虑样本特征不同维度之间的相关性,以样本的重建误差作为基本的重建误差度量单元。此外,基于半二次规划推导了高效的乘性更新规则,用于求解所提出的模型。在3个真实人脸图像库上的聚类实验中验证了所提模型和算法的有效性。实验结果表明,所提算法对人脸姿态、光照和表情变化均表现出一定的稳健性,且聚类结果对参数的依赖性较小。     

基于正交非负矩阵分解的K-means聚类算法研究

为提高K-means聚类算法在高维数据下的聚类效果,提出了一种基于正交非负矩阵分解的K-means聚类算法。该算法对原始数据进行非负矩阵分解,并分别通过改进的Gram-Schmidt正交化和Householder正交化加入了正交约束,以保证低维特征的非负性,增加数据原型矩阵的正交性,然后进行K-means聚类。实验结果表明,基于IGS-ONMF和H-ONMF的K-means聚类算法在处理高维数据上具有更好的聚类效果。     

稀疏约束下非负矩阵分解的增量学习算法

非负矩阵分解(NMF)是一种有效的子空间降维方法。为了改善非负矩阵分解运算规模随训练样本增多而不断增大的现象,同时提高分解后数据的稀疏性,提出了一种稀疏约束下非负矩阵分解的增量学习算法,该算法在稀疏约束的条件下利用前一次分解的结果参与迭代运算,在节省大量运算时间的同时提高了分解后数据的稀疏性。在ORL和CBCL人脸数据库上的实验表明了该算法降维的有效性。     

基于流形正则化的非光滑非负矩阵分解

经典的非光滑非负矩阵分解方法只能发现数据中的全局统计信息,对于非线性分布数据无能为力,而流形学习方法在探索高维非线性数据集真实几何结构方面具有明显优势。鉴于此,基于流形正则化思想,提出了一种新颖的基于流形正则化的非光滑非负矩阵分解方法。该方法不仅考虑了数据的几何结构,而且对编码系数矩阵和基矩阵同时进行稀疏约束,并将它们整合于单个目标函数中。构造了一个有效的乘积更新算法,并在理论上证明了算法的收敛性。标准数据集上的实验表明了MRnsNMF的有效性。     

基于NMF的文本聚类方法

提出一种基于非负矩阵分解的文本聚类方法。该方法利用NMF分解项-文本矩阵来降低特征空间维数,并得到文本向量在概念空间上的表示,在此基础上应用聚类算法。实验表明,基于NMF的文本聚类方法能够提高文本聚类精度。     

基于非负矩阵分解的用户话题兴趣度算法

Web媒体被公认为继报纸、广播、电视之后的“第四媒体”.而Web2.0的迅速普及,又使当今的Web媒体呈现了一种“自媒体”形式,即每个用户既是信息的接受者,也是信息发布者和信息转发者,在信息传递过程中,用户与用户互动,影响信息传播的进程.用户本身的特性对于传播有很大影响,信息传播依赖于用户个体的行为模式.因此,需要对用户和传播话题之间的关系进行建模,来度量用户对某个话题的感兴趣程度.论文提出了有效的算法来对用户进行感兴趣的话题推荐,该算法基于非负矩阵分解理论,分析用户发表过的内容,将用户感兴趣的话题推荐给该用户.该文针对研究小组下载的真实数据集-科学网数据集进行实验分析,实验结果表明算法能够有效地将用户感兴趣的话题推荐给用户.     

基于非负矩阵分解的网络距离预测

大规模网络中的节点存在高度动态性、不可达性等问题,使得直接测量节点之间时延有时根本无法进行。为此,提出一种非负矩阵坐标分解预测方法,通过获取普通节点与基准节点的RTT值构建一个特征矩阵(非负矩阵),并在欧式空间坐标计算的基础上,根据距离矩阵的非负性,确保其无损分解成基矢量和权矢量乘积,降低距离计算的维度,加快预测的收敛,其预测精确性符合预测误差趋势分布 模型。     

基于非负矩阵分解的双重约束文本聚类算法

提出一种基于非负矩阵分解(NMF)的双重约束文本聚类算法。在正交三重NMF模型中,加入文本空间的成对约束信息和词空间的类别约束信息,将不同的特征词项进行分类。利用迭代规则对原始的词-文档矩阵进行分解,获得文本聚类结果。与多种传统半监督文本聚类算法的对比结果表明,该算法具有较高的聚类精度,能提供更准确和有效的聚类结果。     

基于Fisher判别分析的增量式非负矩阵分解算法

增量式非负矩阵分解算法是基于子空间降维技术的无监督增量学习方法.文中将Fisher判别分析思想引入增量式非负矩阵分解中,提出基于Fisher判别分析的增量式非负矩阵分解算法.首先,利用初始样本训练的先验信息,通过索引矩阵对新增系数矩阵进行初始化赋值.然后,将增量式非负矩阵分解算法的目标函数改进为批量式的增量学习算法,在此基础上施加类间散度最大和类内散度最小的约束.最后,采用乘性迭代的方法计算分解后的因子矩阵.在ORL、Yale B和PIE等3个不同规模人脸数据库上的实验验证文中算法的有效性.     

线性投影非负矩阵分解方法及应用

针对线性投影结构非负矩阵分解迭代方法比较复杂的问题,提出了一种线性投影非负矩阵分解方法.从投影和线性变换角度出发,将Frobenius范数作为目标函数,利用泰勒展开式,严格导出基矩阵和线性变换矩阵的迭代算法,并证明了算法的收敛性.实验结果表明:该算法是收敛的;相对于非负矩阵分解等方法,该方法的基矩阵具有更好的正交性和稀疏性;人脸识别结果说明该方法具有较高的识别率.线性投影非负矩阵分解方法是有效的.     

非负矩阵分解在标签语义分析中的应用

随着Web2.0技术的发展,社会标注系统日渐流行起来,使得标签在用户收藏的检索和分类管理等方面得到了广泛的应用。然而,由于用户使用标签的自由、非控制性,导致标签在使用上存在冗余和语义模糊性。为了处理该问题,提出一种基于非负矩阵分解(Non-negative Matrix Factorization,NMF)的标签语义挖掘算法,通过对用户的标注数据进行非负矩阵分解,得到一个包含一系列语义相关标签基的标签子空间,使得同义及相关的标签聚合于同一标签基,且一词多义的标签归类到语义不同的标签基,从而实现标签语义的近义归类和多义辨析。通过大量实验充分展示了提出的算法在标签语义挖掘方面的有效性。