Non-negative matrix factorization for semi-supervised data clustering

Traditional clustering algorithms are inapplicable to many real-world problems where limited knowledge from domain experts is available. Incorporating the domain knowledge can guide a clustering algorithm, consequently improving the quality of clustering. In this paper, we propose SS-NMF: a semi-supervised non-negative matrix factorization framework for data clustering. In SS-NMF, users are able to provide supervision for clustering in terms of pairwise constraints on a few data objects specifying whether they “must” or “cannot” be clustered together. Through an iterative algorithm, we perform symmetric tri-factorization of the data similarity matrix to infer the clusters. Theoretically, we show the correctness and convergence of SS-NMF. Moveover, we show that SS-NMF provides a general framework for semi-supervised clustering. Existing approaches can be considered as special cases of it. Through extensive experiments conducted on publicly available datasets, we demonstrate the superior performance of SS-NMF for clustering.

Incremental subspace learning via non-negative matrix factorization

In this paper we introduce an incremental non-negative matrix factorization (INMF) scheme in order to overcome the difficulties that conventional NMF has in online processing of large data sets. The proposed scheme enables incrementally updating its factors by reflecting the influence of each observation on the factorization appropriately. This is achieved via a weighted cost function which also allows controlling the memorylessness of the factorization. Unlike conventional NMF, with its incremental nature and weighted cost function the INMF scheme successfully utilizes adaptability to dynamic data content changes with a lower computational complexity. Test results reported for two video applications, namely background modeling in video surveillance and clustering, demonstrate that INMF is capable of online representing data content while reducing dimension significantly.     

Structure preserving non-negative matrix factorization for dimensionality reduction

The problem of dimensionality reduction is to map data from high dimensional spaces to low dimensional spaces. In the process of dimensionality reduction, the data structure, which is helpful to discover the latent semantics and simultaneously respect the intrinsic geometric structure, should be preserved. In this paper, to discover a low-dimensional embedding space with the nature of structure preservation and basis compactness, we propose a novel dimensionality reduction algorithm, called Structure Preserving Non-negative Matrix Factorization (SPNMF). In SPNMF, three kinds of constraints, namely local affinity, distant repulsion, and embedding basis redundancy elimination, are incorporated into the NMF framework. SPNMF is formulated as an optimization problem and solved by an effective iterative multiplicative update algorithm. The convergence of the proposed update solutions is proved. Extensive experiments on both synthetic data and six real world data sets demonstrate the encouraging performance of the proposed algorithm in comparison to the state-of-the-art algorithms, especially some related works based on NMF. Moreover, the convergence of the proposed updating rules is experimentally validated.     

基于聚类信息和对称非负矩阵分解的链路预测模型研究

现有的大部分基于非负矩阵分解的链路预测方法仅考虑网络拓扑结构信息而忽略节点与链接聚类信息.针对此问题,提出一个融合聚类信息的对称非负矩阵分解的链路预测模型.首先,该模型利用对称非负矩阵分解去捕获网络节点相似度信息;其次,使用基于Jaccard的节点和链接聚类系数去保持网络局部结构信息;最后,启用拉格朗日乘法规则去学习模型参数.在六个真实无向无权和四个加权网络上的实验结果表明,该方法在两种不同类型网络预测精确度分别提升了1.6％和8.9％.     

Constrained non-negative matrix factorization for score-informed piano music restoration

In this work, we propose a constrained non-negative matrix factorization method for the audio restoration of piano music using information from the score. In the first stage (instrument training), spectral patterns for the target source (piano) are learned from a dataset of isolated piano notes. The model for the piano is constrained to be harmonic because, in this way, each pattern can define a single pitch. In the second stage (noise training), spectral patterns for the undesired source (noise) are learned from the most common types of vinyl noises. To obtain a representative model for the vinyl noise, a cross-correlation-based constraint that minimizes the cross-talk between different noise components is used. In the final stage (separation), we use the trained instrument and noise models in an NMF framework to extract the clean audio signal from undesired non-stationary noise. To improve the separation results, we propose a novel score-based constraint to avoid activations of notes or combinations that are not present in the original score. The proposed approach has been evaluated and compared with commercial audio restoration softwares, obtaining competitive results.     

一种基于非负矩阵分解的鲁棒零水印算法

为了解决现有数字水印中鲁棒性和不可感知性之间的矛盾,设计了一种基于非负矩阵分解和离散小波变换的图像零水印算法。原始图像进行不重叠分块,分别对每子块图像进行3级小波分解得到低频近似分量;对细节分量作非负矩阵分解得到可近似表示子块图像的基矩阵和系数矩阵;将系数矩阵量化得到特征向量,通过特征向量和水印的运算得到原始图像的版权信息。实验结果表明该方案对常见信号处理具有很强的鲁棒性,同时密钥的使用保障了算法的安全性。     

基于图正则化的半监督非负矩阵分解

提出了一种基于图正则化的半监督非负矩阵分解算法（GSNMF）,克服了非负矩阵分解（NMF）、约束非负矩阵分解（CNMF）和图正则化非负矩阵分解（GNMF）方法忽略样本数据的局部几何结构或标签信息不足的缺陷,且NMF、CNMF和GNMF均为GSNMF的特例。也从理论上证明了GSNMF算法的收敛性。该算法对样本数据进行低维非负分解时,在图框架下既保持数据的几何结构,又利用已知样本的标签信息,在进行半监督学习时,同类样本能更好地聚集而类间距离尽可能大。在人脸数据库ORL、FERET和手写体数据库USPS上的仿真结果表明,相对于NMF及其一些改进算法,GSNMF均具有更高的聚类精度。     

改进的使用非负矩阵分解的隐私保护分类方法

针对现有的基于非负矩阵分解的隐私保护数据挖掘方法中,不区分样本的重要性的不同,对所有样本都进行同样强度扰动的问题进行改进。提出了一种结合样本选择的基于非负矩阵分解的隐私保护分类方法。该方法使用样本选择将原始样本区分为重要的和不重要的两类。在对数据进行扰动时,使用现有的基于非负矩阵分解的方法对所有样本进行扰动。随后利用非负矩阵分解的聚类性质,对不重要的样本进行附加扰动。实验表明,该方法在保持数据可用性的同时,可以对隐私信息提供更好的保护。     

鲁棒自适应对称非负矩阵分解聚类算法

对称非负矩阵分解SNMF作为一种基于图的聚类算法,能够更自然地捕获图表示中嵌入的聚类结构,并且在线性和非线性流形上获得更好的聚类结果,但对变量的初始化比较敏感。另外,标准的SNMF算法利用误差平方和来衡量分解的质量,对噪声和异常值敏感。为了解决这些问题,在集成学习视角下,提出一种鲁棒自适应对称非负矩阵分解聚类算法RS³NMF(robust self-adaptived symmetric nonnegative matrix factorization)。基于L_2,1范数的RS³NMF模型缓解了噪声和异常值的影响,保持了特征旋转不变性,提高了模型的鲁棒性。同时,在不借助任何附加信息的前提下,利用SNMF对初始化特征的敏感性来逐步增强聚类性能。采用交替迭代方法优化,并保证目标函数值的收敛性。大量实验结果表明,所提RS³NMF算法优于其他先进的算法,具有较强的鲁棒性。     

非负矩阵分解降维的入侵检测方法

直接对高维网络连接数据进行处理会出现维数灾难问题,因此,需要对其进行维数约简。非负矩阵分解不仅能对高维数据进行降维,而且使矩阵在分解后的所有分量均为非负值,符合网络连接数据的语义特征。将其应用到入侵检测中,把高维数据投影到低维可视空间上,用散点来表示网络连接记录,通过观察散点所处位置来判断其所属类别,实现入侵检测的可视化。实验验证了这种入侵检测方法的有效性。     

使用提升小波和非负矩阵分解的稳健音频指纹

针对音频检索应用,提出一种使用提升小波变换和非负矩阵分解的稳健音频指纹方案。原始音频按固定长度分帧,对每帧进行小波提升变换得到低频近似分量和高频细节分量;对细节分量作非负矩阵分解得到可近似表示音频子帧的基矩阵和系数矩阵;将系数矩阵各列元素累加,对各列累加和进行量化得到表示分帧音频指纹序列的1 bit信息。实验结果表明该方案对常见音频处理操作具有良好的稳健性,对音频的局部变化不敏感,能较好地区分不同音频,可用于面向对象的音频检索。     

非负矩阵分解特征提取技术的研究进展

非负矩阵分解（non-negative matrix factorization,NMF）算法是在矩阵中所有元素均为非负的条件下对其实现的非负分解,基于非负矩阵分解的图像特征提取技术通过将图像表示为一系列非负基图像非减的叠加组合来提取图像的特征,这种特征提取方法不但具有良好的局部表征特性、有一定的稀疏性,而且对遮挡、光照不均及图像质量较差等情形具有卓越的效果。自正式提出以来,该方法得到了许多改进,但目前关于这些改进的综述都只是罗列了这些方法,并没有系统深入地分析,因而在大量阅读文献的基础上分析其内部联系,分类总结了非负矩阵分解的研究进展和各种改进方法的实质。首先介绍非负矩阵分解的基本思想,以手指静脉图像为例说明其应用于图像特征提取的方式,然后重点深入讨论了非负矩阵分解方法的改进算法,提出了非负矩阵分解应用中有待进一步研究的新问题。     

基于改进聚类和矩阵分解的协同过滤推荐算法

大数据背景下,对于传统的协同过滤推荐算法在电子商务系统中的数据稀疏性、准确性不高、实时性不足等问题,提出一种改进的协同过滤推荐算法。该算法首先通过矩阵分解实现对原始数据的降维及其数据填充,并引入了时间衰减函数预处理用户评分,用项目的属性向量来表征项目,用用户的兴趣向量来表征用户,通过k-means聚类算法对用户和项目分别进行聚类;然后使用改进相似性度量方法在簇中查找用户的最近邻和项目推荐候选集,产生推荐。实验结果表明,该算法不仅可以有效解决数据稀疏和新项目带来的冷启动问题,而且还可以在多维度下反映用户的兴趣变化,推荐算法的准确度明显提升。     

采用核鲁棒非负矩阵分解的执行器动态过程故障检测

作为流程工业中控制系统的重要组成部分,执行器的正常工作对确保生产过程的安全性和可靠性具有重要意义.针对处于动态调节中的执行器,提出一种基于核鲁棒非负矩阵分解(KRNMF)的故障检测方法.首先,利用正常状态下的历史数据构建流量特性曲线,获取完备的动态工况训练集.其次,为克服运行数据动态特征、非线性特征,在核非负矩阵分解的基础上引入稀疏误差矩阵,隔离异常数据.同时,构造新的SPE统计量并使用核密度估计确定其控制限.通过DAMADICS仿真、水箱平台以及火电厂减温水调节阀实际数据的对比实验,验证了该方法的有效性.     

组合2DFLDA监督的非负矩阵分解和独立分量分析的特征提取方法*

通过对投影非负矩阵分解(NMF)和二维Fisher线性判别的分析,针对NMF的特征提取存在无监督学习以及特征维数高的问题,提出了组合2DFLDA监督的非负矩阵分解和独立分量分析(SPGNMFICA)的特征提取方法。首先对样本进行投影梯度的非负矩阵分解,将得到的NMF子图像进行二维Fisher线性判别,主要反映类间差异信息构建子空间;对子空间的向量进行独立分量分析(ICA),得到独立分量特征空间;其次将样本在独立分量特征空间上进行投影;最后使用径向基网络对投影系数进行识别。通用人脸库ORL和YALE的识别实验证明,该算法是一种有效的特征提取和识别方法。     

应用非负矩阵分解和RBPNN模型的掌纹识别方法

提出一种基于非负矩阵分解（NMF）和径向基概率神经网络的掌纹识别方法。NFM是一种有效的图像局部特征提取算法,用于图像分类时能得到较高的识别率。考虑PolyU掌纹图像数据库,应用NMF、局部NMF（LNMF）、稀疏NMF（SNMF）和具有稀疏度约束的NMF（NMFSC）算法分别对掌纹图像进行特征提取,并对提取到的局部特征基图像进行分析对比;在特征提取的基础上,应用径向基概率神经网络（RBPNN）模型对掌纹特征进行分类,分类结果表明了RBPNN模型对掌纹特征具有较好的识别能力。实验对比结果证明了基于RBPNN的NMF掌纹识别方法在掌纹识别中的有效性,具有一定的理论研究意义和实用性。     

动态学习的非负矩阵分解算法

对现有增量型非负矩阵分解算法存在的一些缺陷进行改进,给出了一个基于误差判断的增量算法有效性准则.在此基础上,利用增加样本前的非负矩阵分解结果进行增量分解初始化,提出了一种新的动态非负矩阵分解算法.在多个数据集上的实验结果表明该算法可以实现对基矩阵和编码矩阵的即时更新,且具有较低的计算复杂度,在处理动态数据集时,还可有效识别噪声点,是一个有效的动态分解算法.     

动态WNMF及在图像融合中的应用研究

标准非负矩阵分解图像融合算法全局特征提取能力有限,造成融合图像的对比度不高,视觉效果不好,针对这一问题,对加权非负矩阵分解算法进行了深入研究,提出了动态加权非负矩阵分解思想并将之应用于红外与可见光图像融合.动态加权非负矩阵分解算法首先通过加权系数的设计指定重要特征,并在迭代过程中根据各区域相对重要程度的变化对加权系数进行动态调整,与标准非负矩阵分解算法相比较,动态加权非负矩阵分解算法全局特征提取能力得到了显著提升.对比实验表明,相对于目前常见标准非负矩阵分解图像融合算法,采用区域突变度作为目标函数的动态加权非负矩阵分解算法平均梯度提高了36%以上,标准差提高了17%以上.     

新相似性度量在文档模糊聚类中的应用研究

相似文档检索在文档管理中是很重要的,提出一种在大文档集中基于模糊聚类的快速高效的聚类方法,传统方法大都通过词与词之间的比较来检索文档,该方法让文档通过两层结构得出相似度。系统用预定义模糊簇来描述相似文档的特征向量,用这些向量估计相似度,由此得出文档之间的距离,系统应用了新的相似性度量方法,并通过实验证实了其可行性和高效性。     

稀疏限制的增量式鲁棒非负矩阵分解及其应用

针对鲁棒非负矩阵分解（RNMF）的运算规模随训练样本数量逐渐增多而不断增大的问题，提出一种稀疏限制的增量式鲁棒非负矩阵分解算法。首先，对初始数据进行鲁棒非负矩阵分解；然后，将其分解结果参与到后续迭代运算；最后，在对系数矩阵增加稀疏限制的情况下与增量式学习相结合，使目标函数值在迭代求解时下降地更快。该算法在节省运算时间的同时提高了分解后数据的稀疏度。在数值实验中，将所提算法与鲁棒非负矩阵分解算法、稀疏限制的鲁棒非负矩阵分解（RNMFSC）算法进行了比较。在ORL和YALE人脸数据库上的实验结果表明，所提算法在运算时间和分解后数据的稀疏度等方面均优于其他两个算法，并且还具有较好的聚类效果，尤其在YALE人脸数据库上当聚类类别数为3时该算法的聚类准确率达到了91.67%。