局部敏感非负矩阵分解

非负矩阵分解是一种新的基于部分学习的矩阵分解方法,反映了人类思维中局部构成整体的概念。算法只将非负矩阵近似地分解成两个非负矩阵的积,忽略了数据几何结构和判别信息。提出了一个局部敏感非负矩阵分解降维算法来克服这一缺点。该算法既保持了数据非负性,又保持了数据的几何结构和判别信息。构造了一个有效的乘积更新算法并且在理论上证明了算法的收敛性。ORL和Yale人脸数据库实验表明该算法性能超过许多已存在的方法。     

Subclass discriminant analysis

Over the years, many discriminant analysis (DA) algorithms have been proposed for the study of high-dimensional data in a large variety of problems. Each of these algorithms is tuned to a specific type of data distribution (that which best models the problem at hand). Unfortunately, in most problems the form of each class pdf is a priori unknown, and the selection of the DA algorithm that best fits our data is done over trial-and-error. Ideally, one would like to have a single formulation which can be used for most distribution types. This can be achieved by approximating the underlying distribution of each class with a mixture of Gaussians. In this approach, the major problem to be addressed is that of determining the optimal number of Gaussians per class, i.e., the number of subclasses. In this paper, two criteria able to find the most convenient division of each class into a set of subclasses are derived. Extensive experimental results are shown using five databases. Comparisons are given against linear discriminant analysis (LDA), direct LDA (DLDA), heteroscedastic LDA (HLDA), nonparametric DA (NDA), and kernel-based LDA (K-LDA). We show that our method is always the best or comparable to the best.     

基于多核学习的投影非负矩阵分解算法

非负矩阵分解(NMF)把给定的数据矩阵分解成低维的非负基矩阵和对应的系数矩阵,两者之间存在必然联系。为此,研究者将基矩阵转换为系数矩阵的投影,进一步提高分解效率。但是该方法无法处理非线性数据,核函数的引入部分解决了此问题,却同时导致核函数参数选择的问题。基于多核学习理论,提出了一种多核学习的投影非负矩阵分解(MKPNMF)算法,该算法有效地避免了核函数参数选择的问题,同时提高了学习性能。在实际人脸数据上的实验结果表明,MKPNMF较已有的NMF类方法具备明显的性能优势。     

基于流形正则化的非光滑非负矩阵分解

经典的非光滑非负矩阵分解方法只能发现数据中的全局统计信息,对于非线性分布数据无能为力,而流形学习方法在探索高维非线性数据集真实几何结构方面具有明显优势。鉴于此,基于流形正则化思想,提出了一种新颖的基于流形正则化的非光滑非负矩阵分解方法。该方法不仅考虑了数据的几何结构,而且对编码系数矩阵和基矩阵同时进行稀疏约束,并将它们整合于单个目标函数中。构造了一个有效的乘积更新算法,并在理论上证明了算法的收敛性。标准数据集上的实验表明了MRnsNMF的有效性。     

一种潜在信息约束的非负矩阵分解方法

传统的非负矩阵分解方法没有充分利用数据间的内在相似性,从而影响了算法的性能。为此,本文提出一种潜在信息约束的非负矩阵分解方法。该方法首先利用迭代最近邻方法挖掘原始数据的潜在信息,然后利用潜在信息构造数据之间的相似图,最后将相似图作为约束项求得非负矩阵的最优分解。相似图的约束使得非负矩阵分解在降维过程中保持了原始数据之间的相似性关系,进而提高了非负矩阵分解的判别能力。图像聚类实验结果表明了该方法的有效性。     

非负矩阵分解的分层最小二乘快速算法研究

非负矩阵分解是对于代价函数近似非线性优化问题,考虑均方误差值作为代价函数,通过对分层交替非负最小二乘算法的迭代运算量进行分析,对运算耗费大的矩阵运算提出利用限制更新的方法对分层交替非负最小二乘算法进行修改,达到加速收敛的目的。通过仿真,与原倍乘更新算法、投射梯度算法比较,验证算法的有效性和稳定性和高效性。     

基于稀疏约束的半监督非负矩阵分解算法

矩阵分解因可以实现大规模数据处理而具有十分广泛的应用。非负矩阵分解(Nonnegative Matrix Factorization,NMF)是一种在约束矩阵元素为非负的条件下进行的分解方法。利用少量已知样本的标注信息和大量未标注样本,并施加稀疏性约束,构造了一种新的算法——基于稀疏约束的半监督非负矩阵分解算法。推导了其有效的更新算法,并证明了该算法的收敛性。在常见的人脸数据库上进行了验证,实验结果表明CNMFS算法相对于NMF和CNMF等算法具有较好的稀疏性和聚类精度。     

Efficient Nonnegative Matrix Factorization via projected Newton method

Nonnegative Matrix Factorization (NMF) is a popular decomposition technique in pattern analysis, document clustering, image processing and related fields. In this paper, we propose a fast NMF algorithm via Projected Newton Method (PNM). First, we propose PNM to efficiently solve a nonnegative least squares problem, which achieves a quadratic convergence rate under appropriate assumptions. Second, in the framework of an alternating optimization method, we adopt PNM as an essential subroutine to efficiently solve the NMF problem. Moreover, by exploiting the low rank assumption of NMF, we make PNM very suitable for solving NMF efficiently. Empirical studies on both synthetic and real-world (text and image) data demonstrate that PNM is quite efficient to solve NMF compared with several state of the art algorithms.     

基于卷积非负矩阵分解的语音转换方法

为了在语音转换过程中充分考虑语音的帧间相关性,提出了一种基于卷积非负矩阵分解的语音转换方法.卷积非负矩阵分解得到的时频基可较好地保存语音信号中的个人特征信息及帧间相关性.利用这一特性,在训练阶段,通过卷积非负矩阵分解从训练数据中提取源说话人和目标说话人相匹配的时频基.在转换阶段,通过时频基替换实现对源说话人语音的转换.相对于传统方法,本方法能够更好地保存和转换语音帧间相关性.实验仿真及主、客观评价结果表明,与基于高斯混合模型、状态空间模型的语音转换方法相比,该方法具有更好的转换语音质量和转换相似度.     

基于局部相似性学习的鲁棒非负矩阵分解

现有的非负矩阵分解方法往往聚焦于数据全局结构信息的学习，在很多情况下忽略了对数据局部信息的学习，而局部学习的方法也通常局限于流行学习，存在一些缺陷。为解决这一问题，提出了一种基于数据局部相似性学习的鲁棒非负矩阵分解算法（Robust nonnegative matrix factorization with local similarity learning， RLS-NMF）。采用一种新的数据局部相似性学习方法，它与流形方法存在显著区别，能够同时学习数据的全局结构信息，从而能挖掘数据类内相似和类间相离的性质。同时，考虑到现实应用中的数据存在异常值和噪声，该算法还使用l2,1范数拟合特征残差，过滤冗余的噪声信息，保证了算法的鲁棒性。多个基准数据集上的实验结果显示了该算法的最优性能，进一步证明了该算法的有效性。     

融合先验信息的非负矩阵分解社区发现算法*

针对复杂网络社区发现问题,为了获得更准确、可解释性的社区划分结果,提出融合先验信息的半监督非负矩阵分解算法,给出优化目标的求解方法.文中算法利用先验信息直接约束社区指示矩阵,构造优化目标函数,获得更有意义的社区划分结果.真实数据集上的实验表明该算法的有效性,减小先验信息的融入对利用非负矩阵分解进行节点重要性等属性分析工作带来的不利影响,并且适用于加权和非加权等不同的网络.     

On the Convergence of Multiplicative Update Algorithms for Nonnegative Matrix Factorization

Nonnegative matrix factorization (NMF) is useful to find basis information of nonnegative data. Currently, multiplicative updates are a simple and popular way to find the factorization. However, for the common NMF approach of minimizing the Euclidean distance between approximate and true values, no proof has shown that multiplicative updates converge to a stationary point of the NMF optimization problem. Stationarity is important as it is a necessary condition of a local minimum. This paper discusses the difficulty of proving the convergence. We propose slight modifications of existing updates and prove their convergence. Techniques invented in this paper may be applied to prove the convergence for other bound-constrained optimization problems.     

基于非负矩阵分解的大规模异构数据联合聚类

异构信息网络中包含多类实体和关系.随着数据规模增大时,不同类实体规模增长不平衡,异构关系数据也变得异常稀疏,导致聚类算法的时间复杂度高、准确率低.针对上述问题,提出了一种基于关联矩阵分解的2阶段联合聚类算法FNMTF-CM.第1阶段,抽取规模较小的一类实体中的关联关系构建关联矩阵,通过对称非负矩阵分解得到划分指示矩阵.与原始关系矩阵相比,关联矩阵的稠密度更高,规模更小.第2阶段,将划分指示矩阵作为关系矩阵三分解的输入,进而快速求解另一类实体的划分指示矩阵.在标准测试数据集和异构关系数据集上的实验表明,算法准确率和性能整体优于传统的基于非负矩阵分解的联合聚类算法.     

Multichannel Nonnegative Matrix Factorization in Convolutive Mixtures for Audio Source Separation

We consider inference in a general data-driven object-based model of multichannel audio data, assumed generated as a possibly underdetermined convolutive mixture of source signals. We work in the short-time Fourier transform (STFT) domain, where convolution is routinely approximated as linear instantaneous mixing in each frequency band. Each source STFT is given a model inspired from nonnegative matrix factorization (NMF) with the Itakura–Saito divergence, which underlies a statistical model of superimposed Gaussian components. We address estimation of the mixing and source parameters using two methods. The first one consists of maximizing the exact joint likelihood of the multichannel data using an expectation-maximization (EM) algorithm. The second method consists of maximizing the sum of individual likelihoods of all channels using a multiplicative update algorithm inspired from NMF methodology. Our decomposition algorithms are applied to stereo audio source separation in various settings, covering blind and supervised separation, music and speech sources, synthetic instantaneous and convolutive mixtures, as well as professionally produced music recordings. Our EM method produces competitive results with respect to state-of-the-art as illustrated on two tasks from the international Signal Separation Evaluation Campaign (SiSEC 2008).      

基于非负矩阵分解的GPR高频杂波抑制

针对探地雷达（ground penetrating radar,GPR）采集数据时会产生高频杂波影响地下目标自动识别的问题。提出了一种基于变分贝叶斯的GPR图像非负矩阵分解方法（probability nonnegative matrix factorization,PNMF）。该方法使用变分贝叶斯模型对非负矩阵分解的基矩阵和系数矩阵进行近似推理,得到杂波成分的低秩矩阵表示,进而将杂波从图像中分离出来。实验过程采用模拟和实测数据进行对比分析,通过信噪比和视觉质量结果验证了PNMF对杂波有较好的抑制作用,具有较好的鲁棒性。     

应用非负矩阵分解模型的社区发现方法综述

非负矩阵分解(nonnegative matrix factorization,NMF)在提取高维数据中隐含模式和结构方面具有良好性能,已成为数据挖掘领域的热点研究之一。NMF作为无监督学习的有效工具,在模式识别、文本处理、多媒体数据分析以及生物信息学等研究领域得到了广泛应用。目前,已有工作将NMF模型应用于网络数据挖掘,发现网络中隐含的社区结构。对基于NMF的社区发现方法进行了总结,包括无监督的社区发现方法和半监督的社区发现方法,通过在实际网络和人工网络进行实验,比较分析了不同算法的性能,进一步研究了当前基于NMF发现社区结构所面临的挑战,并对下一步研究方向进行了展望。     

基于粒子群优化的非平滑非负矩阵分解算法

传统的非平滑约束的非负矩阵分解算法(nsNMF)在处理高光谱数据时,存在对初始值敏感、容易陷入局部最优值等缺陷。为此,提出一种基于粒子群优化(PSO)的nsNMF算法。采用传统nsNMF算法迭代的结果作为初始值,以避免PSO的盲目搜索。通过PSO搜索端元光谱矩阵,利用nsNMF算法更新端元光谱矩阵和丰度矩阵,以缩小搜索空间,降低计算复杂度,避免陷入局部最优。在合成数据集和真实数据集上的实验结果表明,与传统nsNMF算法相比,该算法能获得更好的全局最优解,端元光谱和丰度值更接近真实值。     

基于联合非负矩阵分解的话题变迁检测方法

在大规模时序文档集中,异同话题缺乏从时序文档集中识别跟踪分析话题随时间变迁的能力。为此,提出一种面向时序文档语料库的话题变迁检测方法。该方法从时序文档语料库中发现相似话题和异同话题。利用改进的联合非负矩阵分解算法,从多个数据集中提取话题集合。为避免引入噪声话题,计算所有话题的话题熵,以获取优质话题,并通过运用词云和趋势图来分析话题变迁趋势。在20Newsgroups和LTN2011数据集上的实验结果表明,该方法可以有效地从时序文档集中发现异同话题,且提取的话题效果好、准确率高。     

基于非负矩阵分解的语音深层低维特征提取方法

作为一种基于深层神经网络提取的低维特征,瓶颈特征在连续语音识别中取得了很大的成功。然而训练瓶颈结构的深层神经网络时,瓶颈层的存在会降低网络输出层的帧准确率,进而反过来影响该特征的性能。针对这一问题,本文基于非负矩阵分解算法,提出一种利用不包含瓶颈层的深层神经网络提取低维特征的方法。该方法利用半非负矩阵分解和凸非负矩阵分解算法对隐含层权值矩阵分解得到基矩阵,将其作为新的特征层权值矩阵,然后在该层不设置偏移向量的情况下,通过数据前向传播提取新型特征。实验表明,该特征具有较为稳定的规律,且适用于不同的识别任务和网络结构。当使用训练数据充足的语料进行实验时,该特征表现出同瓶颈特征几乎相同的识别性能;而在低资源环境下,基于该特征识别系统的识别率明显优于深层神经网络混合识别系统和瓶颈特征识别系统。     

Parallel Nonnegative Matrix Factorization Algorithm on the Distributed Memory Platform

Nonnegative matrix factorization provides a new sight into the observed signals and has been extensively applied in face recognition, text mining and spectral data analysis. Despite the success, it is inefficient for the large-scale data set, due to the notoriously slow convergence of the multiplicative updating method. In this paper, we try to solve the problem through the parallel computing technique. Considering the limitation of the shared memory platform, the parallel algorithms are implemented on the distributed memory platform with the message passing interface library. Moreover, we adopt the two-layer cascade factorization strategy to eliminate the network consumption. The parallel implementations are evaluated on a 16-node Beowulf cluster with two data sets in different scale. The experiments demonstrate that the proposed method is effective in both precision and efficiency.