稀疏限制的增量式鲁棒非负矩阵分解及其应用

针对鲁棒非负矩阵分解（RNMF）的运算规模随训练样本数量逐渐增多而不断增大的问题，提出一种稀疏限制的增量式鲁棒非负矩阵分解算法。首先，对初始数据进行鲁棒非负矩阵分解；然后，将其分解结果参与到后续迭代运算；最后，在对系数矩阵增加稀疏限制的情况下与增量式学习相结合，使目标函数值在迭代求解时下降地更快。该算法在节省运算时间的同时提高了分解后数据的稀疏度。在数值实验中，将所提算法与鲁棒非负矩阵分解算法、稀疏限制的鲁棒非负矩阵分解（RNMFSC）算法进行了比较。在ORL和YALE人脸数据库上的实验结果表明，所提算法在运算时间和分解后数据的稀疏度等方面均优于其他两个算法，并且还具有较好的聚类效果，尤其在YALE人脸数据库上当聚类类别数为3时该算法的聚类准确率达到了91.67%。     

动态学习的非负矩阵分解算法

对现有增量型非负矩阵分解算法存在的一些缺陷进行改进,给出了一个基于误差判断的增量算法有效性准则.在此基础上,利用增加样本前的非负矩阵分解结果进行增量分解初始化,提出了一种新的动态非负矩阵分解算法.在多个数据集上的实验结果表明该算法可以实现对基矩阵和编码矩阵的即时更新,且具有较低的计算复杂度,在处理动态数据集时,还可有效识别噪声点,是一个有效的动态分解算法.     

基于Fisher判别准则的低秩矩阵恢复

标准的低秩矩阵恢复算法是把原始数据集分解成一组表征基和与此相应的稀疏误差,并以此分解对原始数据建模。受Fisher准则启发,文中提出基于带有Fisher判别准则的低秩矩阵恢复算法,在有监督学习模式下对低秩矩阵进行恢复,即当所有的标签信息都知道的情况下考虑类内散度和类间散度。文中所构造的模型可利用增广拉格朗日乘子法求解,并通过对标准的低秩矩阵模型增加判别性提高性能,利用文中算法所学习到的表征基使类内结构相关,而类间相互独立。在人脸识别问题上的仿真实验表明该算法的有效性。     

子空间半监督Fisher判别分析

Fisher判别分析寻找一个使样本数据类间散度与样本数据类内散度比值最大的子空间, 是一种很流行的监督式特征降维方法. 标注样本数据所属的类别通常需要大量的人工, 消耗大量的时间, 付出昂贵的成本. 为了解决同时利用有类别信息的样本数据和没有类别信息的样本数据用于寻找降维子空间的问题, 我们提出了一种子空间半监督Fisher判别分析方法. 子空间半监督Fisher判别分析寻找这样一个子空间, 这个子空间即保留了从有类别信息的样本数据中学习的类别判别结构, 也保留了从有类别信息的样本数据和没有类别信息的样本数据中学习的样本结构信息. 我们还推导了基于核的子空间半监督Fisher判别分析方法. 通过人脸识别实验验证了本文算法的有效性.     

基于图正则化和稀疏约束的增量型非负矩阵分解

非负矩阵分解(Nonnegative Matrix Factorization,NMF)不仅可以很好地描述数据而且分解后的矩阵具有直观的物理意义。为了提高算法的有效性和识别率,提出了一种更为合理的算法——基于图正则化和稀疏约束的增量型非负矩阵分解(Graph Regularized and Incremental Nonnegative Matrix Factorization with Sparseness Constraints,GINMFSC)。该算法既保持了数据的几何结构,又充分利用上一步的分解结果进行增量学习,而且对系数矩阵施加了稀疏性约束,最后将它们整合于单个目标函数中,构造了一个有效的更新算法。在多个数据库上的仿真结果表明,相对于NMF,GNMF,INMF,IGNMF等算法,GINMFSC算法在降低运算时间的同时,还具有更好的聚类精度和稀疏性。     

两阶段联合聚类协同过滤算法

提出一种两阶段评分预测方法.该方法基于一种新的联合聚类算法(BlockClust)和加权非负矩阵分解算法.首先对原始矩阵中的评分模式进行用户和物品两个维度的联合聚类,然后在这些类别的内部通过加权非负矩阵分解方法进行未知评分预测.这种方法的优势在于,首阶段聚类后的矩阵规模远远小于原始评分矩阵,并且同一类别内部的评分具有相似的模式,这样,在大幅度降低预测阶段计算量的同时又提高了非负矩阵分解算法在面对稀疏矩阵预测上的准确度.进一步给出了推荐系统的3种更新模式下如何高效更新预测模型的增量学习方法.在MovieLens数据集上比较了新算法及其他7种相关方法的性能,从而验证了该方法的有效性及其在大型实时推荐系统中的应用价值.     

稀疏约束图正则非负矩阵分解的增量学习算法

针对非负矩阵分解后数据的稀疏性降低、训练样本增多导致运算规模不断增大的现象,提出了一种稀疏约束图正则非负矩阵分解的增量学习算法。该方法不仅考虑数据的几何信息,而且对系数矩阵进行稀疏约束,并将它们与增量学习相结合。算法在稀疏约束和图正则化的条件下利用上一步的分解结果参与迭代运算,在节省大量运算时间的同时提高了分解后数据的稀疏性。在ORL和PIE人脸数据库上的实验结果表明了该算法的有效性。     

两阶段联合聚类协同过滤算法

提出一种两阶段评分预测方法.该方法基于一种新的联合聚类算法(BlockClust)和加权非负矩阵分解算 法.首先对原始矩阵中的评分模式进行用户和物品两个维度的联合聚类,然后在这些类别的内部通过加权非负矩阵 分解方法进行未知评分预测.这种方法的优势在于,首阶段聚类后的矩阵规模远远小于原始评分矩阵,并且同一类别 内部的评分具有相似的模式,这样,在大幅度降低预测阶段计算量的同时又提高了非负矩阵分解算法在面对稀疏矩 阵预测上的准确度.进一步给出了推荐系统的3 种更新模式下如何高效更新预测模型的增量学习方法.在MovieLens数据集上比较了新算法及其他7种相关方法的性能,从而验证了该方法的有效性及其在大型实时推荐系 统中的应用价值.     

基于非负矩阵分解的特征向量抽取方法特点研究

非负矩阵分解算法可以作为一种新型的特征抽取方法。将非负矩阵分解算法和现有的其它三种现有的特征抽取算法进行详细比较：奇异值分解方法和非负矩阵分解方法本质上是不同的两种特征抽取方法,非负特性使得由非负矩阵分解比奇异值分解方法更接近人们的认知习惯。基于聚类的特征提取方法是一种简化了的非负矩阵分解算法;基于概率的特征提取方法等价于非负矩阵分解在特定约束条件下的变体。通过比较充分体现了非负矩阵分解算法的非负性和局部性特点。     

基于核非负分解的人脸图像特征提取与分类

针对非负矩阵分解算法在样本维数过高情况下收敛效果差的问题,提出了一种核矩阵非负分解算法。通过核映射方法获得表征样本间相似度的核矩阵,以减小样本类内散度,增大样本类间散度,从而改善样本内部噪声干扰,提高样本间的线性可分度;再将核矩阵在非负条件约束下分解为基向量及其加权系数矩阵,用系数矩阵作为原样本特征。经人脸图像特征提取与分类实验验证,新算法可更好地提取高维人脸图像的低维特征,提高分类正确率。     

应用稀疏约束的非负正则矩阵学习算法

针对非负矩阵分解后的数据稀疏性较低,训练样本偏多导致运算规模持续增大的普遍现象,本文提出基于稀疏约束的非负正则矩阵学习算法,本文算法是在样本几何结构信息条件上执行非负矩阵分解操作,并且与学习算法结合,不仅能够有效保持样本局部结构,还能够充分利用前期分解结果参加迭代运算,从而达到降低运算时间目的. 本文实验表明与其他算法比较来说,本文方法在ORL人脸数据库上最多节省时间14.84 s,在COIL20数据集上为136.1 s;而在分解后数据的稀疏性上,本文方法在ORL人脸数据库上的稀疏度提高0.0691,在COIL20数据集上为0.0587. 实验结果表明了算法有效性.     

基于图正则化和稀疏约束的半监督非负矩阵分解

非负矩阵分解是在矩阵非负约束下的分解算法。为了提高识别率,提出了一种基于稀疏约束和图正则化的半监督非负矩阵分解方法。该方法对样本数据进行低维非负分解时,既保持数据的几何结构,又利用已知样本的标签信息进行半监督学习,而且对基矩阵施加稀疏性约束,最后将它们整合于单个目标函数中。构造了一个有效的更新算法,并且在理论上证明了该算法的收敛性。在多个人脸数据库上的仿真结果表明,相对于NMF、GNMF、CNMF等算法,GCNMFS具有更好的聚类精度和稀疏性。     

基于图正则化的受限非负矩阵分解算法及在图像表示中的应用

非负矩阵分解(NMF)是一种非常有效的图像表示方法,已被广泛应用到模式识别领域.针对NMF算法是无监督学习算法,无法同时考虑样本类别信息和固有几何结构信息的缺点,提出一种基于图正则化的受限非负矩阵分解(GRCNMF)的算法.该算法利用硬约束保持样本的类别信息,增强算法的鉴别能力,同时还利用近邻图来保持样本间固有的几何结构.通过在COIL20和ORL图像库中的聚类实验结果表明GRCNMF优于其它几种算法,说明GRCNMF的有效性.     

非负子空间聚类指导下的非负矩阵分解

非负矩阵分解作为一种有效的数据表示方法被广泛应用于模式识别和机器学习领域。为了得到原始数据紧致有效的低维数据表示,无监督非负矩阵分解方法在特征降维的过程中通常需要同时发掘数据内部隐含的几何结构信息。通过合理建模数据样本间的相似性关系而构建的相似度图,通常被用来捕获数据样本的空间分布结构信息。子空间聚类可以有效发掘数据内部的子空间结构信息,其获得的自表达系数矩阵可用于构建相似度图。该文提出了一种非负子空间聚类算法来发掘数据的子空间结构信息,同时利用该信息指导非负矩阵分解,从而得到原始数据有效的非负低维表示。同时,该文还提出了一种有效的迭代求解方法来求解非负子空间聚类问题。在两个图像数据集上的聚类实验结果表明,利用数据的子空间结构信息可以有效改善非负矩阵分解的性能。     

A group interest-based collaborative filtering algorithm for multimedia information

This paper proposes a collaborative filtering algorithm based on user group interest. A novel co-clustering method (BalClust) and various weighted non-negative matrix factorization algorithms are used in the proposed method. The BalClust method is used to divide the raw rating matrix into clusters, which are smaller than the original matrix. Then, the balance factor is introduced to consider the user weight and the item-based CF (collaborative filtering). To predict the rating of the unknown items in the cluster, the non-negative matrix factorization algorithm was used. The proposed method achieves higher predicting accuracy and efficiency on low dimensional and homogeneous sub-matrices, and the method also reduces the computational complexity by combining the user and item-based CF. Based on the proposed method, this paper proposed an incremental learning method to ensure data accuracy and timeliness to overcome the problem brought by data updates. The experimental results show the proposed methods outperformed traditional CF algorithms, and the completion time is reduced.     

稀疏性正则化非负矩阵分解的在线学习方法

针对非负矩阵分解效率低的不足,提出一种基于在线学习的稀疏性非负矩阵分解的快速方法.通过对目标函数添加正则化项来控制分解后系数矩阵的稀疏性,将问题转化成稀疏表示的字典学习问题,利用在线字典学习算法求解目标函数,并对迭代过程的矩阵更新进行转换,采取块坐标下降法进行矩阵更新,提高算法收敛速度.实验结果表明,该方法在有效保持图像特征信息的同时,运行效率得到提高.     

Max-margin non-negative matrix factorization with flexible spatial constraints based on factor analysis

Non-negative matrix factorization (NMF) is a popular feature encoding method for image understanding due to its non-negative properties in representation, but the learnt basis images are not always local due to the lack of explicit constraints in its objective. Various algebraic or geometric local constraints are hence proposed to shape the behaviour of the original NMF. Such constraints are usually rigid in the sense that they have to be specified beforehand instead of learning from the data. In this paper, we propose a flexible spatial constraint method for NMF learning based on factor analysis. Particularly, to learn the local spatial structure of the images, we apply a series of transformations such as orthogonal rotation and thresholding to the factor loading matrix obtained through factor analysis. Then we map the transformed loading matrix into a Laplacian matrix and incorporate this into a max-margin non-negative matrix factorization framework as a penalty term, aiming to learn a representation space which is non-negative, discriminative and localstructure- preserving. We verify the feasibility and effectiveness of the proposed method on several real world datasets with encouraging results.