应用稀疏约束的非负正则矩阵学习算法

针对非负矩阵分解后的数据稀疏性较低,训练样本偏多导致运算规模持续增大的普遍现象,本文提出基于稀疏约束的非负正则矩阵学习算法,本文算法是在样本几何结构信息条件上执行非负矩阵分解操作,并且与学习算法结合,不仅能够有效保持样本局部结构,还能够充分利用前期分解结果参加迭代运算,从而达到降低运算时间目的. 本文实验表明与其他算法比较来说,本文方法在ORL人脸数据库上最多节省时间14.84 s,在COIL20数据集上为136.1 s;而在分解后数据的稀疏性上,本文方法在ORL人脸数据库上的稀疏度提高0.0691,在COIL20数据集上为0.0587. 实验结果表明了算法有效性.     

稀疏约束下非负矩阵分解的增量学习算法

非负矩阵分解(NMF)是一种有效的子空间降维方法。为了改善非负矩阵分解运算规模随训练样本增多而不断增大的现象,同时提高分解后数据的稀疏性,提出了一种稀疏约束下非负矩阵分解的增量学习算法,该算法在稀疏约束的条件下利用前一次分解的结果参与迭代运算,在节省大量运算时间的同时提高了分解后数据的稀疏性。在ORL和CBCL人脸数据库上的实验表明了该算法降维的有效性。     

基于Fisher判别分析的增量式非负矩阵分解算法

增量式非负矩阵分解算法是基于子空间降维技术的无监督增量学习方法.文中将Fisher判别分析思想引入增量式非负矩阵分解中,提出基于Fisher判别分析的增量式非负矩阵分解算法.首先,利用初始样本训练的先验信息,通过索引矩阵对新增系数矩阵进行初始化赋值.然后,将增量式非负矩阵分解算法的目标函数改进为批量式的增量学习算法,在此基础上施加类间散度最大和类内散度最小的约束.最后,采用乘性迭代的方法计算分解后的因子矩阵.在ORL、Yale B和PIE等3个不同规模人脸数据库上的实验验证文中算法的有效性.     

稀疏约束图正则非负矩阵分解的增量学习算法

针对非负矩阵分解后数据的稀疏性降低、训练样本增多导致运算规模不断增大的现象,提出了一种稀疏约束图正则非负矩阵分解的增量学习算法。该方法不仅考虑数据的几何信息,而且对系数矩阵进行稀疏约束,并将它们与增量学习相结合。算法在稀疏约束和图正则化的条件下利用上一步的分解结果参与迭代运算,在节省大量运算时间的同时提高了分解后数据的稀疏性。在ORL和PIE人脸数据库上的实验结果表明了该算法的有效性。     

鲁棒结构正则化非负矩阵分解

现有的非负矩阵分解方法既忽略数据的非局部结构,又难以有效应对噪声和野值点。为了解决上述问题,提出一种新的用于聚类的鲁棒结构正则化非负矩阵分解算法。所提出的算法分别构建一个近邻图和一个最大熵图描述数据的局部结构和非局部结构,并使用L_2,1范数代价函数尝试解决噪声问题,从而学习到鲁棒具有判别力的表征。给出一个最优的迭代算法求解两个非负因子,该优化算法的收敛性已被理论和实验证明。在七个图像数据集上的聚类实验结果表明,所提出的算法在无噪声和有噪声情况下聚类均优于其他主流方法。     

L1范数约束正交子空间非负矩阵分解

针对非负矩阵分解（NMF）相对稀疏或局部化描述原数据时导致的稀疏能力和程度比较弱的问题,提出了L1范数约束正交子空间非负矩阵分解方法.通过将L1范数约束引入到正交子空间非负矩阵分解的目标函数中,提升了分解结果的稀疏性.同时给出累乘迭代规则.在UCI、ORL和Yale三个数据库上进行的实验结果表明,该算法在聚类效果以及稀疏表达方面优于其他算法.     

基于投影梯度及下逼近方法的非负矩阵分解

在非负矩阵分解算法中,为提升基矩阵的稀疏表达能力,在不事先设定稀疏度的情形下,提出一种基于投影梯度及下逼近方法的非负矩阵分解算法——PGNMU。通过引入上界的约束条件,利用基于投影梯度的交替迭代方法提取基矩阵的重要特征并加以应用。在人脸数据库CBCL和ORL上的实验结果表明,该方法能改进基矩阵的稀疏描述能力,且其识别率也优于已有方法。     

基于稀疏约束的半监督非负矩阵分解算法

矩阵分解因可以实现大规模数据处理而具有十分广泛的应用。非负矩阵分解(Nonnegative Matrix Factorization,NMF)是一种在约束矩阵元素为非负的条件下进行的分解方法。利用少量已知样本的标注信息和大量未标注样本,并施加稀疏性约束,构造了一种新的算法——基于稀疏约束的半监督非负矩阵分解算法。推导了其有效的更新算法,并证明了该算法的收敛性。在常见的人脸数据库上进行了验证,实验结果表明CNMFS算法相对于NMF和CNMF等算法具有较好的稀疏性和聚类精度。     

特征加权组稀疏判别投影分析算法

近来, 稀疏表示分类算法已经在模式识别和特征提取领域获得了广泛的关注. 受最近提出的稀疏表示判别投影算法启发, 本文提出了一种新的特征加权组稀疏判别投影算法(Feature weighted group sparse classification steered discriminative projection, FWGSDP). 首先, 提出特征加权组稀疏分类算法(Feature weighted group sparsebased classification, FWGSC)进行稀疏系数编码, 该算法采用带特征加权约束的保局性信息, 能够鲁棒地重构给定的输入数据; 其次, 通过类内重构散度最小、类间重构散度最大为目标计算最优投影判别矩阵, 使得输入数据具有最佳的模式分类效果; 最后, 提出迭代重约束稀疏编码方法并结合特征分解操作进行FWGSDP模型高效求解. 在ExYaleB, PIE和AR三个人脸数据库的实验验证了所提算法在普通数据和带噪数据中的分类效果都优于现存的算法.     

增量式鉴别非负矩阵分解算法及其在人脸识别中的应用

针对在线学习的人脸识别效率问题,提出了一种增量式鉴别非负矩阵分解算法。在以往无监督学习模式下的增量式非负矩阵分解算法基础上,利用初始训练样本数据和新增训练样本的类别信息,将同类别训练样本对应的系数向量均值作为初始迭代值,并在类内欧氏距离最小的约束下建立目标泛函,从而获得更具鉴别性的特征并使优化求解时所需迭代次数明显减少。通过在ORL和PIE人脸数据库上的实验验证了该算法收敛速度快、分类精度高,且较批量式算法有更高的效率优势。     

基于图正则化和稀疏约束的半监督非负矩阵分解

非负矩阵分解是在矩阵非负约束下的分解算法。为了提高识别率,提出了一种基于稀疏约束和图正则化的半监督非负矩阵分解方法。该方法对样本数据进行低维非负分解时,既保持数据的几何结构,又利用已知样本的标签信息进行半监督学习,而且对基矩阵施加稀疏性约束,最后将它们整合于单个目标函数中。构造了一个有效的更新算法,并且在理论上证明了该算法的收敛性。在多个人脸数据库上的仿真结果表明,相对于NMF、GNMF、CNMF等算法,GCNMFS具有更好的聚类精度和稀疏性。     

稀疏约束图正则非负矩阵分解

非负矩阵分解(NMF)是在矩阵非负约束下的一种局部特征提取算法。为了提高识别率,提出了稀疏约束图正则非负矩阵分解方法。该方法不仅考虑数据的几何信息,而且对系数矩阵进行稀疏约束,并将它们整合于单个目标函数中。构造了一个有效的乘积更新算法,并且在理论上证明了该算法的收敛性。在ORL和MIT-CBCL人脸数据库上的实验表明了该算法的有效性。     

基于图正则化和稀疏约束的增量型非负矩阵分解

非负矩阵分解(Nonnegative Matrix Factorization,NMF)不仅可以很好地描述数据而且分解后的矩阵具有直观的物理意义。为了提高算法的有效性和识别率,提出了一种更为合理的算法——基于图正则化和稀疏约束的增量型非负矩阵分解(Graph Regularized and Incremental Nonnegative Matrix Factorization with Sparseness Constraints,GINMFSC)。该算法既保持了数据的几何结构,又充分利用上一步的分解结果进行增量学习,而且对系数矩阵施加了稀疏性约束,最后将它们整合于单个目标函数中,构造了一个有效的更新算法。在多个数据库上的仿真结果表明,相对于NMF,GNMF,INMF,IGNMF等算法,GINMFSC算法在降低运算时间的同时,还具有更好的聚类精度和稀疏性。     

二维投影非负矩阵分解算法及其在人脸识别中的应用

建立在最小化非负矩阵分解损失函数上的人脸识别算法需同时计算基矩阵和系数矩阵, 导致求解这类问题十分耗时. 本文把非负属性引入二维主成分分析(2-dimensional principal component analysis, 2DPCA)中, 提出了一种新的二维投影非负矩阵分解(2-dimensional projective non-negative matrix factorization, 2DPNMF)人脸识别算法. 该算法在保持人脸图像的局部结构情况下, 突破了最小化非负矩阵分解损失函数的约束, 仅需计算投影矩阵(基矩阵), 从而降低了计算复杂度. 本文从理论上证明了所提出算法的收敛性, 同时, 使用了YALE、FERET和AR三个人脸库进行实验, 结果表明2DPNMF不仅识别率高, 而且速度优于非负矩阵分解和二维主成分分析.     

动态学习的非负矩阵分解算法

对现有增量型非负矩阵分解算法存在的一些缺陷进行改进,给出了一个基于误差判断的增量算法有效性准则.在此基础上,利用增加样本前的非负矩阵分解结果进行增量分解初始化,提出了一种新的动态非负矩阵分解算法.在多个数据集上的实验结果表明该算法可以实现对基矩阵和编码矩阵的即时更新,且具有较低的计算复杂度,在处理动态数据集时,还可有效识别噪声点,是一个有效的动态分解算法.     

非负子空间聚类指导下的非负矩阵分解

非负矩阵分解作为一种有效的数据表示方法被广泛应用于模式识别和机器学习领域。为了得到原始数据紧致有效的低维数据表示,无监督非负矩阵分解方法在特征降维的过程中通常需要同时发掘数据内部隐含的几何结构信息。通过合理建模数据样本间的相似性关系而构建的相似度图,通常被用来捕获数据样本的空间分布结构信息。子空间聚类可以有效发掘数据内部的子空间结构信息,其获得的自表达系数矩阵可用于构建相似度图。该文提出了一种非负子空间聚类算法来发掘数据的子空间结构信息,同时利用该信息指导非负矩阵分解,从而得到原始数据有效的非负低维表示。同时,该文还提出了一种有效的迭代求解方法来求解非负子空间聚类问题。在两个图像数据集上的聚类实验结果表明,利用数据的子空间结构信息可以有效改善非负矩阵分解的性能。