基于核技巧和超图正则的稀疏非负矩阵分解

针对传统的非负矩阵分解（NMF）应用于聚类时,没有同时考虑到鲁棒性和稀疏性,导致聚类性能较低的问题,提出了基于核技巧和超图正则的稀疏非负矩阵分解算法（KHGNMF）。首先,在继承核技巧的良好性能的基础上,用L_2,1范数改进标准非负矩阵分解中的F范数,并添加超图正则项以尽可能多地保留原始数据间的内在几何结构信息;其次,引入L_2,1/2伪范数和L_1/2正则项作为稀疏约束合并到NMF模型中;最后,提出新算法并将新算法应用于图像聚类。在6个标准的数据集上进行验证,实验结果表明,相对于非线性正交图正则非负矩阵分解方法,KHGNMF使聚类性能（精度和归一化互信息）成功地提升了39%~54%,有效地改善和提高了算法的稀疏性和鲁棒性,聚类效果更好。     

基于余弦相似度的稀疏非负矩阵分解算法

基本的非负矩阵分解应用于图像聚类时,对异常点的处理不够鲁棒,稀疏性较差。为了提高分解后的矩阵的稀疏性,在基本的非负矩阵分解算法中引入了L_2,1范数,对基本的非负矩阵分解模型进行了改进,从而实现稀疏性,提升算法的性能。同时,为了降低各特征之间的关联,强化非负矩阵分解模型特征的独立性,引入了余弦相似度,提出了基于余弦相似度的稀疏非负矩阵分解算法。该算法在处理高维数据和提取特征方面具有显著优势,并且可提高算法在图像聚类中的辨别准确性。实验结果表明,所提算法在一系列评价指标上的效果优于传统的非负矩阵分解算法。     

一种强鲁棒性的稀疏NMF算法研究与应用

为提高稀疏非负矩阵分解(SNMF)算法对含噪声图像提取特征的有效性,引入噪声项,并结合SNMF设计新的稀疏优化目标函数,给出该目标函数的优化求解表达式,使提取出的特征具有稀疏性且能增强噪声抵抗能力。针对手机图像,提出一种强鲁棒性的SNMF算法,描述手机待分类界面图和模板子图集概念,以获取手机图像特征,并结合支持向量机实现分类识别。应用结果表明,该算法能够对图像数据进行大规模压缩获取手机图像特征,具有较强的鲁棒性,且以稀疏矩阵作为计算分类识别的目标矩阵,具备较高的识别率。     

鲁棒结构正则化非负矩阵分解

现有的非负矩阵分解方法既忽略数据的非局部结构,又难以有效应对噪声和野值点。为了解决上述问题,提出一种新的用于聚类的鲁棒结构正则化非负矩阵分解算法。所提出的算法分别构建一个近邻图和一个最大熵图描述数据的局部结构和非局部结构,并使用L_2,1范数代价函数尝试解决噪声问题,从而学习到鲁棒具有判别力的表征。给出一个最优的迭代算法求解两个非负因子,该优化算法的收敛性已被理论和实验证明。在七个图像数据集上的聚类实验结果表明,所提出的算法在无噪声和有噪声情况下聚类均优于其他主流方法。     

基于非负矩阵分解的特征向量抽取方法特点研究

非负矩阵分解算法可以作为一种新型的特征抽取方法。将非负矩阵分解算法和现有的其它三种现有的特征抽取算法进行详细比较：奇异值分解方法和非负矩阵分解方法本质上是不同的两种特征抽取方法,非负特性使得由非负矩阵分解比奇异值分解方法更接近人们的认知习惯。基于聚类的特征提取方法是一种简化了的非负矩阵分解算法;基于概率的特征提取方法等价于非负矩阵分解在特定约束条件下的变体。通过比较充分体现了非负矩阵分解算法的非负性和局部性特点。     

基于L21范式的多图正则化非负矩阵分解方法

针对非负矩阵分解方法对原始数据的单图约束导致的结果未知性大、满足需求单一,以及大多非负矩阵分解方法存在对噪声、离群点较敏感导致的稀疏度和鲁棒性较差等问题,提出基于L21范式的多图正则化非负矩阵分解方法。采用L21范式,提升分解结果的稀疏度和鲁棒性。构建多图约束的算法模型更好地保持数据的流形结构。构建目标函数并给出乘性迭代规则。通过在多个数据库上的实验表明,该方法在识别效果上有明显的提升。     

基于超图正则化非负Tucker分解的图像聚类算法

针对非负张量分解应用于图像聚类时忽略了高维数据内部几何结构的问题,在经典的张量非负Tucker分解的基础上,添加超图正则项以尽可能多地保留原始数据的内在几何结构信息,提出一种基于超图正则化非负Tucker分解模型HGNTD。通过构造超图刻画数据内部样本间的高阶关系,提高几何结构描述的准确性,针对超图正则化非负张量分解模型,基于交替非负最小二乘法,设计快速有效的超图正则化非负Tucker分解算法求解所给模型,证明算法在非负的条件下是收敛的,最终将算法应用于图像聚类。在Yale和COIL两个常用公开数据集上的实验结果表明,相对于k-means、非负矩阵分解、图正则化非负矩阵分解、非负Tucker分解和图正则化非负Tucker分解等算法,超图正则化非负Tucker分解算法聚类准确度提升了8.6%~11.4%,归一化互信息提升了2.0%~7.5%,具有更好的聚类效果。     

用于独立特征学习的稀疏非负矩阵分解算法

为了防止特征的共适应性,提出利用余弦相似度来减少潜在特征之间的相关性,从而提高非负矩阵分解（non-negative matrix decomposition,NMF）的独立特征学习能力。此外,为了使得分解后的矩阵具有较好的稀疏性,提出在传统NMF模型中引入◢L◣▼2,1/2▽稀疏约束,增强了算法的局部学习能力和稳健性。因此,潜在特征中的语义信息更加明显,潜在空间的表示更具有判别性。在fetch_20newsgroups数据集上对文档聚类的实验结果表明,提出的INMF算法在一系列评价指标上效果都优于传统的NMF、SNMF等算法模型。     

非负局部约束低秩子空间聚类算法

在低秩表示算法的基础上,提出了一个新模型。新模型构建了揭示数据内在特征联系的亲和度图以实现聚类任务。首先,根据矩阵分解原理对原始数据重新生成数据字典,在算法初始输入时筛除部分噪声。其次,利用数据间的稀疏性加强局部约束,为给定的数据向量构建非负低秩亲和度图。亲和度图中边的权重由非负低秩稀疏系数矩阵获得,系数矩阵通过每个数据样本作为其他数据样本的线性组合完成构建,如此获得的亲和度图显示了数据的子空间结构,同时表现局部线性结构。与现存的子空间算法相比,非负局部约束低秩子空间算法在聚类效果上有明显的提升。     

面向数据表示的Cauchy非负矩阵分解

非负矩阵分解(Non-negative Matrix Factorization, NMF)是一类广泛应用于数据挖掘和机器学习领域的重要矩阵分解模型,可从一组高维非负向量中提取出低维、稀疏和有意义的特征。标准NMF利用Frobenius范数的平方度量重建误差,虽然在一些应用场景中表现出一定的有效性,但对非高斯噪声和离群点较为敏感。由于现实世界中的真实数据不可避免地包含各种噪声,因此有必要对非高斯噪声和离群点较为稳健的非负矩阵分解模型进行研究。为此,文中提出用Cauchy估计函数取代标准NMF中的平方形式的残差。在度量样本重建误差时,充分考虑样本特征不同维度之间的相关性,以样本的重建误差作为基本的重建误差度量单元。此外,基于半二次规划推导了高效的乘性更新规则,用于求解所提出的模型。在3个真实人脸图像库上的聚类实验中验证了所提模型和算法的有效性。实验结果表明,所提算法对人脸姿态、光照和表情变化均表现出一定的稳健性,且聚类结果对参数的依赖性较小。     

一种改进的可能模糊聚类算法*

通过分析FCM、PCM、IPCM和PFCM等流行的聚类算法和它们在噪声环境下所面临的问题,提出一种概率模糊聚类新算法（SWPFCM）,该算法结合样本加权和一种适用于噪音环境下的初始化聚类中心的方法,可以有效地消除噪声对聚类结果的影响。实验表明,SWPFCM算法具有处理大量噪声数据的能力,但对于没有噪声或噪声很少时,效果不明显,当目标样本集中出现噪声时,使用SWPFCM算法聚类将会得到满意的聚类结果。     

联合稀疏非负矩阵分解和神经网络的语音增强

针对基于非负矩阵分解(non-negative matrix factorization, NMF)的语音增强方法在低信噪比部分和无结构特征的清音部分会引入失真这一问题,利用语音信号在时频域呈现的稀疏特性和深度神经网络在语音增强应用中表现出的谱重构特性,提出了一种联合稀疏非负矩阵分解和深度神经网络的单通道语音增强方法.首先对带噪语音的幅度谱进行非负矩阵分解得到与语音字典和噪声字典相对应的稀疏编码矩阵,其中语音字典和噪声字典通过对纯净语音和噪声进行训练预先得到,以维纳滤波方法恢复出语音成分的主要结构;然后利用深度神经网络在语音增强中表现出的时频保持特性,通过深层网络学习经维纳滤波分离出的语音的对数幅度谱和理想纯净语音对数幅度谱之间的非线性映射函数,进而恢复出语音结构的缺失成分.实验结果表明：所提方法可以有效抑制噪声且较好地恢复出语音成分,在语音感知质量和对数谱失真性能评价指标上均优于基线方法.     

A novel pruning approach for robust data clustering

In this paper, we make an effort to overcome the sensitivity of traditional clustering algorithms to noisy data points (noise and outliers). A novel pruning method, in terms of information theory, is therefore proposed to phase out noisy points for robust data clustering. This approach identifies and prunes the noisy points based on the maximization of mutual information against input data distributions such that the resulting clusters are least affected by noise and outliers, where the degree of robustness is controlled through a separate parameter to make a trade-off between rejection of noisy points and optimal clustered data. The pruning approach is general, and it can improve the robustness of many existing traditional clustering methods. In particular, we apply the pruning approach to improve the robustness of fuzzy c-means clustering and its extensions, e.g., fuzzy c-spherical shells clustering and kernel-based fuzzy c-means clustering. As a result, we obtain three clustering algorithms that are the robust versions of the existing ones. The effectiveness of the proposed pruning approach is supported by experimental results.     

Initialization enhancer for non-negative matrix factorization

Non-negative matrix factorization (NMF), proposed recently by Lee and Seung, has been applied to many areas such as dimensionality reduction, image classification image compression, and so on. Based on traditional NMF, researchers have put forward several new algorithms to improve its performance. However, particular emphasis has to be placed on the initialization of NMF because of its local convergence, although it is usually ignored in many documents. In this paper, we explore three initialization methods based on principal component analysis (PCA), fuzzy clustering and Gabor wavelets either for the consideration of computational complexity or the preservation of structure. In addition, the three methods develop an efficient way of selecting the rank of the NMF in low-dimensional space.     

基于密度的模糊代表点聚类算法

结合密度聚类和模糊聚类的特点,提出一种基于密度的模糊代表点聚类算法.首先利用密度对数据点成为候选聚类中心点的可能性进行处理,密度越高的点成为聚类中心点的可能性越大;然后利用模糊方法对聚类中心点进行确定;最后通过合并聚类中心点确定最终的聚类中心.所提出算法具有很好的自适应性,能够处理不同形状的聚类问题,无需提前规定聚类个数,能够自动确定真实存在的聚类中心点,可解释性好.通过结合不同聚类方法的优点,最终实现对数据的有效划分.此外,所提出的算法对于聚类数和初始化、处理不同形状的聚类问题以及应对异常值等方面具有较好的鲁棒性.通过在人工数据集和UCI真实数据集上进行实验,表明所提出算法具有较好的聚类性能和广泛的适用性.     

Self-tuning clustering for high-dimensional data

Spectral clustering is an important component of clustering method, via tightly relying on the affinity matrix. However, conventional spectral clustering methods 1). equally treat each data point, so that easily affected by the outliers; 2). are sensitive to the initialization; 3). need to specify the number of cluster. To conquer these problems, we have proposed a novel spectral clustering algorithm, via employing an affinity matrix learning to learn an intrinsic affinity matrix, using the local PCA to resolve the intersections; and further taking advantage of a robust clustering that is insensitive to initialization to automatically generate clusters without an input of number of cluster. Experimental results on both artificial and real high-dimensional datasets have exhibited our proposed method outperforms the clustering methods under comparison in term of four clustering metrics.     

Using the genetic algorithm to enhance nonnegative matrix factorization initialization

Nonnegative matrix factorization (NMF) algorithms have been utilized in a wide range of real applications; however, the performance of NMF is highly dependent on three factors including: (1) choosing a problem dependent cost function; (2) using an effective initialization method to start the updating procedure from a near‐optimal point; and (3) determining the rank of factorized matrices prior to decomposition. Due to the nonconvex nature of the NMF cost function, finding an analytical‐based optimal solution is impossible. This paper is aimed at proposing an efficient initialization method to modify the NMF performance. To widely explore the search space for initializing the factorized matrices in NMF, the island genetic algorithm (IGA) is employed as a diverse multiagent search scheme. To adapt IGA for NMF initialization, we present a specific mutation operator. To assess how the proposed IGA initialization method efficiently enhances NMF performance, we have implemented state‐of‐the‐art initialization methods and applied to the Japanese Female Facial Expression dataset to recognize the facial expression states. Experimental results demonstrate the superiority of the proposed approach to the compared methods in terms of relative error and fast convergence.     

基于模糊K-调和均值的单词-文档谱聚类方法

在分析单词-文档谱聚类方法的基本步骤,找出其对初始值敏感的根本原因的基础上,提出一种基于模糊-调和均值的单词-文档谱聚类方法.首先从矩阵相似的角度对谱聚类中的Laplacian矩阵进行处理,使其满足对初始值不敏感的条件;然后通过加入模糊的概念,用模糊K-调和均值算法代替K-均值算法,使聚类结果对初始值不敏感.实验结果表明,所提出的方法不仅使聚类结果对初始值不敏感,而且在一定程度上提高了数据的鲁棒性.     

应用非负矩阵分解和RBPNN模型的掌纹识别方法

提出一种基于非负矩阵分解（NMF）和径向基概率神经网络的掌纹识别方法。NFM是一种有效的图像局部特征提取算法,用于图像分类时能得到较高的识别率。考虑PolyU掌纹图像数据库,应用NMF、局部NMF（LNMF）、稀疏NMF（SNMF）和具有稀疏度约束的NMF（NMFSC）算法分别对掌纹图像进行特征提取,并对提取到的局部特征基图像进行分析对比;在特征提取的基础上,应用径向基概率神经网络（RBPNN）模型对掌纹特征进行分类,分类结果表明了RBPNN模型对掌纹特征具有较好的识别能力。实验对比结果证明了基于RBPNN的NMF掌纹识别方法在掌纹识别中的有效性,具有一定的理论研究意义和实用性。