基于超图正则化的概念分解及在数据表示中的应用

针对传统图模型的流形学习无法准确表达数据间多元几何结构信息的问题, 提出一种基于超图正则化的概念分解(HRCF) 算法. 该算法用一组具有相似属性的数据子集构建超边, 建立数据间高阶关系的超图模型. 通过在概念分解算法中增加超图正则项, 保持数据间多元几何流形结构, 提高了算法的鉴别性. 在Yale 库、USPS 库和TDT2 库上的实验表明, HRCF 算法明显提高了聚类的准确率和归一化互信息, 验证了算法的有效性.

     

拉普拉斯阶梯网络

阶梯网络不仅是一种基于深度学习的特征提取器，而且能够应用于半监督学习中.深度学习在实现了复杂函数逼近的同时，也缓解了多层神经网络易陷入局部最小化的问题.传统的自编码、玻尔兹曼机等方法易忽略高维数据的低维流形结构信息，使用这些方法往往会获得无意义的特征表示，这些特征不能有效地嵌入到后续的预测或识别任务中.从流形学习的角度出发，提出一种基于阶梯网络的深度表示学习方法，即拉普拉斯阶梯网络LLN （Laplacian ladder network）.拉普拉斯阶梯网络在训练的过程中不仅对每一编码层嵌入噪声并进行重构，而且在各重构层引入图拉普拉斯约束，将流形结构嵌入到多层特征学习中，以提高特征提取的鲁棒性和判别性.在有限的有标签数据情况下，拉普拉斯阶梯网络将监督学习损失和非监督损失融合到了统一的框架进行半监督学习.在标准手写数据数据集MNIST和物体识别数据集CIFAR-10上进行了实验，结果表明，相对于阶梯网络和其他半监督方法，拉普拉斯阶梯网络都得到了更好的分类效果，是一种有效的半监督学习算法.     

基于图正则化的受限非负矩阵分解算法及在图像表示中的应用

非负矩阵分解(NMF)是一种非常有效的图像表示方法,已被广泛应用到模式识别领域.针对NMF算法是无监督学习算法,无法同时考虑样本类别信息和固有几何结构信息的缺点,提出一种基于图正则化的受限非负矩阵分解(GRCNMF)的算法.该算法利用硬约束保持样本的类别信息,增强算法的鉴别能力,同时还利用近邻图来保持样本间固有的几何结构.通过在COIL20和ORL图像库中的聚类实验结果表明GRCNMF优于其它几种算法,说明GRCNMF的有效性.     

基于监督学习的稀疏编码及在数据表示中的应用

针对稀疏编码在数据表示时没有利用样本类别信息的问题,提出一种基于监督学习的稀疏编码算法,并应用于数据表示.首先利用样本的类别信息构建图,直接提取样本的鉴别结构信息;然后利用基向量拟合鉴别结构特性向量,进而在基向量中嵌入样本的鉴别信息;最后对样本逐个进行稀疏表示.在COIL20和PIE图像库的实验结果表明,相比几种无监督矩阵分解算法,所提出的算法更利于样本的表示和分类.     

基于超图正则化受限的概念分解算法

针对概念分解(Concept Factorization, CF)算法没有同时考虑样本中存在的类别信息及数据间多元几何结构信息的问题,该文提出一种基于超图正则化受限的概念分解(Hyper-graph regularized Constrained Concept Factorization, HCCF)算法。HCCF算法通过构建一个无向加权的拉普拉斯超图正则项,提取数据间的多元几何结构信息,克服了传统图模型只能表达数据间成对关系的缺陷;同时采用硬约束的方式使样本的类别信息在低维空间中保持一致,充分利用了标记样本的类别信息。该文采用乘性迭代的方法求解HCCF算法的目标函数并证明了其收敛性。在TDT2库、Reuters库和PIE库上的实验结果表明,HCCF算法提高了聚类的准确率和归一化互信息,验证了算法的有效性。