非负局部约束低秩子空间聚类算法

在低秩表示算法的基础上,提出了一个新模型。新模型构建了揭示数据内在特征联系的亲和度图以实现聚类任务。首先,根据矩阵分解原理对原始数据重新生成数据字典,在算法初始输入时筛除部分噪声。其次,利用数据间的稀疏性加强局部约束,为给定的数据向量构建非负低秩亲和度图。亲和度图中边的权重由非负低秩稀疏系数矩阵获得,系数矩阵通过每个数据样本作为其他数据样本的线性组合完成构建,如此获得的亲和度图显示了数据的子空间结构,同时表现局部线性结构。与现存的子空间算法相比,非负局部约束低秩子空间算法在聚类效果上有明显的提升。     

混合最小二乘回归的稀疏子空间聚类算法

稀疏子空间聚类的关键在于在求得真实反映数据集的相似度矩阵,然后将相似度矩阵代入谱聚类求解。相似度矩阵既要刻画数据集的子空间特性,同时也要反映出同一类数据点之间的两两相关程度,稀疏子空间聚类(SSC)专注于每一个数据表示系数的最大稀疏性,缺乏对数据集全局结构的描述;最小二乘回归(LSR)保证了同一类数据的结构相关性,但是不够稀疏。将最小二乘回归引入稀疏子空间聚类算法中,从而保证数据的相似度矩阵兼具稀疏性和分组效应。在运动分割和人脸聚类的实验中,将该算法和SSC、LSR算法对比,可以发现该算法在准确率上的优势。     

稀疏约束下非负矩阵分解的增量学习算法

非负矩阵分解(NMF)是一种有效的子空间降维方法。为了改善非负矩阵分解运算规模随训练样本增多而不断增大的现象,同时提高分解后数据的稀疏性,提出了一种稀疏约束下非负矩阵分解的增量学习算法,该算法在稀疏约束的条件下利用前一次分解的结果参与迭代运算,在节省大量运算时间的同时提高了分解后数据的稀疏性。在ORL和CBCL人脸数据库上的实验表明了该算法降维的有效性。     

判别性增强的稀疏子空间聚类

稀疏关系表示(SRR)是一种性能良好的子空间聚类算法,其利用一个数据样本和所有样本间的邻域关系作为新特征来学习自表示系数,由自表示系数矩阵构建相似度矩阵并通过谱聚类得到聚类结果。同时考虑相似度矩阵的稀疏性和聚集性,在SRR算法基础上提出一个判别性增强的稀疏子空间聚类模型。对邻域关系矩阵的自表示矩阵采用平方F范数代替SSR中的核范数,降低模型求解难度,并在邻域关系矩阵的自表示矩阵中引入新的正则项,保证自表示矩阵的类间判别性和邻域关系矩阵的类内聚集性,进一步优化聚类性能。实验结果表明：与SSC、LRR、LSR、BDR-B、SRR等模型相比,该模型具有较好的聚类性能;在MNIST、USPS、ORL数据集上,聚类错误率较SRR模型分别下降9.6、14.1、3.8个百分点;在Extended Yale B数据集上,针对2、3、5、8、10类聚类问题的聚类错误率较SRR模型分别下降0.39、0.72、1.32、2.73、3.28个百分点。     

基于潜在因子模型在子空间上的缺失值注意力聚类算法

针对传统聚类算法在对缺失样本进行数据填充过程中存在样本相似度难度量且填充数据质量差的问题，提出一种基于潜在因子模型（LFM）在子空间上的缺失值注意力聚类算法。首先，通过LFM将原始数据空间映射到低维子空间，降低样本的稀疏程度；其次，通过分解原空间得到的特征矩阵构建不同特征间的注意力权重图，优化子空间样本间的相似度计算方式，使样本相似度的计算更准确、泛化性更好；最后，为了降低样本相似度计算过程中过高的时间复杂度，设计一种多指针的注意力权重图进行优化。在4个按比例随机缺失的数据集上进行实验。在Hand-digits数据集上，相较于面向高维特征缺失数据的K近邻插补子空间聚类（KISC）算法，在数据缺失比例为10%的情况下，所提算法的聚类准确度（ACC）提高了2.33个百分点，归一化互信息（NMI）提高了2.77个百分点，在数据缺失比例为20%的情况下，所提算法的ACC提高了0.39个百分点，NMI提高了1.33个百分点，验证了所提算法的有效性。     

非负子空间聚类指导下的非负矩阵分解

非负矩阵分解作为一种有效的数据表示方法被广泛应用于模式识别和机器学习领域。为了得到原始数据紧致有效的低维数据表示,无监督非负矩阵分解方法在特征降维的过程中通常需要同时发掘数据内部隐含的几何结构信息。通过合理建模数据样本间的相似性关系而构建的相似度图,通常被用来捕获数据样本的空间分布结构信息。子空间聚类可以有效发掘数据内部的子空间结构信息,其获得的自表达系数矩阵可用于构建相似度图。该文提出了一种非负子空间聚类算法来发掘数据的子空间结构信息,同时利用该信息指导非负矩阵分解,从而得到原始数据有效的非负低维表示。同时,该文还提出了一种有效的迭代求解方法来求解非负子空间聚类问题。在两个图像数据集上的聚类实验结果表明,利用数据的子空间结构信息可以有效改善非负矩阵分解的性能。     

融合高光谱影像三维空谱特征的子空间聚类算法

为提高高光谱遥感影像的聚类精度,将三维空谱特征和子空间聚类算法相结合,提出一种新的稀疏子空间聚类模型,在关注高光谱影像光谱信息的同时也关注了空间上下文信息。首先提取高光谱影像像素点的三种三维空谱特征,然后通过特征对子空间聚类模型的系数矩阵进行加权,使得像素点可被与它最为相似的像素点稀疏表示,从而获得更好的系数矩阵,最后由系数矩阵通过谱聚类获得更好的聚类结果。算法对四个经典高光谱数据集进行实验,并将实验结果与六种聚类算法进行比较,结果表明,所提出的3DF-SSC算法在四个数据集上获得的聚类精度都比其他算法要高,对于同样是利用三维空谱特征的M3DF3△、3DF-SSC算法最高能提高8.62%的精度,而与同样是利用空间上下文信息对子空间聚类算法进行改进的L2-SSC和SS-LRSC算法相比,最高能提高25.18%的精度。     

结合改进密度峰值聚类和共享子空间的协同训练算法

针对协同训练算法在迭代过程中加入的无标记样本的有用信息不足和多分类器对样本标记不一致导致的分类错误累积问题,提出结合改进密度峰值聚类和共享子空间的协同训练算法。该算法先采取属性集合互补的方式得到两个基分类器,然后基于虹吸平衡法则进行改进密度峰值聚类,并从簇中心出发来推进式选择相互邻近度高的无标记样本交由两个基分类器进行分类,最后利用多视图非负矩阵分解算法得到的共享子空间来确定标记不一致样本的最终类别。该算法利用改进密度峰值聚类和相互邻近度选择出更具空间结构代表性的无标记样本,并采用共享子空间来修订标记不一致的样本,解决了因样本误分类造成的分类精度低的问题。在9个UCI数据集上的多组对比实验证明了该算法的有效性,实验结果表明所提算法相较于对比算法在7个数据集上取得最高的分类正确率,在另2个数据集取得次高的分类正确率。     

局部约束加强的最小二乘回归子空间聚类*

针对最小二乘回归子空间聚类算法存在的数据局部相关性信息缺失、系数矩阵稀疏性不足的缺点,提出局部约束加强的最小二乘回归子空间聚类算法.在原始的最小二乘回归子空间聚类算法的基础上加入数据局部相关性约束,使表示系数矩阵的块对角性质更明显.同时,提出相似度矩阵构造方法,有效提高类内相似度,降低类间相似度.实验表明文中算法可以有效提高聚类的精确度,从而验证算法有效可行.     

稀疏子空间聚类综述

稀疏子空间聚类(Sparse subspace clustering, SSC)是一种基于谱聚类的数据聚类框架. 高维数据通常分布于若干个低维子空间的并上, 因此高维数据在适当字典下的表示具有稀疏性. 稀疏子空间聚类利用高维数据的稀疏表示系数构造相似度矩阵, 然后利用谱聚类方法得到数据的子空间聚类结果. 其核心是设计能够揭示高维数据真实子空间结构的表示模型, 使得到的表示系数及由此构造的相似度矩阵有助于精确的子空间聚类. 稀疏子空间聚类在机器学习、计算机视觉、图像处理和模式识别等领域已经得到了广泛的研究和应用, 但仍有很大的发展空间. 本文对已有稀疏子空间聚类方法的模型、算法和应用等方面进行详细阐述, 并分析存在的不足, 指出进一步研究的方向.     

A linear discriminant analysis framework based on random subspace for face recognition

Linear discriminant analysis (LDA) often suffers from the small sample size problem when dealing with high-dimensional face data. Random subspace can effectively solve this problem by random sampling on face features. However, it remains a problem how to construct an optimal random subspace for discriminant analysis and perform the most efficient discriminant analysis on the constructed random subspace. In this paper, we propose a novel framework, random discriminant analysis (RDA), to handle this problem. Under the most suitable situation of the principal subspace, the optimal reduced dimension of the face sample is discovered to construct a random subspace where all the discriminative information in the face space is distributed in the two principal subspaces of the within-class and between-class matrices. Then we apply Fisherface and direct LDA, respectively, to the two principal subspaces for simultaneous discriminant analysis. The two sets of discriminant analysis features from dual principal subspaces are first combined at the feature level, and then all the random subspaces are further integrated at the decision level. With the discriminating information fusion at the two levels, our method can take full advantage of useful discriminant information in the face space. Extensive experiments on different face databases demonstrate its performance.     

Modified Oja's Algorithms For Principal Subspace and Minor Subspace extraction

Principal component extraction and minor component extraction are well known and powerful techniques in time series. Modified Oja's algorithms for extracting principal and minor component subspaces are proposed. The only difference between them is the sign of the first term in the iteration equations. Simulations show that the algorithms are effective.     

基于特征子空间的数字水印技术

根据特五子空间的原理，提出了一种新颖的基于特征子空间的数字水印算法，水印可以嵌入到不同的子空间中从而可以发展为多水印算法，由于特征子空间之间的正交特性，不同子空间中的水印相互独立，其稳健性不随水印数目的增加而变化，水印强度参数根据视觉系统的照度掩蔽和纹理掩蔽特性适当地进行调整，从而同时保证二值水印图像的稳健性和不可见性，该文就单水印，双水印以及多水印情形进行了仿真并进行JPEG压缩，图像缩放，剪切等失真测试，实验结果表明该算法具有很好的感知质量和稳健性并验证了以上分析。     

k-means型软子空间聚类算法

软子空间聚类是聚类研究领域的一个重要分支和研究热点。高维空间聚类以数据分布稀疏和"维度效应"现象等问题而成为难点。在分析现有软子空间聚类算法不足的基础上,引入子空间差异的概念;在此基础上,结合簇内紧凑度的信息来设计新的目标优化函数;提出了一种新的k-means型软子空间聚类算法,该算法在聚类过程中无需设置额外的参数。理论分析与实验结果表明,相对于其他的软子空间算法,该算法具有更好的聚类精度。     

一种改进的SUBCLU高维子空间聚类算法

SUBCLU高维子空间聚类算法在自底向上搜索最大兴趣子空间类的过程中不断迭代产生中间类,这些中间类的产生消耗了大量时间,针对这一问题,提出改进算法BDFS-SUBCLU,采用一种带回溯的深度优先搜索策略来挖掘最大兴趣子空间中的类,通过这种策略避免了中间类的产生,降低了算法的时间复杂度。同时BDFS-SUBCLU算法在子空间中对核心点增加一种约束,通过这个约束条件在一定程度上避免了聚类过程中相邻的类由于特殊的数据点合为一类的情况。在仿真数据集和真实数据集上的实验结果表明BDFS-SUBCLU算法与SUBCLU算法相比,效率和准确性均有所提高。     

Detecting outlying subspaces for high-dimensional data: the new task, algorithms, and performance

In this paper, we identify a new task for studying the outlying degree (OD) of high-dimensional data, i.e. finding the subspaces (subsets of features) in which the given points are outliers, which are called their outlying subspaces. Since the state-of-the-art outlier detection techniques fail to handle this new problem, we propose a novel detection algorithm, called High-Dimension Outlying subspace Detection (HighDOD), to detect the outlying subspaces of high-dimensional data efficiently. The intuitive idea of HighDOD is that we measure the OD of the point using the sum of distances between this point and itsknearest neighbors. Two heuristic pruning strategies are proposed to realize fast pruning in the subspace search and an efficient dynamic subspace search method with a sample-based learning process has been implemented. Experimental results show that HighDOD is efficient and outperforms other searching alternatives such as the naive top–down, bottom–up and random search methods, and the existing outlier detection methods cannot fulfill this new task effectively. Ji Zhang received his BS from Department of Information Systems and Information Management at Southeast University, Nanjing, China, in 2000 and MSc from Department of Computer Science at National University of Singapore in 2002. He worked as a researcher in Center for Information Mining and Extraction (CHIME) at National University of Singapore from 2002 to 2003 and Department of Computer Science at University of Toronto from 2003 to 2005. He is currently with Faculty of Computer Science at Dalhousie University, Canada. His research interests include Knowledge Discovery and Data Mining, XML and Data Cleaning. He has published papers in Journal of Intelligent Information Systems (JIIS), Journal of Database Management (JDM), and major international conferences such as VLDB, WWW, DEXA, DaWaK, SDM, and so on. Hai Wang is an assistant professor in the Department of Finance Management Science at Sobey School of Business of Saint Mary's University, Canada. He received his BSc in computer science from the University of New Brunswick, and his MSc and PhD in Computer Science from the University of Toronto. His research interests are in the areas of database management, data mining, e-commerce, and performance evaluation. His papers have been published in International Journal of Mobile Communications, Data Knowledge Engineering, ACM SIGMETRICS Performance Evaluation Review, Knowledge and Information Systems, Performance Evaluation, and others.     

数字图书馆的信息获取

当前的数字图书馆(DLs)主要支持基于关键字的查询和浏览,所以从研究问题到关键字的变换、主题与研究问题是否有关,完全由用户来决定.为增强当前DLs的功能,提出一个两层的数字图书馆模型,用以支持不同层次的人们的认识活动,从而在不同的用户之间交换新的信息.模型的下层除完成查询和浏览外,为用户提供对相关文档的请求;模型的上层不仅为用户提供相关文档,而且直接、智能地回答用户的认知问题.     

大系统的分散能控子空间与分散不能观测子空间

提出了大系统的分散能控子空间和分散不能观测子空间的概念.研究了它们分别与集中控制中的能控子空间和不能观测子空间之间的关系.研究中借用了几何控制理论中的方法.结果表明,分散能控子空间和分散不能观测子空间是集中控制中能控子空间和不能观测子空间在分散控制下的自然推广.利用这两个概念,可以从几何角度研究大系统分散控制的几个问题,比如时变分散控制下的系统镇定问题.     

改进的基因表达式程序设计及其在函数建模中的应用

该文提出了一种改进的基因表达式程序设计的遗传进化算法PGEP，新的算法引入三个算子：（1）基于精英保存策略的精英子空间算子；（2）基于全局收敛策略的变重组、变换概率Pc和变变异概率Pm算子；（3）基于群体搜索技术的变维子空间算子。将改进的基因表达式程序设计应用于函数建模，获得满意的结果。     

基于主元子空间故障重构技术的故障诊断研究

针对基于主元分析(PCA)的统计性能监控法,由于不用过程机理模型的信息,因此,对故障诊断问题有难以在理论上作系统分析的缺陷,于是提出了一种基于主元子空间故障重构技术的故障诊断方法。利用故障子空间的概念,在故障重构技术的基础上,研究基于T~2统计量的故障诊断问题,提出故障识别指标和诊断算法。通过对双效蒸发过程的仿真监测,验证该诊断方法的有效性。