基于格拉斯曼流形子空间融合的多视图聚类

现有的多视图聚类算法大多假设多视图数据点之间为线性关系,且在学习过程中无法保留原始特征空间的局部性;而在欧氏空间中进行子空间融合又过于单调,无法将学习到的子空间表示对齐。针对以上问题,提出了基于格拉斯曼流形融合子空间的多视图聚类算法。首先,将核技巧和局部流形结构学习结合以得到不同视图的子空间表示;然后,在格拉斯曼流形上融合这些子空间表示以得到一致性亲和矩阵;最后,对一致性亲和矩阵执行谱聚类来得到最终的聚类结果,并利用交替方向乘子法（ADMM）来优化所提模型。与核多视图低秩稀疏子空间聚类（KMLRSSC）算法相比,所提算法的聚类精度在MSRCV1、Prokaryotic、Not-Hill数据集上分别提高了20.83个百分点、9.47个百分点和7.33个百分点。实验结果验证了基于格拉斯曼流形融合子空间的多视图聚类算法的有效性和良好性能。     

流形距离与压缩感知核稀疏投影的局部线性嵌入算法

流形学习算法的目的是发现嵌入在高维数据空间中的低维表示,现有的流形学习算法对邻域参数k和噪声比较敏感。针对此问题,文中提出一种流形距离与压缩感知核稀疏投影的局部线性嵌入算法,其核心思想是集成局部线性嵌入算法对高维流形结构数据的降维有效性与压缩感知核稀疏投影的强鉴别性,以实现高效有降噪流形学习。首先,在选择各样本点的近邻域时,采用流形距离代替欧氏距离度量数据间相似度的方法,创建能够正确反映流形内部结构的邻域图,解决以欧氏距离作为相似性度量时对邻域参数的敏感。其次,利用压缩感知核稀疏投影作为从高维观测空间到低维嵌入空间的映射,增强算法的鉴别性。最后,利用Matlab工具对实验数据集进行仿真,进一步验证所提算法的有效性。     

局部子空间聚类

现有子空间聚类方法通常以数据全局线性为前提,将每个样本点表示为其他样本点的线性组合,因而导致常见子空间聚类方法不能很好地应用于非线性数据.为克服全局线性表示的局限,借鉴流形学习思想,用k近邻局部线性表示代替全局线性表示,与稀疏子空间聚类和最小二乘子空间聚类方法相结合,提出局部稀疏子空间聚类和局部最小二乘子空间聚类方法,统称局部子空间聚类方法.在双月形数据、6个图像数据集和4个基因表达数据集上进行实验,实验结果表明该方法是有效的.     

自然最近邻优化的密度峰值聚类算法*

针对现有的基于密度的聚类算法存在参数敏感,处理非球面数据和复杂流形数据聚类效果差的问题,提出一种新的基于密度峰值的聚类算法。该算法首先根据自然最近邻居的概念确定数据点的局部密度,然后根据密度峰局部密度最高并且被稀疏区域分割来确定聚类中心,最后提出一种新的类簇间相似度概念来解决复杂流形问题。在实验中,该算法在合成和实际数据集中的表现比DPC(clustering by fast search and find of density peaks)、DBSCAN(density-based spatial clustering of applications with noise)和K-means算法要好,并且在非球面数据和复杂流形数据上的优越性特别大。     

自适应局部核的最优邻域多核聚类

由于传统的多核聚类算法忽略了局部密度和过度限制学习最优核的表示能力,提出了 一种自适应局部核的最优邻域多核聚类算法.首先通过选择不同数目的邻域构造自适应局部核,邻域之间的相似度由一个预定义的阈值下界进行度量.然后将构造的自适应局部核应用于多核聚类模型,同时放宽了最优核的刚性约束.最后在6个具基准数据集上验证了提出聚类算...     

局部保留最大信息差υ-支持向量机

针对现有模式分类方法不能较好地保持数据空间的局部流形信息或差异信息等问题,提出一种基于流形学习的局部保留最大信息差υ-支持向量机(Locality-preserved maximum information variance υ-support vector machine,υ-LPMIVSVM).对于模式分类问题,v-LPMIVSVM引入局部同类离散度和局部异类离散度概念,分别体现输入空间局部流形结构和局部差异(或判别)信息,通过最小化局部同类离散度和最大化局部异类离散度,优化分类器的投影方向.同时,υ-LPMIVSVM采用适于流形数据的测地线距离来度量数据点对间的相似性,以更好地反映流形数据的本质结构.人造和实际数据集实验结果显示所提方法具有良好的泛化性能.     

联合低秩稀疏的多核子空间聚类算法

针对多核子空间谱聚类算法没有考虑噪声和关系图结构的问题，提出了一种新的联合低秩稀疏的多核子空间聚类算法(JLSMKC)。首先，通过联合低秩与稀疏表示进行子空间学习，使关系图具有低秩和稀疏结构属性；其次，建立鲁棒的多核低秩稀疏约束模型，用于减少噪声对关系图的影响和处理数据的非线性结构；最后，通过多核方法充分利用共识核矩阵来增强关系图质量。7个数据集上的实验结果表明，所提算法JLSMKC在聚类精度(ACC)、标准互信息(NMI)和纯度(Purity)上优于5种流行的多核聚类算法，同时减少了聚类时间，提高了关系图块对角质量。该算法在聚类性能上有较大优势。     

基于稀疏连接的层次化多核K-Means算法

多核学习(Multiple Kernel Learning, MKL)的目标是寻找一个最优的一致性核函数。在层次化多核聚类算法(HMKC)中，通过从高维空间中对样本特征进行逐层提取的方式来实现最大化地保留有效信息，但是却忽略了层与层之间的信息交互。该模型中只有相邻层中对应的结点会进行信息交互，对于其他结点来说是孤立的，而采用全连接的方式又会削弱最终一致性矩阵的多样性。因此，文中提出了一种基于稀疏连接的层次化多核K-Means算法(Sparse Connectivity Hierarchical Multiple Kernel K-Means, SCHMKKM)。该算法通过稀疏率来控制分配矩阵以达到稀疏连接的效果，从而将层与层之间信息蒸馏得到的特征进行局部融合。最后，在多个数据集上进行聚类分析，并在实验中与全连接的层次化多核K-Means算法(FCHMKKM)进行实验对比，证明了具有更多差异性的信息融合有利于学习更好的一致性划分矩阵，并且稀疏连接的融合策略优于全连接的策略。     

一种在源数据稀疏情况下的流形学习算法研究

传统的流形学习算法能有效地学习出高维采样数据的低维嵌入坐标,但也存在一些不足,如不能处理稀疏的样本数据.针对这些缺点,提出了一种基于局部映射的直接求解线性嵌入算法(Solving Directly Linear Embedding,简称SDLE).通过假定低维流形的整体嵌入函数,将流形映射赋予局部光滑的约束,应用核方法将高维空间的坐标投影到特征空间,最后构造出在低维空间的全局坐标.SDLE算法解决了在源数据稀疏情况下的非线性维数约简问题,这是传统的流形学习算法没有解决的问题.通过实验说明了SDLE算法研究的有效性.     

弹性多核学习

多核学习 (MKL) 的提出是为了解决多个核矩阵的融合问题, 多核学习求解关于多个核矩阵的最优的线性组合并同时解出对应于这个组合矩阵的支持向量机(SVM)问题. 现有的多核学习的框架倾向于寻找稀疏的组合系数, 但是当有信息的核的比例较高的时候, 对稀疏性的倾向会使得只有少量的核被选中而损失相当的分类信息. 在本文中, 我们提出了弹性多核学习的框架来实现自适应的多核学习. 弹性多核学习的框架利用了一个混合正则化函数来均衡稀疏性和非稀疏性, 多核学习和支持向量机问题都可以视作弹性多核学习的特殊情形. 基于针对多核学习的梯度下降法, 我们导出了针对弹性多核学习的梯度下降法. 仿真数据的结果显示了弹性多核学习方法相对多核学习和支持向量机的优势; 我们还进一步将弹性多核学习应用于基因集合分析问题并取得了有意义的结果; 最后, 我们比较研究了弹性多核学习与另一种利用了非稀疏思想的多核学习.