面向多视角数据的极大熵聚类算法

当前,极大熵聚类(maximum entropy clustering,MEC)在面对多视角聚类任务时,是将多视角样本合并成为一个整体样本再进行处理,然而这样会破坏各视角的独立性特征,进而影响最终的划分结果。针对该问题,首先提出多视角协同划分极大熵聚类算法(multi-view collaborative partition MEC,Co MEC),该算法加入一个协调各视角空间划分的约束项,使得每一视角在单独聚类过程中考虑到其他视角的影响;然后通过区分每个视角的重要性将Co MEC算法扩展为视角加权版本,即视角加权协同划分极大熵聚类算法(view weighted collaborative partition MEC,W-Co MEC);最后利用几何均值的集成策略得到全局性的划分结果。在人工数据集以及UCI数据集上的实验结果均显示所提算法较之已有的聚类技术在应对多视角聚类任务时具有更好的聚类性能。     

熵加权多视角核K-means算法

在基于视角加权的多视角聚类中,每个视角的权重取值对聚类结果的精度都有着重要的影响。针对此问题,提出熵加权多视角核K-means(EWKKM) 算法,通过给每个视角分配一个合理的权值来降低噪声视角或无关视角对多视角聚类的影响,进而提高聚类的精度。EWKKM算法中,首先用核矩阵表示不同的视角,给每个视角分配一个权重;然后,利用信息熵计算出各个视角的熵权重;最后,按照定义的目标函数对各个视角的权重进行优化,使用核K-means进行多视角聚类。在UCI数据集及人工数据集进行实验,实验结果表明熵加权多视角核K-means算法能够为每个视角分配一个最优的权重值,聚类的精确度优于已有的聚类算法,具有更稳定的聚类结果。     

类中心极大的多视角极大熵聚类算法

在数据稀少、数据维度高、多视角聚类任务的情况下,传统极大熵聚类算法会因类中心趋于一致,从而导致聚类失败。为解决此类问题,在传统极大熵聚类算法的基础上,引入类中心惩罚机制,融合权重矩阵实现多视角划分融合,构建出类中心极大的多视角极大熵聚类算法。该算法通过调整每个视角上的权重来体现某个视角的重要性,并通过类中心极大惩罚项解决了多视角聚类任务下,因数据稀少、数据维度高导致每个视角上的类中心趋于一致的问题。通过大量实验进一步证明,该算法在处理高维度、数据稀少、存在干扰数据和多视角的数据集时,其聚类效果明显优于传统的聚类算法。     

基于低秩约束的熵加权多视角模糊聚类算法EI北大核心CSCD

如何有效挖掘多视角数据内部的一致性以及差异性是构建多视角模糊聚类算法的两个重要问题.本文在Co-FKM算法框架上,提出了基于低秩约束的熵加权多视角模糊聚类算法(Entropy-weighting multi-view fuzzy C-means with low rank constraint,LR-MVEWFCM).一方面,从视角之间的一致性出发,引入核范数对多个视角之间的模糊隶属度矩阵进行低秩约束;另一方面,基于香农熵理论引入视角权重自适应调整策略,使算法根据各视角的重要程度来处理视角间的差异性.本文使用交替方向乘子法(Alternating direction method of multipliers,ADMM)进行目标函数的优化.最后,人工模拟数据集和UCI(University of California Irvine)数据集上进行的实验结果验证了该方法的有效性.     

模糊加权多视角可能性聚类算法

受益于独有的可能性聚类特性,较之传统FCM、k-means等基于类均值方法,PCM拥有更佳的聚类效果和抗噪性能。但PCM为传统单视角聚类算法,其在面对新兴多视角聚类场景时,往往效果欠佳。为解决此问题,基于PCM,提出一种新型的称为模糊加权多视角可能性聚类WCo-PCM算法。WCo-PCM显著优点在于其具备对各视角的自适应加权。有关UCI数据集的实验结果表明该算法较传统聚类算法及多视角聚类算法更具抗干扰性,有着更佳的聚类性能。     

多视角模糊双加权可能性聚类算法

为解决传统可能性聚类算法（PCM）无法满足多视角学习场景聚类的实际问题,并进一步考虑到现有多视角聚类算法尚未重视的视角权重及视角内特征权重优化问题,本文提出一种新的具备最佳视角及最优特征划分能力的多视角模糊双加权可能性聚类算法（MV-FDW-PCM）。该算法将基于传统的PCM算法,给出了详细的多视角聚类学习框架使得PCM算法具备多视角聚类能力,进而通过引入视角间模糊加权机制及视角内属性模糊加权机制解决视角间权重及视角内特征权重优化问题。实验结果表明,所提的MV-FDW-PCM算法在面对多视角聚类问题时较以往算法具有更佳的聚类效果。     

协同极大熵聚类算法

极大熵聚类算法(MEC)是基于信息论的新型聚类算法。以不同子集之间的协同关系为出发点,与信息理论中的极大熵原理相结合,通过构造新的极大熵目标函数来改变传统聚类算法中对整个数据集直接聚类的机制。提出一种基于协同的极大熵聚类算法CMEC,它不仅具有较MEC算法更高的聚类精度和更好的泛化性等特点,较之协同模糊聚类算法还具有更好的物理意义。实验结果表明所提出的CMEC算法具有上述优点,其聚类效果比传统的聚类算法有了很大的提高。     

视角熵权重的中心化多视角模糊聚类

研究了多视角聚类问题,由于多视角聚类考虑到每个样本在多个视角的信息后进行聚类,并利用了更多的有效信息,因而较单视角聚类算法更优。目前绝大多数多视角聚类算法在聚类过程中认为各个视角同等重要,但是如果其中存在质量较差的视角,则会严重影响聚类的最终结果。不同的视角由于其包含信息质量的差异,对聚类最终结果的影响也是不同的。根据每个视角对聚类的贡献率赋予每个视角不同的权值,并利用中心化策略,提出了基于视角熵权重的中心化多视角模糊聚类(entropy weighting centralized multi-view fuzzy clustering,EWCMVC)算法。在人工数据集和实际数据集上的仿真结果验证了该算法聚类性能优于传统单视角和多视角聚类算法。     

基于熵特征优选分组聚类的相似重复记录检测

针对目前相似重复记录检测方法不能有效处理大数据量的问题,提出一种基于熵的特征优选分组聚类的算法.该方法通过构造一个基于对象间相似度的熵度量,对原始数据集中各属性进行重要性评估,筛选出关键属性集,并依据关键属性将数据划分为不相交的小数据集,在各小数据集中用DBSCAN聚类算法进行相似重复记录的检测.理论分析和实验结果表明...     

初始聚类中心优化的加权最大熵核FCM算法

针对传统基于最大熵模糊 C 均值聚类算法（MEFCM）仅适用于球状或椭圆状聚类,为了解决数据分布混乱以及高度相关难以划分的情形,引入 Mercer 核函数,使原来没有显现的特征突现出来,从而使聚类效果更好。然而在实际问题中,大多数样本集的样本数据都存在着重要性（权重）不同的现象,主要针对样本集中各个数据的不同重要程度来设计加权方法,同时为了克服聚类算法对初始聚类中心选取的敏感性这一弱点,提出了一个初始聚类中心优化的加权最大熵核模糊聚类算法（WKMEFCM）。通过实验验证,该算法与原MEFCM算法比较,其聚类结果更加稳定、准确,从而达到更好的聚类划分效果。     

基于划分自适应融合的多视角模糊聚类算法

针对多视角聚类任务如何更好地实现视角间的合作之挑战, 提出一种新的视角融合策略. 该策略首先为每个视角设置一个划分, 然后通过自适应学习获取一个融合权重矩阵对每个视角的划分进行自适应融合, 最终利用视角集成方法得到全局划分结果. 将上述策略应用到经典的FCM(Fuzzy ??-means) 模糊聚类框架, 提出相应的多视角模糊聚类算法. 在模拟数据集和UCI 数据集上的实验结果均显示, 所提出的算法较几种相关聚类算法在应对多视角聚类任务时具有更好的适应性和更好的聚类性能.

     

代表点一致性约束的多视角模糊聚类算法

多视角数据的涌现对传统单视角聚类算法提出了挑战.利用单视角聚类算法独立地对每个视角进行划分,再通过集成机制获取全局划分的方法,人为地割裂了视角之间的内在联系,难以获得理想的聚类效果.针对此问题,提出了一个多视角聚类模型.该模型不仅考虑了视角内的划分质量,还兼顾了视角间的协同学习机制.对于视角内的划分,为了捕捉更为准确的簇内结构信息,采用多代表点的簇结构表示策略;对于视角间的协同学习机制,假设簇中代表点在不同视角下,其代表性保持.因此,在该模型基础上提出了基于代表点一致性约束的多视角模糊聚类算法（multi-view fuzzy clustering with a medoid invariant constraint,简称MFCMddI）.该算法通过最大化两两相邻视角下代表点权重系数的乘积之和来保证代表点一致性.MFCMddI的目标函数可通过引入拉格朗日乘子和KKT条件进行优化.在人工数据集以及真实数据集上的实验结果均表明,该算法相对于所引入的对比算法而言具有一定的优势.     

Multi-view document clustering via ensemble method

Multi-view clustering has become an important extension of ensemble clustering. In multi-view clustering, we apply clustering algorithms on different views of the data to obtain different cluster labels for the same set of objects. These results are then combined in such a manner that the final clustering gives better result than individual clustering of each multi-view data. Multi view clustering can be applied at various stages of the clustering paradigm. This paper proposes a novel multi-view clustering algorithm that combines different ensemble techniques. Our approach is based on computing different similarity matrices on the individual datasets and aggregates these to form a combined similarity matrix, which is then used to obtain the final clustering. We tested our approach on several datasets and perform a comparison with other state-of-the-art algorithms. Our results show that the proposed algorithm outperforms several other methods in terms of accuracy while maintaining the overall complexity of the individual approaches.     

神经模糊系统中模糊规则的优选

提出一种基于两级聚类算法的自组织神经模糊系统，该系统采用两级聚类算法（改进的最近邻域聚类算法和Gustafson-Kessel模糊聚类算法）对输入／输出数据进行模糊聚类，并由模糊聚类的划分熵确定最优划分，建立模糊模型，模型精度可由梯度下降法进一步提高。仿真结果表明，这种神经模糊系统具有结构简单、规则数少、学习速度快以及建模精度高等特点。     

特征直连与结构化约束的多视图子空间聚类

多视图子空间聚类作为处理多视图数据的聚类算法，其目的在于学习到一个共识的子空间后用于聚类。但是，现存的多视图子空间聚类算法只是将目标放在了原有的多个视图上，忽略了通过特征直连得到的数据。提出的FSMC算法使原有的多个视图与特征直连视图相互学习，通过误差重构和结构化约束子空间得到一个更加合适的子空间表示，同时还考虑了多视图与特征直连视图的权重关系。最后，在4个基准数据集上进行实验，验证了算法的有效性。     

基于改进粒子群优化的移动界面模式聚类算法

聚类是一种非常有效的信息分析方法。针对现有基于粒子群优化的模糊C均值(Fuzzy C-means,FCM)聚类算法的聚类效果不佳的问题,提出一种基于改进粒子群优化的模糊C均值聚类算法,并将该聚类算法应用到移动界面模式的聚类中。首先,利用直觉模糊熵的几何解释和约束构造合理的直觉模糊熵;然后,在粒子群优化中使用直觉模糊熵判断种群的多样性程度,并引入混沌反向学习策略来提高全局搜索能力;最后,为了增强聚类算法的非线性处理能力,在聚类算法中加入高斯核函数,并将该聚类算法应用到移动界面模式的聚类中。移动界面模式聚类的实验表明,与现有聚类算法相比,文中所提聚类算法具有更好的聚类效果。     

Multi-view clustering via simultaneous weighting on views and features

In big data era, more and more data are collected from multiple views, each of which reflect distinct perspectives of the data. Many multi-view data are accompanied by incompatible views and high dimension, both of which bring challenges for multi-view clustering. This paper proposes a strategy of simultaneous weighting on view and feature to discriminate their importance. Each feature of multi-view data is given bi-level weights to express its importance in feature level and view level, respectively. Furthermore, we implements the proposed weighting method in the classical k-means algorithm to conduct multi-view clustering task. An efficient gradient-based optimization algorithm is embedded into k-means algorithm to compute the bi-level weights automatically. Also, the convergence of the proposed weight updating method is proved by theoretical analysis. In experimental evaluation, synthetic datasets with varied noise and missing-value are created to investigate the robustness of the proposed approach. Then, the proposed approach is also compared with five state-of-the-art algorithms on three real-world datasets. The experiments show that the proposed method compares very favourably against the other methods.     

Unsupervised learning of prototypes and attribute weights

In this paper, we introduce new algorithms that perform clustering and feature weighting simultaneously and in an unsupervised manner. The proposed algorithms are computationally and implementationally simple, and learn a different set of feature weights for each identified cluster. The cluster dependent feature weights offer two advantages. First, they guide the clustering process to partition the data set into more meaningful clusters. Second, they can be used in the subsequent steps of a learning system to improve its learning behavior. An extension of the algorithm to deal with an unknown number of clusters is also proposed. The extension is based on competitive agglomeration, whereby the number of clusters is over-specified, and adjacent clusters are allowed to compete for data points in a manner that causes clusters which lose in the competition to gradually become depleted and vanish. We illustrate the performance of the proposed approach by using it to segment color images, and to build a nearest prototype classifier.