面向多视角数据的极大熵聚类算法

当前,极大熵聚类(maximum entropy clustering,MEC)在面对多视角聚类任务时,是将多视角样本合并成为一个整体样本再进行处理,然而这样会破坏各视角的独立性特征,进而影响最终的划分结果。针对该问题,首先提出多视角协同划分极大熵聚类算法(multi-view collaborative partition MEC,Co MEC),该算法加入一个协调各视角空间划分的约束项,使得每一视角在单独聚类过程中考虑到其他视角的影响;然后通过区分每个视角的重要性将Co MEC算法扩展为视角加权版本,即视角加权协同划分极大熵聚类算法(view weighted collaborative partition MEC,W-Co MEC);最后利用几何均值的集成策略得到全局性的划分结果。在人工数据集以及UCI数据集上的实验结果均显示所提算法较之已有的聚类技术在应对多视角聚类任务时具有更好的聚类性能。     

协同极大熵聚类算法

极大熵聚类算法(MEC)是基于信息论的新型聚类算法。以不同子集之间的协同关系为出发点,与信息理论中的极大熵原理相结合,通过构造新的极大熵目标函数来改变传统聚类算法中对整个数据集直接聚类的机制。提出一种基于协同的极大熵聚类算法CMEC,它不仅具有较MEC算法更高的聚类精度和更好的泛化性等特点,较之协同模糊聚类算法还具有更好的物理意义。实验结果表明所提出的CMEC算法具有上述优点,其聚类效果比传统的聚类算法有了很大的提高。     

基于最大中心间隔的缩放型η-极大熵聚类算法

为了调控数据之间的差异性,一般化的处理方式是对数据简单地进行按比例缩放,而此类做法本身对于数据的信息是不存在任何破坏的。但在进行聚类分析时,大部分算法对于按比缩放的数据都是很敏感的,其中较典型的算法有极大熵聚类(MEC)算法。大量的实验表明,当缩放尺度位于10-3数量级以下时,极大熵聚类算法已经失效,通过该算法得到的聚类中心趋于一致。为了解决上述问题,在MEC算法的基础上引入最大中心间隔项与缩放因子η,构造出了全新的目标函数,称为η型最大中心间隔极大熵聚类(η-MCS-MEC)算法。该算法通过调控中心点间的距离使之达到最大,并有效利用缩放因子η对各类划分进行调控,从而避免了聚类中心趋于一致。通过在模拟数据集以及UCI仿真数据集上的实验,结果均显示出算法对变化的数据不再敏感而具有鲁棒性。     

基于极大熵的知识迁移模糊聚类算法

针对传统的聚类算法在样本数据量不足或样本受到污染情况下的聚类性能下降问题,在经典的极大熵聚类算法（MEKTFCA）的基础上,提出了一种新的融合历史聚类中心点和历史隶属度这两种知识的基于极大熵的知识迁移模糊聚类算法。该算法通过学习由源域总结出来的有益历史聚类中心和历史隶属度知识来指导数据量不足或受污染的目标域数据的聚类任务,从而提高了聚类性能。通过一组模拟数据集和两组真实数据集构造的迁移场景上的实验,证明了该算法的有效性。     

熵加权多视角协同划分模糊聚类算法

当前,基于协同学习机制的多视角聚类技术存在如下两点不足：第一,以往构造的用于各视角协同学习的逼近准则物理含义不明确且控制简单;第二,以往算法均默认各视角的重要性程度是相等的,缺少各视角重要性自适应调整的能力。针对上述不足：首先,基于具有良好物理解释性的Havrda-Charvat熵构造了一个全新的异视角空间划分逼近准则,该准则能有效地控制异视角间的空间划分相似程度;其次,基于香农熵理论提出了多视角自适应加权策略,可有效地控制各视角的重要性程度,提高算法的聚类性能;最后,基于FCM框架提出了熵加权多视角协同划分模糊聚类算法(entropy weight-collaborative partition-multi-view fuzzy clustering algorithm,简称EW-CoP-MVFCM)。在模拟数据集以及 UCI 数据集上的实验结果均显示,所提算法较之已有多视角聚类算法在应对多视角聚类任务时具有更好的适应性。     

知识迁移极大熵聚类算法

为解决数据不足或失真等环境下传统聚类技术效果不佳的问题,基于历史类中心和历史隶属度提出两种知识迁移机制,并与极大熵聚类方法融合提出知识迁移极大熵聚类算法KT-MEC. KT-MEC的优点是：利用历史知识, KT-MEC聚类有效性和实用性明显增强;内嵌迁移机制均不暴露源域数据,从而拥有源域隐私保护能力;KT-MEC基于的“参数寻优+聚类有效性度量”机制理论上保证其性能不差于经典极大熵算法,避免了负迁移问题.     

熵加权多视角核K-means算法

在基于视角加权的多视角聚类中,每个视角的权重取值对聚类结果的精度都有着重要的影响。针对此问题,提出熵加权多视角核K-means(EWKKM) 算法,通过给每个视角分配一个合理的权值来降低噪声视角或无关视角对多视角聚类的影响,进而提高聚类的精度。EWKKM算法中,首先用核矩阵表示不同的视角,给每个视角分配一个权重;然后,利用信息熵计算出各个视角的熵权重;最后,按照定义的目标函数对各个视角的权重进行优化,使用核K-means进行多视角聚类。在UCI数据集及人工数据集进行实验,实验结果表明熵加权多视角核K-means算法能够为每个视角分配一个最优的权重值,聚类的精确度优于已有的聚类算法,具有更稳定的聚类结果。     

视角熵权重的中心化多视角模糊聚类

研究了多视角聚类问题,由于多视角聚类考虑到每个样本在多个视角的信息后进行聚类,并利用了更多的有效信息,因而较单视角聚类算法更优。目前绝大多数多视角聚类算法在聚类过程中认为各个视角同等重要,但是如果其中存在质量较差的视角,则会严重影响聚类的最终结果。不同的视角由于其包含信息质量的差异,对聚类最终结果的影响也是不同的。根据每个视角对聚类的贡献率赋予每个视角不同的权值,并利用中心化策略,提出了基于视角熵权重的中心化多视角模糊聚类(entropy weighting centralized multi-view fuzzy clustering,EWCMVC)算法。在人工数据集和实际数据集上的仿真结果验证了该算法聚类性能优于传统单视角和多视角聚类算法。     

模糊加权多视角可能性聚类算法

受益于独有的可能性聚类特性,较之传统FCM、k-means等基于类均值方法,PCM拥有更佳的聚类效果和抗噪性能。但PCM为传统单视角聚类算法,其在面对新兴多视角聚类场景时,往往效果欠佳。为解决此问题,基于PCM,提出一种新型的称为模糊加权多视角可能性聚类WCo-PCM算法。WCo-PCM显著优点在于其具备对各视角的自适应加权。有关UCI数据集的实验结果表明该算法较传统聚类算法及多视角聚类算法更具抗干扰性,有着更佳的聚类性能。     

一种极大中心间隔的核可能性C均值聚类算法

传统核可能性C均值（KPCM）算法仅考虑类内的紧密性而忽略了类间的距离关系,在对边界模糊的数据进行聚类分析时,会引起因聚类中心距离小或重合引起的边界点误分问题。为解决上述问题,在核可能性C均值基础上引入高维特征空间中的类间极大惩罚项和调控因子[λ],构造了全新的目标函数,称为极大中心间隔的核可能性C均值（MKPCM）聚类算法。该算法通过类间极大惩罚项使类间距离极大化,并利用调控因子[λ]合理控制类间距,较好地避免了类中心间距离小或重合的现象。通过大量的实验证明,算法对于边界模糊的数据聚类效果优于传统的聚类算法;在图像分割的实际应用中,算法也明显优于传统的聚类算法。     

密度敏感模糊核最大熵聚类算法EI北大核心CSCD

提出一种密度敏感模糊核最大熵聚类算法.该算法首先通过核函数将原始非线性非高斯的数据集转化为核空间数据集,然后利用核函数的相似性抵消不属于该聚类的样本数据在聚类过程中对聚类中心求解的干扰,消除正则化系数对聚类结果的影响,进而抑制传统最大熵聚类算法的趋同性.最后通过引入相对密度项,解决因样本数据在特征空间的分布差异而导致的聚类中心求解偏差问题,从而提高聚类结果的准确性.实验部分,本文讨论了算法参数间的关系以及对聚类结果的影响.通过与传统模糊C均值聚类算法、核模糊C均值聚类算法、最大熵聚类算法、最大熵规范化权重核模糊C均值聚类算法以及其他两种改进最大熵聚类算法的聚类结果进行对比分析,结果表明本文提出的密度敏感模糊核最大熵聚类算法的聚类性能明显优于其他算法.     

基于改进的最大熵均值聚类方法在文本分类中的应用*

针对传统的文本分类算法存在着各特征词对分类的结果影响相同、分类准确率较低、造成算法时间复杂度增加的问题,提出了一种改进的最大熵C-均值聚类文本分类方法。该方法充分结合了C-均值聚类和最大熵值算法的优点,以香农熵作为最大熵模型中的目标函数,简化分类器的表达形式,然后采用C-均值聚类算法对最优特征进行分类。仿真实验结果表明,与传统的文本分类方法相比,提出的方法能够快速得到最优分类特征子集,大大提高了文本分类准确率。     

知识迁移的极大熵聚类算法及其在纹理图像分割中的应用

本文研究了一种新型的基于知识迁移的极大熵聚类技术。拟解决两大挑战性问题:1）如何从源域中选择合适的知识对目标域进行迁移学习以最终强化目标域的聚类性能;2）若存在源域聚类数与目标域聚类数不一致的情况时,该如何进行迁移聚类。为此提出一种全新的迁移聚类机制,即基于聚类中心的中心匹配迁移机制。进一步将该机制与经典极大熵聚类算法相融合提出了基于知识迁移的极大熵聚类算法（KT-MEC）。实验表明,在不同迁移场景下的纹理图像分割应用中,KT-MEC算法较很多现有聚类算法具有更高的精确度和抗噪性。     

多视角模糊双加权可能性聚类算法

为解决传统可能性聚类算法（PCM）无法满足多视角学习场景聚类的实际问题,并进一步考虑到现有多视角聚类算法尚未重视的视角权重及视角内特征权重优化问题,本文提出一种新的具备最佳视角及最优特征划分能力的多视角模糊双加权可能性聚类算法（MV-FDW-PCM）。该算法将基于传统的PCM算法,给出了详细的多视角聚类学习框架使得PCM算法具备多视角聚类能力,进而通过引入视角间模糊加权机制及视角内属性模糊加权机制解决视角间权重及视角内特征权重优化问题。实验结果表明,所提的MV-FDW-PCM算法在面对多视角聚类问题时较以往算法具有更佳的聚类效果。     

基于辅助空间与极大熵的半监督聚类方法

将极大熵原理引入半监督聚类方法中,提出基于辅助空间与极大熵的半监督聚类算法AMESC,针对该算法中的代价函数进行迭代优化,实现聚类。AMESC的优势在于它依据模拟退火过程,使算法避开局部极小而得到全局极小,提高算法性能。通过实验证实了AMESC的有效性和优越性。     

一种改进的k-means初始聚类中心选取算法

在传统的k-means聚类算法中,聚类结果会随着初始聚类中心点的不同而波动,针对这个缺点,提出一种优化初始聚类中心的算法。该算法通过计算每个数据对象的密度参数,然后选取k个处于高密度分布的点作为初始聚类中心。实验表明,在聚类类别数给定的情况下,通过用标准的UCI数据库进行实验比较,发现采用改进后方法选取的初始类中心的k-means算法比随机选取初始聚类中心算法有相对较高的准确率和稳定性。     

基于共享近邻的多视角谱聚类算法

为了解决谱聚类算法中相似矩阵的构造不能满足簇内数据点高度相似的问题，给出一种基于共享近邻的多视角谱聚类算法（MV-SNN）。首先，算法通过提高共享近邻个数多的两个数据点的相似度，使同簇的数据之间的相似度更高；然后，将改进后的多个视角的相似矩阵进行相加从而整合得到全局相似矩阵；最后，为了解决一般谱聚类算法在后期仍需要通过k均值聚类算法进行数据点划分的问题，给出拉普拉斯矩阵秩约束的方法，从而直接通过全局相似矩阵得到最终的类簇结构。实验结果表明，对比其他几种多视角谱聚类算法，MV-SNN算法在三个聚类衡量标准：准确度、纯度和归一化互信息上的性能提高了1%~20%，在聚类时间上减少了50%左右，可见MV-SNN算法的聚类性能更好，用时更短。