基于MapReduce的并行MRACO-PAM聚类算法

聚类分析是数据处理算法中常用的方法,PAM算法自提出以来便成为了最常使用的聚类算法之一。虽然传统PAM算法解决了K-Means算法在聚类过程中对脏数据敏感的问题,但是传统PAM算法存在收敛速度慢、处理大数据集效率不高等问题。针对这些问题,利用蚁群搜索机制来增强PAM算法的全局搜索能力和局部探索能力,并基于MapReduce并行编程框架提出MRACO-PAM算法来实现并行化计算,并进行实验。实验结果表明,基于MapReduce框架的并行MRACO-PAM聚类算法的收敛速度得到了改善,具备处理大规模数据的能力,而且具有良好的可扩展性。     

基于MapReduce的并行聚类算法设计与实现

针对目前聚类算法对大数据处理效率较低的问题,研究云平台上高效并行化的聚类算法十分必要。在HDFS分布式文件系统基础上,设计一种并行聚类算法P-ISODATA,利用MapReduce编程框架的执行机制将传统ISODATA聚类算法并行化,并在Map阶段之后加入Combine阶段以减少网络传输开销,进一步提高执行效率。实验从著名UCI机器学习库上选取若干数据集作为测试数据,分析了新并行算法P-ISODATA性能,结果表明基于P-ISODATA算法具有优良的加速比、数据伸缩率和扩展率,可以有效地应用于大规模数据的处理。     

基于混合并行遗传算法的文本聚类研究

针对传统K-Means聚类算法对初始聚类中心的选择敏感,易陷入局部最优解的问题,提出一种基于混合并行遗传算法的文本聚类方法。该方法首先将文档集合表示成向量空间模型,并在文档向量中随机选择初始聚类中心形成染色体,然后结合K-Means算法的高效性和并行遗传算法的全局优化能力,通过种群内的遗传、变异和种群间的并行进化、联姻,有效地避免了局部最优解的出现。实验表明该算法相对于K-Means算法、简单遗传算法等文本聚类方法具有更高的精确度和全局寻优能力。     

数据划分优化的并行k-means算法

针对大规模文本聚类中对聚类算法执行效率的要求,提出了一个内容相关的纵向数据划分策略FTDV,并基于该策略提出了数据划分优化的并行DVP k-means算法,提高了常规并行k-means算法的并行化程度,达到了优化算法执行效率的目的。在实验中,与常规并行k-means算法和基于关键方向分解的PDDP k-means算法进行比较,DVP k-means具有更好的并行性和对数据规模的适应性,且可以生成更高质量的聚簇。     

基于MIP和改进模糊K-Means算法的大数据聚类设计

为了克服经典模糊K-Means算法在面对大数据聚类时所出现的聚类效率低和运行时间长的问题,提出了一种基于层次式MPI并行编程模型和改进模糊K-Means算法的大数据聚类方法;首先,引入多层MasterNode节点设计了一种改进的层次式MPI并行编程模型,然后,引入类间距离和类内距离得到一种最优聚类数的计算方式,并设计了一种改进的模糊K-均值聚类算法;采用SlaveNode节点并行运行改进的模糊K均值算法进行数据子集聚类,然后再通过各层MasterNode节点进行汇总和进一步处理;仿真实验表明文中方法能较为精确地实现大数据聚类,准确精确度较经典模糊K均值算法平均约高5.6%,弥补了经典模糊K-Means方法在处理大数据时的正确率低和低效的缺点,具有很强的优越性。     

面向大规模数据快速聚类K-means算法的研究

为进一步提高K-means算法对大规模数据聚类的效率,结合MapReduce计算模型,提出一种先利用Hash函数进行样本抽取,再利用Pam算法获取初始中心的并行聚类方法。通过Hash函数抽取的样本能充分反映数据的统计特性,使用Pam算法获取初始聚类中心,改善了传统聚类算法依赖初始中心的问题。实验结果表明该算法有效提高了聚类质量和执行效率,适用于对大规模数据的聚类分析。     

基于MapReduce的人工蜂群算法在大数据中的应用

随着信息技术的不断进步,数据规模不断增大。聚类是一种典型的数据分析方法,尤其是对大规模数据进行聚类分析近年来备受关注。针对现有序列聚类算法在对大规模数据进行聚类时,在内存空间和计算时间方面开销较大的问题,提出了基于MapReduce的人工蜂群聚类算法,通过引入MapReduce并行编程范式,快速计算聚类中心适应度,可实现对大规模数据的高效聚类。基于仿真和真实的磁盘驱动器制造两类数据,对算法的聚类效果、可扩展性和聚类效率进行了验证。实验结果表明,与现有PK-Means算法和并行K-PSO算法相比,论文算法具有更好的聚类效果、更强的扩展性和更高的聚类效率。     

基于免疫遗传的K-Means聚类算法分析

聚类算法是数据挖掘中的一个重要研究领域,在所有的聚类算法中K.Means算法应用得最为广泛.针对K-Means算法容易陷入局部最优解的缺点,提出了基于免疫遗传的K-Means聚类算法来避免这个问题.理论分析和实验表明,该算法比传统的K-Means聚类有更好的效果.     

基于Flink的鲸鱼优化K-Means算法

针对K-Means聚类算法依赖于初始聚类中心选择的问题，利用鲸鱼优化算法易于获取全局最优解及快速收敛性的优势，结合分布式框架的并行优势，提出了一种基于Flink的鲸鱼优化K-Means聚类算法。通过鲸鱼优化算法对领头鲸迭代更新、优化位置，用算法的最优解作为聚类中心替代K-Means算法的随机聚类中心，改进后的算法聚类效果较好、收敛速度快，有效结合了智能算法及分布式框架的优势。     

基于改进属性约简的细粒度并行AP聚类算法

Affinity Propagation(AP)聚类算法将所有数据点作为潜在的聚类中心,在相似度矩阵的基础上通过消息传递进行聚类.与传统聚类方法相比,对于规模很大的数据集,AP是一种快速、有效的聚类方法.正是这样,属性约简对于AP算法非常重要.另外,在大规模并行系统的设计中,细粒度并行是实现高性能的基本策略.提出了一种基于改进属性约简的细粒度并行AP聚类算法(IRPAP),将粒度思想引入到并行计算中.首先分析了并行计算中的粒度原理.然后用改进的属性约简算法对数据集预处理.此算法并行计算并选择差别矩阵元素,降低了时间空间复杂度,最后用AP算法聚类.整个IRPAP算法将任务划分到多个线程同时处理.实验证明,对于大规模数据集的聚类,IRPAP算法比AP算法效率更高.     

一种基于网格的改进的K-Means聚类算法

K-Means算法对数据集中的每个数据点进行多次处理,因此对于大数据集时间效率不高.为提高K-Means算法的时间性能并使聚类结果更优,利用网格方法定义了单元密度聚合度概念,提出了一种基于网格的改进的K-Means聚类算法(IKMG).IKMG利用网格连通性原理并借助树形结构,将多个密集网格单元作为初始根节点,周围网格作为它的子节点,以此类推,广度优先扩展树最终得到K个聚类树.实验结果表明,IKMG不但大大缩短了K-Means算法对大数据集的处理时间,而且能有效消除聚类结果对初始聚类中心的敏感性,无需人为指定K值,能找出不同大小、不同形状的聚类.     

Efficient parallel algorithm for pixel classification in remote sensing imagery

An important approach for image classification is the clustering of pixels in the spectral domain. Fast detection of different land cover regions or clusters of arbitrarily varying shapes and sizes in satellite images presents a challenging task. In this article, an efficient scalable parallel clustering technique of multi-spectral remote sensing imagery using a recently developed point symmetry-based distance norm is proposed. The proposed distributed computing time efficient point symmetry based K-Means technique is able to correctly identify presence of overlapping clusters of any arbitrary shape and size, whether they are intra-symmetrical or inter-symmetrical in nature. A Kd-tree based approximate nearest neighbor searching technique is used as a speedup strategy for computing the point symmetry based distance. Superiority of this new parallel implementation with the novel two-phase speedup strategy over existing parallel K-Means clustering algorithm, is demonstrated both quantitatively and in computing time, on two SPOT and Indian Remote Sensing satellite images, as even K-Means algorithm fails to detect the symmetry in clusters. Different land cover regions, classified by the algorithms for both images, are also compared with the available ground truth information. The statistical analysis is also performed to establish its significance to classify both satellite images and numeric remote sensing data sets, described in terms of feature vectors.     

自适应谱聚类算法并行实现及优化

谱聚类算法是基于谱图分割理论的聚类方法,其对高维、非凸数据分布问题有很好的聚类效果。但对大规模数据问题的聚类,该方法存在着计算时间和存储空间等方面的瓶颈。本文给出了一个自适应的谱聚类并行算法,通过局部计算和异步循环通信并行方法,最大限度减少了并行谱聚类中数据通信次数,并通过计算与通信重叠策略,进一步降低了并行算法的通信开销。在并行算法实现中,将自主开发的最优预条件共轭梯度法并行求解器 PLOBPCG 用于谱聚类的特征降维。在中科院的“元”超级计算机上,通过对两类大规模数据聚类的测试表明,在 2048 核上的加速比接近线性加速,并行效率达到96%以上。     

基于改进的并行K-Means算法的电力负荷聚类研究

电力企业通常根据电力负荷数据,采用传统的K-Means算法对客户进行划分,而这种方法最大的缺陷就是必须由用户手动指定聚类簇数。提出了一种将Canopy算法和K-Means算法结合应用于负荷聚类的方法,无需手动指定聚类簇数。收集到的用户历史用电数据,使用并行计算框架MapReduce对原始数据进行预处理。应用Canopy和K-Means算法建立自动负荷聚类模型。在真实用电数据上进行实证分析,通过使用Silhouette指标对结果进行评估,证明提出的方法更加稳定和具有广泛的适用性。     

基于QPSO的数据聚类

在KMeans聚类、PSO聚类、KMeans和PSO混合聚类（KPSO）的基础上,研究了基于量子行为的微粒群优化算法（QPSO）的数据聚类方法,并提出利用KMeans聚类的结果重新初始化粒子群,结合QPSO的聚类算法,即KQPSO。介绍了如何利用上述算法找到用户指定的聚类个数的聚类中心。聚类过程都是根据数据之间的Euclidean（欧几里得）距离。KMeans算法、PSO算法和QPSO算法的不同在于聚类中心向量的“进化”上。最后使用三个数据集比较了上面提到的五种聚类方法的性能,结果显示基于QPSO     

基于局部搜索机制的K-Means聚类算法

K-Means聚类算法的结果质量依赖于初始聚类中心的选择。该文将局部搜索的思想引入K-Means算法,提出一种改进的KMLS算法。该算法对K-Means收敛后的结果使用局部搜索来使其跳出局部极值点,进而再次迭代求优。同时对局部搜索的结果使用K-Means算法使其尽快到达一个局部极值点。理论分析证明了算法的可行性和有效性,而在标准文本集上的文本聚类实验表明,相对于传统的K-Means算法,该算法改进了聚类结果的质量。     

倾斜因子K均值优化数据聚类及故障诊断研究

为提高海量数据挖掘和聚类的效率和精度,以应用于压缩机机械故障智能诊断中.将遗传算法与K均值聚类算法进行互补,提出基于倾斜分类K均值优化数据聚类算法.算法引入倾斜因子,避免较小类数据产生次优解的现象发生.在传统的K均值数据聚类算法基础上,通过倾斜因子排除了少数类局部最优解的干扰,提高遗传算法的收敛速度,也可以避免过早收敛到局部最优解中.仿真实验中以某天然气压气站采集的故障状态下的压缩机振动信号提取的特征量数据作为研究对象,进行数据聚类分析.仿真实验表明,通过改进的数据聚类算法对故障信号关联维特征量进行分类识别,能有效对四类天然气压缩机故障进行诊断分类,准确率能提高18.7％,研究结果在数据优化聚类及在机械故障诊断中的应用中具有良好的指导意义和实践价值.     

Combining K-Means and K-Harmonic with Fish School Search Algorithm for data clustering task on graphics processing units

Data clustering is related to the split of a set of objects into smaller groups with common features. Several optimization techniques have been proposed to increase the performance of clustering algorithms. Swarm Intelligence (SI) algorithms are concerned with optimization problems and they have been successfully applied to different domains. In this work, a Swarm Clustering Algorithm (SCA) is proposed based on the standard K-Means and on K-Harmonic Means (KHM) clustering algorithms, which are used as fitness functions for a SI algorithm: Fish School Search (FSS). The motivation is to exploit the search capability of SI algorithms and to avoid the major limitation of falling into locally optimal values of the K-Means algorithm. Because of the inherent parallel nature of the SI algorithms, since the fitness function can be evaluated for each individual in an isolated manner, we have developed the parallel implementation on GPU of the SCAs, comparing the performances with their serial implementation. The interest behind proposing SCA is to verify the ability of FSS algorithm to deal with the clustering task and to study the difference of performance of FSS-SCA implemented on CPU and on GPU. Experiments with 13 benchmark datasets have shown similar or slightly better quality of the results compared to standard K-Means algorithm and Particle Swarm Algorithm (PSO) algorithm. There results of using FSS for clustering are promising.     

具有特征语义权重的数据聚类方法

针对聚类中的特征选择问题,提出一种基于特征语义权重的数据聚类方法。该方法由用户指定必需的特征集,通过计算特征之间的语义相关度,选择和指定特征集相关的特征集作为补充。利用语义相关度确定各个特征的语义权重,在特征语义权重计算的基础上对传统的K-Means聚类算法进行改进,提出具有特征语义权重的FSW-KMeans算法。实验结果表明,FSW-KMeans算法较大地提高了聚类算法准确率和效率。     

A Scalable Parallel Algorithm for Self-Organizing Maps with Applications to Sparse Data Mining Problems

We describe a scalable parallel implementation of the self organizing map (SOM) suitable for data-mining applications involving clustering or segmentation against large data sets such as those encountered in the analysis of customer spending patterns. The parallel algorithm is based on the batch SOM formulation in which the neural weights are updated at the end of each pass over the training data. The underlying serial algorithm is enhanced to take advantage of the sparseness often encountered in these data sets. Analysis of a realistic test problem shows that the batch SOM algorithm captures key features observed using the conventional on-line algorithm, with comparable convergence rates.Performance measurements on an SP2 parallel computer are given for two retail data sets and a publicly available set of census data.These results demonstrate essentially linear speedup for the parallel batch SOM algorithm, using both a memory-contained sparse formulation as well as a separate implementation in which the mining data is accessed directly from a parallel file system. We also present visualizations of the census data to illustrate the value of the clustering information obtained via the parallel SOM method.