基于MPI的分水岭与区域合并结合算法的并行化研究

针对分水岭算法特点,给出了MPI编程模型实现分水岭算法并行化的方法,分水岭的初始分割及区域合并是针对图像区域进行的,各个区域之间的分水岭区域分割是可以相互无关的,存在数据并行性,因此可以通过并行计算来缩短分水岭区域合并的时间.实验结果表明,分水岭算法按区域划分并行化后部署在MPI集群上运行,具有较好的加速比和良好的扩展性.     

一种离群数据挖掘新方法的研究与应用

离群数据挖掘是数据挖掘的重要内容.利用蚁群算法鲁棒性强的优点,改进了聚类方法.在此基础上,将聚类分析和蚁群算法某些参数相结合,提出一种基于聚类的离群指数新定义,成功地实现了离群数据挖掘过程并编程实现.采用此方法对流程企业的大量历史数据进行分析,从而起到了对设备运行优化和故障预警的作用.     

基于MapReduce的并行MRACO-PAM聚类算法

聚类分析是数据处理算法中常用的方法,PAM算法自提出以来便成为了最常使用的聚类算法之一。虽然传统PAM算法解决了K-Means算法在聚类过程中对脏数据敏感的问题,但是传统PAM算法存在收敛速度慢、处理大数据集效率不高等问题。针对这些问题,利用蚁群搜索机制来增强PAM算法的全局搜索能力和局部探索能力,并基于MapReduce并行编程框架提出MRACO-PAM算法来实现并行化计算,并进行实验。实验结果表明,基于MapReduce框架的并行MRACO-PAM聚类算法的收敛速度得到了改善,具备处理大规模数据的能力,而且具有良好的可扩展性。     

云计算环境下基于分形的聚类融合算法研究

传统的聚类算法不适用于处理海量和高维数据。针对云计算环境下,利用集群系统的并行计算能力,实现海量数据的聚类问题,给出了云计算环境下基于分形维数的聚类融合算法。该算法首先对基于分形维数的聚类算法进行改进,使之更适用于并行计算,其产生聚类作为初始聚类成员;再结合投票算法的融合策略实现融合。最后,对基于分形维数的聚类融合算法在云计算环境下实现并行计算。通过在UCI数据集上的对比实验来验证该算法的有效性。     

基于改进属性约简的细粒度并行AP聚类算法

Affinity Propagation(AP)聚类算法将所有数据点作为潜在的聚类中心,在相似度矩阵的基础上通过消息传递进行聚类.与传统聚类方法相比,对于规模很大的数据集,AP是一种快速、有效的聚类方法.正是这样,属性约简对于AP算法非常重要.另外,在大规模并行系统的设计中,细粒度并行是实现高性能的基本策略.提出了一种基于改进属性约简的细粒度并行AP聚类算法(IRPAP),将粒度思想引入到并行计算中.首先分析了并行计算中的粒度原理.然后用改进的属性约简算法对数据集预处理.此算法并行计算并选择差别矩阵元素,降低了时间空间复杂度,最后用AP算法聚类.整个IRPAP算法将任务划分到多个线程同时处理.实验证明,对于大规模数据集的聚类,IRPAP算法比AP算法效率更高.     

支持向量机优化基于K-means的蚁群聚类算法

基于K-means算法思想改进蚁群聚类算法聚类规则,提出一种新的K-means蚁群聚类算法,并通过实验验证其聚类效果;引入具有全局最优性的支持向量机SVM,取各类中心附近适当数据训练支持向量机,然后利用已获模型对整个数据集进行重新分类,进一步优化聚类结果,使聚类结果达到全局最优。UCI数据集实验结果表明,新的算法可以明显提高聚类质量。     

基于信息熵的蚁群聚类改进方法研究

从模仿蚂蚁堆积尸体的基本模型出发,可以实现蚁群聚类算法.研究了实现基本蚁群算法以及基于信息熵的蚁群聚类算法的关键方法,测试并验证了算法的有效性.同时,在比较其性能的基础上,主要针对基于信息熵的蚁群聚类算法收敛速度快,但却容易陷入局部最优的缺陷,从聚类拆分、合并、孤立点处理等几个方面对基于信息熵的蚁群聚类算法进行了改进,从而在利用其收敛速度快的基础上提高聚类的准确性.仿真实验表明:改进后的方法在聚类的准确性和收敛速度方面都得到了很好的结果,对基于信息熵的蚁群居类算法优化提供了比较好的应用改进.     

基于连续域混合蚁群优化的核模糊C-均值聚类算法研究

为进一步提高核模糊C-均值聚类算法的聚类性能,提出基于连续域混合蚁群优化的核模糊C-均值聚类算法(KFCM-HACO),使用HACO对KFCM算法的内核函数参数值和聚类中心进行优化,克服传统算法弊端,使核模糊C-均值聚类算法的目标函数最小化,加快算法的收敛速度.该优化算法在UCI数据集上的仿真实验及结果比较表明,KFCM-HACO算法的聚类性能优于传统的聚类算法,提高了聚类的准确性.     

基于SOM和PSO的云计算异构资源聚类MPI并行算法

针对云计算环境下大量用户请求同时到来造成的短暂峰值,使得用户的QOS服务需求不能得到有效保证,设计了一种基于MPI并行计算模型和SOM的异构资源聚类方法;首先,设计了一种改进的MPI的树状层次结构模型,然后,定义了基于SOM自组织映射的资源聚类算法,为了提高资源聚类精度,将PSO算法用于SOM的参数优化中,使得SOM在初始时刻就具有一个较好的连接结构;最后,为了充分满足用户请求的QOS需求,将MPI树状层次结构与基于PSO的SOM资源聚类算法相结合,并提出了具体的基于MPI的SOM资源聚类算法;为了验证文中方法,在Matlab仿真环境中进行测试,实验结果表明文中方法聚类精度为100%,且与其它方法比较,具有较高的聚类精度和较少的执行时间,是一种云计算环境下的可行资源聚类方法。     

自适应布谷鸟搜索的并行K-means聚类算法*

针对K-means聚类算法受初始类中心影响,聚类结果容易陷入局部最优导致聚类准确率较低的问题,提出了一种基于自适应布谷鸟搜索的K-means 聚类改进算法,并利用MapReduce编程模型实现了改进算法的并行化。通过搭建的Hadoop分布式计算平台对不同样本数据集分别进行10次准确性实验和效率实验,结果表明：(1)聚类的平均准确率在实验所采用的4种UCI标准数据集上,相比原始K-means聚类算法和基于粒子群优化算法改进的K-means聚类算法都有所提高;(2) 聚类的平均运行效率在实验所采用的5种大小递增的随机数据集上,当数据量较大时,显著优于原始K-means串行算法,稍好于粒子群优化算法改进的并行K-means聚类算法。可以得出结论,在大数据情景下,应用该算法的聚类效果较好。