基于云计算的并行k-means算法研究

针对传统k-means聚类算法面对海量数据存在时间复杂度急剧增加的问题,结合云计算的优势,提出基于MapReduce编程框架来实现k-means聚类算法的并行化处理。Map函数完成每个样本记录到聚类中心的距离计算并标记其所属聚类类别,Reduce函数汇总中间结果并计算出新的聚类中心,供下一轮迭代使用。通过实验表明:基于MapReduce的并行化k-means聚类算法具有较好的加速比和良好的扩展性。     

粘滞阻尼器消能减震体系基于粗粒度-主从式并行遗传算法的设计方法

为充分利用粘滞阻尼器的耗能能力,本文针对粘滞阻尼器消能减震体系提出了一种基于粗粒度-主从式并行遗传算法的设计方法。该设计方法首先通过直接基于位移法初步确定粘滞阻尼器的参数与数量,随后以结构最大层间位移角和楼层最大加速度为目标函数,采用遗传算法对粘滞阻尼器的布置方式进行多目标优化,从而得到最优布设方案。这种遗传算法是基于内嵌带有精英保留策略的快速非支配排序遗传算法(NSGA-Ⅱ)的粗粒度-主从式并行遗传算法。最后选择一个8层钢框架进行分析。结果表明:采用基于粗粒度-主从式并行遗传算法的设计方法得到的阻尼器优化布置方案可以有效减小结构的最大层间位移角和楼层加速度,相对于常规布置方法结构的减震率可以得到大幅度提高。     

基于混沌和自适应变异的粒子群聚类算法研究

针对粒子群聚类算法(PSO-Kmeans)所存在的种群随机初始化遍历性差、线性惯性权重调整策略收敛效果差、粒子易陷入早熟收敛、等距点影响聚类精确度以及处理大量数据时性能不足等问题,提出了1种混沌和自适应变异的粒子群聚类算法,通过无限折叠混沌映射初始化、非线性惯性权重调整、基于变异参数的自适应t分布变异以及比较等距点周围趋向性等策略,对PSO-Kmeans算法进行改进,并实现了算法的并行化。实验结果表明,改进算法可以有效地避免早熟收敛,聚类精度要优于Kmeans算法和PSO-Kmeans算法,而且在处理大量数据时能有效提高算法的时间性能。     

基于迭代式MapReducede的海量数据并行聚类算法研究

为解决传统K-means算法在处理海量数据时存在的不足,提出了1种适用于并行Canopy-Kmeans算法的迭代式MapReduce模型。通过Canopy算法对数据进行初始聚类,得到初始聚类中心,并按照初始聚类将数据存储于Mapper节点,减少Mapper和Reducer节点之间通信线路,减小运算量;在Mapper节点和Reducer节点之间建立互通信,将聚类中心作为迭代流通信息,减少信息流量;最终通过1次运算过程输出最终聚类结果。实验结果证明,改进的算法在时间、正确率和加速比性能方面,均优于传统的串行K-means算法,并在基于传统MapReduce模型的K-means算法基础上有所提高。     

基于Map Reduce的并行小波聚类

本文结合Map Reduce编程模型和小波聚类算法特点,实现基于Map Reduce的并行小波聚类算法。用5台电脑和2.75GB数据验证并行小波聚类算法的性能。结果表明并行小波聚类算法具有较好的加速比。     

Canopy和K-means聚类算法在公交IC卡数据分析中的应用研究

通过收集南通市市区公交线路名称和站点名称,在不依赖GPS定位数据的基础上,采用Canopy和K-means聚类算法分析乘客上车时间序列,从而建立乘客上车站点的理论模型,并在Hadoop平台上用MapReduce框架实现算法的并行化。最后,以南通公交IC刷卡记录为例,用Canopy算法和K-means算法对IC卡刷卡记录进行分析。实验表明,在Hadoop平台,用Canopy和K-means算法分析公交IC卡数据运行稳定、可靠,具有很好的聚类效果。     

基于线性调频盲卷积的大数据聚类控制方法

海量的大数据在大型电力系统中以电压脉冲、电流、用电功率等形式在传输和存储,需要对大型电力系统中的大数据进行优化聚类控制处理,提高大数据的调度和模式控制识别能力。传统方法采用FCM聚类方法,对电力系统的热噪声具有较强的敏感性,导致数据聚类效果不好。提出一种基于线性调频盲卷积的大数据聚类控制方法,构建了大型电力系统中的大数据分布结构模型,对大数据信息流进行线性调频信号拟合,采用线性调频盲卷积方法进行数据融合滤波,优化数据聚类性能。实验结果表明,采用该算法进行大数据聚类,数据聚集度较高,为模式识别和信号检测奠定基础,可提高电力系统中的数据聚类和控制能力。     

多维数据分析处理技术

本文研究了基于大数据下的多维数据分析处理方法:针对大数据的多维离散拘束高效分析处理方法。该方法采用空间重构方法对多维数据采取离散映射,找到最小嵌入维数和最合适的时延构造信息流模型,并采用模糊聚类算法求解初始聚类中心搜索目标函数,从而获取到多维数据的最优聚类中心,利用优化算法实现聚类优化完成多维数据的高效聚类,仿真实验结果证明了该方法的可行性,提高计算效率。     

大数据聚类算法研究

随着大数据时代的来临,数据量不断地增加,对大数据环境下的数据进行有效的聚类已经成为现阶段的一个研究热点。文章围绕这一课题,从介绍大数据环境下的特点以及对算法的处理要求开始,对面向大数据的聚类算法的划分进行简单的介绍,指出其中的问题,并对大数据下的有效聚类算法的划分进行展望,希望能够借此加深对于聚类算法的理解。     

改进模糊C均值聚类算法及锂电池配组应用

在锂电池化成管理的智能配组过程中,当处理大规模数据或锂电池结构较复杂时,速度和准确度不高。因此,提出了一种基于遗传算法与密度加权的改进模糊C均值聚类算法。首先,由遗传算法优化得到初始聚类中心。然后,将样本对象的高斯密度函数作为其权值,并采用Xie-Beni有效性指标改进目标函数。将改进的算法通过标准测试数据集Iris和锂电池配组进行实验验证。验证结果表明:本文算法改善了聚类效果,与模糊C均值聚类算法相比,锂电池配组的正确率提高了0.8%,并且计算迭代次数从14次降低到8次。