基于MapReduce模型的排序算法优化研究

MapReduce已经发展成为大数据领域标准的并行计算模型。理想情况下,一个MapReduce系统应该使参与计算的所有节点高度负载均衡,并且最小化空间使用率、CPU和I/O的使用时长以及网络传输开销。传统的算法往往只针对上述指标中的一种进行优化。在保持算法良好并行性基础上,对多个指标同时进行优化,提出了MapReduce优化算法的设计规范。针对数据处理领域最重要的排序算法进行理论分析,给出了多指标约束下的最后算法,并证明了该优化算法满足MapReduce优化算法规范。最后通过实验验证了优化的排序算法的有效性和效率。     

MapReduce大数据处理平台与算法研究进展

本文综述了近年来基于MapReduce编程模型的大数据处理平台与算法的研究进展。首先介绍了12个典型的基于MapReduce的大数据处理平台,分析对比它们的实现原理和适用场景,抽象它们的共性。随后介绍基于MapReduce的大数据分析算法,包括搜索算法、数据清洗/变换算法、聚集算法、连接算法、排序算法、偏好查询、最优化算法、图算法、数据挖掘算法。将这些算法按MapReduce实现方式分类,分析影响这算法性能的因素。最后,将大数据处理算法抽象为外存算法,并对外存算法的特征加以梳理,提出了普适的外存算法性能优化方法的研究思路和研究问题,以供研究人员参考。具体包括优化外存算法的磁盘I/O,优化外存算法的局部性,以及设计增量式迭代算法。现有大数据处理平台和算法研究多集中在基于资源分配和任务调度的平台动态性能优化、特定算法并行化、特定算法性能优化等领域,本文提出的外存算法性能优化属于静态优化方法,是现有研究的良好补充,为研究人员提供了广阔的研究空间。     

MapReduce框架下的Skyline计算

由于Skyline查询广泛应用于多目标决策、数据可视化等领域,近年来成为数据库领域的一个研究热点。针对云计算环境,在MapReduce框架下设计并实现了Skyline算法。MapReduce是一个运行在大型集群上处理海量数据的并行计算框架,其主要思想是任务的分解与结果的汇总。基于不同的数据划分思想,实施了三种Skyline并行算法,分别是基于MapReduce的块嵌套循环算法(MapReduce based block-nested-loops,MR-BNL)、基于MapReduce的排序过滤算法(MapReduce based sort-filter-skyline,MR-SFS)以及基于MapReduce的位图算法(MapReduce based bitmap,MR-Bitmap),并针对这三种算法进行了系统的实验比较,得出了不同数据分布、维数、缓存等因素对算法性能的影响结果。     

基于PML结构文件的MapReduce算法优化*

针对目前物联网和云计算技术结合后,物联网RFID产生的小型数据致使云计算中MapReduce算法产生运算瓶颈问题进行了研究。运用PML和EPC编码技术保证了数据存储的完整,采用快速排序和改进XGrind压缩技术对于MapReduce算法进行优化。由实验获得,优化后MapReduce算法减小64%的I/O吞吐和45%的CPU耗用,同时使查询数据效率提高75%,可改善查询物联网获取的海量信息的效能。最终通过对云计算下MapReduce算法的优化,为云计算下的物联网追溯平台数据高效使用提供了技术支撑。     

MapReduce模型下Voronoi图栅格生成算法

针对"海量"点组成的平面点集Voronoi图栅格生成算法的效率问题,对其进行易并行性抽象,提出了一种MapReduce模型下基于欧氏距离的Voronoi图栅格生成算法,该算法采用三个MapReduce Job来实现。在第一个MapReduce Job中,将栅格按照隶属代码进行归属分类。在第二个MapReduce Job中,将新数据按照其对应的行号进行归类。在第三个MapReduce Job中,并行生成全局有序的Voronoi图部分文件,并连接各个部分文件,生成最终的Voronoi图。在多个不同大小数据集上的实验结果表明,这种MapReduce模型下的算法部署在Hadoop集群上运行具有较好的加速比和扩展性。     

一种基于DAG的MapReduce任务调度算法

Hadoop已成为研究云计算的基础平台,MapReduce是其大数据分布式处理的计算模型。针对异构集群下MapReduce数据分布、数据本地性、作业执行流程等问题,提出一种基于DAG的MapReduce调度算法。把集群中的节点按计算能力进行划分,将MapReduce作业转换成DAG模型,改进向上排序值计算方法,使其在异构集群中计算更精准、任务的优先级排序更合理。综合节点的计算能力与数据本地性及集群利用情况,选择合理的数据节点分配和执行任务,减少当前任务完成时间。实验表明,该算法能合理分布数据,有效提高数据本地性,减少通信开销,缩短整个作业集的调度长度,从而提高集群的利用率。     

基于MapReduce改进蚁群算法的Web服务组合优化

对于Web服务组合优化的问题,蚁群算法的求解主要是串行进行,收敛时间长,容易收敛于非最优解。在云计算环境中,将蚁群算法并行化,可对Web服务组合优化问题进行分布式并行求解。根据多目标优化模型给出基于多信息素的蚁群算法,使用MapReduce并行编程框架对蚁群算法中最耗时的部分——蚂蚁独立求解的过程并行化,给出了使用MapReduce改进的基于多信息素的蚁群优化算法,有效地对Web服务组合进行全局优化,弥补传统的蚁群算法求解过程的缺点。     

面向海量数据的K-means聚类优化算法

针对集中式系统框架难以进行海量数据聚类分析的问题,提出基于MapReduce的K-means聚类优化算法。该算法运用MapReduce并行编程框架,引入Canopy聚类,优化K-means算法初始中心的选取,改进迭代过程中通信和计算模式。实验结果表明该算法能够有效地改善聚类质量,具有较高的执行效率以及优良的扩展性,适合用于海量数据的聚类分析。     

基于MapReduce的蚁群优化算法实现方法

探讨了蚁群算法的几种并行方式与适用场景以及结合云计算编程框架MapReduce的可行性,并将局部搜索类蚁群优化算法抽象为几个组件,分别与MapReduce框架的几个接口对应实现,从而为该类蚁群优化算法在MapReduce框架下实现并行化提供了一种灵活、扩展性好的解决方案。最后通过旅行商问题的仿真实验验证了所提方法的有效性。     

改进的排序变异多目标差分进化算法

针对多目标差分进化算法在求解问题时收敛速度慢和均匀性欠佳的问题,提出了一种改进的排序变异多目标差分进化算法（MODE-IRM）。该算法将参与变异的三个父代个体中的最优个体作为基向量,提高了排序变异算子的求解速度;另外,算法采用反向参数控制方法在不同的优化阶段动态调整参数值,进一步提高了算法的收敛速度;最后,引入了改进的拥挤距离计算公式进行排序操作,提高了解的均匀性。采用标准多目标优化问题ZDTl~ZDT4,ZDT6和DTLZ6~DTLZ7进行仿真实验:MODE-IRM在总体性能上均优于MODE-RMO和PlatEMO平台上的MOEA/D-DE、RM-MEDA以及IM-MOEA;在世代距离（GD）、反向世代距离（IGD）和间隔指标（SP）性能度量指标方面,MODE-IRM在所有优化问题上的均值和方差均明显小于MODE-RMO。实验结果表明MODE-IRM在收敛性和均匀性指标上明显优于对比算法。     

基于空间复用的信号检测算法研究

为了在接收端恢复出发送端的原始数据,需要在接收端进行信号检测。对几种经典的传统信号检测算法进行了详细阐述和分析,并对各种算法进行了Matlab仿真和性能比较。由此得出,改进型的V-BLAST算法可以用于TD-LTE无线综合测试仪的开发。     

浅谈几种智能优化算法

该文首先介绍介绍了几种典型的群体智能算法,具体包括遗传算法、蚁群算法和粒子群算法,并对它们进行了详细的分析。     

覆盖聚类算法的应用研究

聚类算法是数据挖掘的核心技术。介绍了几类主要的传统聚类算法,给出了每类算法的基本概念、基本原理、各类表示聚类的算法以及这些算法的特征。然后再提出了一种新的聚类算法———覆盖聚类算法,给出了该算法的具体步骤,并对模糊聚类算法和该算法用实验的方式进行比较,证明了覆盖聚类算法的可行性和有效性。最后分析了当前聚类算法存在的问题和发展方向。     

一种基于小波理论的LMS算法研究

基于LMS算法原理和MALLAT算法,提出了小波自适应算法,并对算法进行了理论分析和仿真研究,仿真结果表明,小波自适应算法在非线性系统辩识中表现出了良好的性能。     

遗传算法的收敛性研究

遗传算法的收敛性分析是遗传算法研究中的重要问题,直接关系到遗传算法的实际应用价值。给出遗传算法全局收敛性的定义,描述当前遗传算法收敛性分析的主要模型,对自适应遗传算法、并行遗传算法、小生境遗传算法等典型遗传算法的收敛性进行分析,给出相关的研究结果,并指出遗传算法收敛性研究的未来发展方向。研究结果对提高遗传算法收敛性具有参考价值。     

支持向量机与AdaBoost的结合算法研究*

将支持向量机与AdaBoost算法相结合,称其为Boost-SVM。从提升泛化性能和预测精度等方面对支持向量机的学习算法进行了研究与比较。Boost-SVM实验结果表明,该算法提高了支持向量机的预测精度并优化了学习机的性能。     

基于遗传神经网络的MADA

宏观质量决策方案的评价与选择,需要能准确给出各影响因素的权重系数,文中在分析了多属性决策问题及现有方法之后,提出子用遗传神经网络建立权重分配模型,从而改进多属性决策的方法,使权重的确定较为客观准确,并具有自学习功能,实践表明,效果良好。     

基于仿生理论的几种优化算法综述

简要介绍了目前比较流行的三种新型仿生优化算法,即人工鱼群算法、免疫算法和禁忌搜索算法,就这些算法的特点和异同进行了分析,并对它们的发展进行了进一步的阐述,提出了今后的研究方向。     

基于平衡划分的并行集合交算法

对集合交运算,基于划分点定位算法提出并分析了一种新的并行算法INTERSECT-DL.在INTERSECT-DL算法中,数据被平衡地划分,分配给所有处理机,所以各处理机的工作负载相同.给出了在网络并行计算环境下的实验结果,并与INTERSECT-S、INTERSECT-NS算法进行了对比.理论分析和实验的结果都表明INTERSECT-DL算法具有很高的并行效率和扩展性.     

基于算法图的并行计算优化

研究基于算法图的并行计算优化设计方法。通过引入算法图，从数学机理上算法的并行结构进行描述，针对不同要求提出了对计算网络的并行优化设计方法，为设计并行算法提供了新的有途途径。