Hadoop平台下改进的推测任务调度算法

研究对比Hadoop平台下默认的推测任务调度算法和异构环境下LATE调度算法的优势和不足,提出了一种基于Hadoop集群的改进的推测任务调度算法.该算法以节点历史信息对Reduce任务各阶段比例进行动态调整和更新,并对任务实时处理速率进行局部平滑处理来提高预估任务剩余完成时间的准确性,最后采用MCP模型对备份任务有效性进行验证.通过实验结果分析可知:该算法能够有效提升备份任务成功率,减少作业完成时间.     

云计算异构环境下Hadoop性能分析

通过将虚拟化技术引入到传统的数据中心来实现计算资源的按需分配,云计算服务正获得日益广泛的应用,例如亚马逊所提供的弹性云计算服务EC2。另一方面,Hadoop作为MapReduce这一大规模数据的分布式并行计算模型的开源实现,在学术界和工业界都获得了越来越多的研究和应用。当前的一个研究热点问题就是如何将云平台这一异构化的底层基础设施,与Hadoop的上层计算模型有效结合起来,利用云平台所提供的弹性资源来充分发挥Hadoop高扩展性、高容错性、低硬件配置的优点。在这篇论文中,我们在异构云平台环境下进行了一系列的Hadoop性能测试和分析,并指出在这一环境下,由于虚拟机的高IO开销,导致Hadoop的性能相比传统的纯粹物理节点集群急剧降低。我们的工作可以作为研究云计算异构环境下如何提高Hadoop性能的一个重要基础。     

异构环境下增强的自适应MapReduce调度算法

针对Hadoop默认调度算法和异构环境下LATE调度算法的不足,在SAMR调度算法的基础上提出了一种增强的自适应MapReduce调度算法。该算法记录了每个节点的历史信息,采用K-means聚类算法动态地调整阶段进度值以找到真正需要启动备份的落后任务。实验结果表明,增强自适应的MapReduce调度算法在提高任务执行时间的估算误差以及准确识别慢任务方面具有一定的有效性。     

基于MapReduce模型的推测执行优化算法

作为数据中心大规模处理框架,MapReduce集群包含成百上千个节点,多采用推测执行的方法来有效解决并行计算中的掉队任务。针对集群中实时性需求较高并且任务量较小的目标作业,提出基于MapReduce模型的推测执行优化算法,其目的是在满足实时性需求的基础上尽量减少目标作业的完成时间。首先通过分析任务模型和时间模型,引入数学0-1规划模型,求得整体作业的完成时间最小;然后设计可以在多项式复杂度内完成的启发式算法,目的是在可用资源允许的范围内尽量逼近最优值;最后通过大量实验模拟验证算法的执行效果。     

异构环境下基于双重预取的Hadoop调度算法

Hadoop处理海量数据时,无论是Map任务还是Reduce任务都需要耗费大量的时间传输数据,故提出一种基于双重预取的调度算法;该算法通过估算节点上任务执行的进度来预测Map任务的执行节点,然后通知节点提前预取所需的数据,并且在Map任务完成的数量达到预定值时,开始为Reduce任务预取部分数据;由于在异构的环境下集群中节点的性能各不相同,为此采取了改进的预测模型,以提高任务进度判断的准确性;实验证明,本算法在作业响应时间等方面优于现有的调度算法。     

异构资源环境下Hadoop节点能力自适应调度算法

为了解决当前Hadoop集群在异构资源环境下固有的调度分配方法的不足,提出了一种基于节点能力的自适应调度算法NCAS（node capacity adaptive scheduling）。首先,NCAS算法根据节点性能、任务特征计算得到调度因子;然后,由调度因子确定各节点应分得的数据量与任务槽数;最后,将数据和任务多分给快节点同时少分给慢节点。实验结果表明,与传统的调度算法相比,NCAS算法大幅度减少了备份任务的启动数量,明显减少了作业完成时间,提升了任务执行效率。     

基于异常检测模型的异构环境下MapReduce性能优化

针对"落伍者"的选择问题,提出利用故障诊断领域内通常使用的异常检测模型来选择"落伍者"的方法。首先,利用异常检测算法来发现集群中的"慢节点";然后改进MapReduce任务分配算法和推测执行算法,不再给"慢节点"分配任务并将"慢节点"中的任务分配至有空闲任务槽的正常节点中。在改进的推测执行算法中,因相同网段内的节点通常物理邻近,可提高数据传输速度,首次将"慢节点"中的任务分配至同网段的正常节点中,以便数据传输。实例验证结果表明,使用异常检测算法后可迅速检测出异常节点,且与Hadoop-LATE算法相比,处理相同任务量可缩短集群17%的任务处理时间,说明所提算法在集群整体性能优化中表现优异。     

基于节点集计算能力差异的Hadoop自适应任务调度算法

针对异构集群任务推测式执行算法存在的任务进度比例固定、落后任务被动选取等问题,提出基于快慢节点集计算能力差异的自适应任务调度算法。该算法量化节点集计算能力差异实现分集调度,并通过节点与任务速率的动态反馈及时更新快慢节点集,提高节点集资源利用率与任务并行度。在两节点集中,利用动态调整任务进度比例判别落后任务,主动选择采用替代执行方式为落后任务执行备份任务的快节点,从而提升任务执行效率。与最长近似结束时间(LATE)算法的实验对比结果表明,该算法在短作业集、混合型作业集、出现节点性能下降的混合型作业集执行时间上比LATE算法分别缩短了5.21%、20.51%、23.86%,启用的备份任务数比LATE算法明显减少。所提算法可使任务主动适应节点差异,在减少备份任务的同时有效提高作业整体执行效率。     

云环境下Hadoop平台的作业调度算法

云计算的研究和应用将有一片广阔的前景,详细研究和分析了Hadoop平台架构和核心原理,研究了Hadoop现有的典型作业调度算法,并针对算法存在需要预先配置的问题,提出了基于朴素贝叶斯分类的作业调度算法,通过仿真实验,可以看出改进的算法具备了良好的学习能力,性能良好,可以减轻管理员的负担,提高管理效率,减少人工错误的可能性.     

改进人工鱼群算法在Hadoop作业调度算法的应用

在分析Hadoop缺省及改进的作业调度算法基础上,引入群智能算法,设计了基于改进人工鱼群算法的Hadoop作业调度算法.采用随机键方式对待分配任务进行编码,以任务总执行时间作为启发函数,并引入吞食行为和跳跃行为改进人工鱼群算法,以达到进一步改善作业调度算法性能的目的.实验结果表明,改进后的人工鱼群作业调度算法在异构环境下可以提高系统性能,降低运行时间.     

异构大数据编程环境 Hadoop+

互联网和物联网技术的飞速发展开启了“大数据”时代。目前,硬件的高速发展催生了许多异构芯片,它们越来越多地出现在大规模数据中心里,支持不同的应用程序,在提升性能的同时降低整体功耗。文章重点介绍了基于 MapReduce编程模型的 Hadoop+框架的设计与实现,它允许用户在单个任务中调用 CUDA/OpenCL的并行实现,并能通过异构任务模型帮助用户。在我们的实验平台上,五种常见机器学习算法使用 Hadoop+框架相对于 Hadoop能达到1.4×～16.1×的加速比,在 Hadoop+框架中使用异构任务模型指导其资源分配策略,对单个应用负载上最高达到36.0%的性能提升;对多应用的混合负载,最多能减少36.9%,平均17.6%的应用执行时间。     

基于混沌PSO算法的Hadoop配置优化

针对Hadoop的组合优化问题,提出一种基于混沌粒子群优化算法的配置优化策略。为保证算法在进行局部搜索的同时避免陷入局部最优,对陷入局部最优的标准值和混沌处理的迭代次数的不同组合进行实验,获得使Hadoop性能达到最优的配置。实验结果表明,算法得出的最优配置方案能够有效提高Hadoop的性能,具有较好的稳定性。     

基于Hadoop平台的HITS算法

本文对Hadoop平台进行了分析研究后,与HITS算法的设计理论和技术相结合,对基于中文词汇网络的HITS算法进行了重新设计,使其符合Hadoop平台的框架,详细分析了Map／Reduce函数的设计方案．用测试数据在不同集群上做实验,实验结果证明,HITS算法在分布式环境下能很好的运行,集群的优越性明显．     

基于Hadoop的K-means聚类算法的实现

文中针对传统并行K-means聚类算法时间复杂度比较高的问题,结合Hadoop平台以及MapReduce编程模型的优势,提出了利用Hadoop及MapReduce编程模型实现大数据量下的K-means聚类算法.其中,Map函数完成每条记录到各个质心距离的计算并标记其所属类别,Reduce函数完成质心的更新,同时计算每条数据到其所属中心点的距离,并累计求和.通过实验,验证了K-means算法部署在Hadoop集群上并行化运行,在处理大数据时,同传统的串行算法相比,确实能够降低时间复杂度,而且表现出很好的稳定性和扩展性.     

基于Hadoop的改进型遗传聚类算法

针对经典K-means聚类算法存在易陷入局部最优解的缺点,提出并实现了一种基于Hadoop的改进型遗传聚类算法.该算法利用遗传算法具有全局性和并行性的特点去处理K-means聚类算法易陷入局部最优的缺点,在此基础上对遗传算法进行改进,然后将改进后的遗传算法与K-means算法相结合,为提高算法执行效率,将其基于Hado...     

基于Hadoop的关联规则算法在电子商务中的应用

近年来,电子商务的快速发展,给用户带来了极大的便利,同时对电子商务网站能否提供快速有效的服务提出了很大考验。电子商务推荐系统的提出有效地解决了这一问题,受到广泛关注。本文简要介绍一种电子商务推荐系统,然后以Apriori算法为基础进行关联规则数据挖掘,并在Hadoop平台上重写分布式Apriori算法,重点研究基于Hadoop的关联规则算法在海量数据下能否快速有效地发现关联数据,及时向用户推荐相关商品,防止客户流失,增加销售利润。     

基于Hadoop的Apriori改进算法研究

对于规模庞大的事务数据库,传统的并行Apriori算法在挖掘中会在数据IO上有较大的时间开销。 从压缩事务、减少扫描次数、简化候选集生成3个方面对Apriori算法进行改进。提出了以元素“0”和“1”表示事务的布尔矩阵模型,并引入权值维度,压缩了相同事务的矩阵规模。同时,动态地进行剪枝,矩阵的“与”运算用于候选集合的生成。将改进后的算法在Hadoop框架上进行并行化实现,实验表明该算法适合大规模数据挖掘且具有良好的伸缩性与有效性。