一种Hadoop YARN的资源调度机制

YARN is a resource management system widely used in Hadoop. It supports MapReduce, Spark, Storm and other computing frameworks, and has become the core component of big data ecology. However, in Hadoop YARN’s existing resource scheduler, a resource guarantee mechanism based on resource reservation, will produce resource fragmentations, leading to a waste of resources. In order to improve the resource utilization and throughput of the cluster, this paper proposes a resource allocation mechanism based on reservation and backfill. In this mechanism, based on the priority of the job, it decides whether to make a reservation to the resource and introduce a backfill strategy to backfill the resource without affecting the execution of the reservation job. Experiments show that the resource scheduling mechanism based on reserved backfill can effectively improve the resource utilization and throughput of Hadoop YARN cluster.     

面向GPU集群的动态资源调度方法

深度神经网络（deep neural network,DNN）已广泛应用于人类社会的许多领域.大规模的DNN模型可显著提高识别精度,然而在单个GPU设备上训练大规模的DNN模型需要耗费大量的时间.因此,如何借助分布式深度学习（distributed deep learning,DDL）技术,在GPU集群上并行地训练多DNN模型已受到工业界和学术界的广泛关注.基于此,提出一种面向GPU集群的动态资源调度（dynamic resource scheduling,DRS）方法,解决异构带宽环境下具有截止时间要求的多DNN任务调度问题.具体来说,首先基于Ring-AllReduce通信方式构建资源-时间模型,以衡量DDL任务在不同资源方案下的运行时间;然后基于截止时间需求构建了资源-性能模型,以实现高效的资源利用;最后,结合上述资源-时间和资源-性能模型设计了DRS算法,为多DNN任务训练实现资源方案决策.在DRS算法中融入最近截止时间原则进行实际资源分配,并利用资源迁移机制减少调度过程中出现的资源碎片场景的影响.在4个NVIDIA GeForce RTX 2 080 Ti的GPU集群上的异构...     

一种基于YARN的高优先级作业调度实现方案

提交到YARN上的一个大数据作业会被切分为一个或者多个任务,任务是大数据作业申请资源和执行的基本单位[1]。在某些领域中存在需要对作业紧急度作有效区分使得高紧急度作业优先获得资源的需求,但是在现有的YARN资源调度策略中,对于提交到YARN上的高优先级作业缺乏资源优先分配和高质量的资源保障机制。本文在修改YARN原有资源调度方案的基础上,提出了一种基于YARN的高优先级作业调度实现方案。实验表明,提交到YARN上的高优先级作业执行效率提升了7%左右,证明设计方案行之有效。     

用户QoS感知的GPU集群深度学习任务动态调度

提出一种GPU集群下用户服务质量QoS感知的深度学习研发平台上的动态任务调度方法.采用离线评估模块对深度学习任务进行离线评测并构建计算性能预测模型.在线调度模块基于性能预测模型,结合任务的预期QoS,共同开展任务放置和任务执行顺序的调度.在一个分布式GPU集群实例上的实验表明,该方法相比其他基准策略能够实现更高的QoS...     

基于YARN集群的计算加速部件扩展支持

以GPU和Intel MIC为代表的计算加速部件已在科学计算、图形图像处理等领域得到了广泛的应用,其在基于云平台的高性能计算及大数据处理等方向也具有广泛的应用前景.YARN是新一代Hadoop分布式计算框架,其对计算资源的分配调度主要针对CPU,缺少对计算加速部件的支持.在YARN中添加计算加速部件需要解决多个难点,分别是计算加速部件资源如何调度以及异构节点间如何共享问题、多个任务同时调用计算加速部件而引起的资源争用问题和集群中对计算加速部件的状态监控与管理问题.为了解决这些问题,提出了动态节点捆绑策略、流水线式的计算加速部件任务调度等,实现了YARN对计算加速部件的支持,并通过实验验证了其有效性.     

面向节点异构GPU集群的能量有效调度方案

GPU集群已经成为高性能计算(HPC)领域的主流组件。随着处理单元的发展和集群节点的拓展,GPU集群将在节点层面趋于异构化。提出一套针对异构任务在节点异构GPU集群上的能量有效调度方案。形式化地描述其任务和资源模型以及能耗评估模型。通过特定的节点选择策略,减少空闲状态的能耗损失。通过任务类型划分和组合分配以及DVFS,增加CPU资源利用率。该方案从系统层面着手,能够与现有的算法和指令层面的优化方法兼容。     

基于Hadoop平台的云计算节能研究

云计算的广泛应用导致数据中心的产生.数据中心的能效的高低不仅涉及到电费,还关系到否符合环境法规.作者通过修改Hadoop YARN编程模型,使用RAPL的能耗限制功能来降低应用程序中计算失衡时的能耗.目的是测试在不会明显地降低性能的条件下,通过RAPL接口控制CPU的能耗是否有效.通过实验表明,在同样的负载下, Phadoop架构在分块矩阵乘法上相对于原来的Hadoop架构的能耗降低了34%.     

基于节点能力的Hadoop集群任务自适应调度方法

针对当前Hadoop集群固有的任务级调度分配方法在运行中存在的负载分布不均的现象,着重对集群节点的执行能力进行了分析与研究.提出了一种基于节点能力的任务自适应调度分配方法.该方法根据节点历史和当前的负载状态,以节点性能、任务特征、节点失效率等作为节点任务量调度分配的依据,并使各节点能自适应地对运行的任务量进行调整.实验结果表明集群的总任务完成时间明显地缩减,各节点的负载更加均衡,节点资源的利用更为合理.     

基于蚁群算法的Hadoop调度算法研究

为有效提高Hadoop集群作业调度的效率,提出一种基于蚁群算法的自适应作业调度的方案,有效利用蚁群算法正反馈的优势特点,使Hadoop作业调度器更高效地对任务进行分配,提高整体架构的作业性能。实验结果表明,该算法能够很好的平衡资源负载,减少任务的完成时间,提高系统处理任务的性能。     

基于Hadoop集群的加权循环算法的研究

调度问题是目前云计算研究中的热点问题,其目的是研究如何协同云计算资源,使其能最大化利用.Hadoop是目前流行的开源云计算平台.针对Hadoop自带的作业调度算法的不足,研究和实现了基于优先级的加权循环算法.该算法能够区分用户服务等级,保证系统资源不被服务等级高的用户长时间占有,保证系统资源得到合理的利用.最后,对该算法进行实验及性能分析,验证该算法能够提高系统的整体效率和减少了相应时间,避免资源浪费.     

Performance evaluation of job schedulers on Hadoop YARN

To solve the limitation of Hadoop on scalability, resource sharing, and application support, the open‐source community proposes the next generation of Hadoop's compute platform called Yet Another Resource Negotiator (YARN) by separating resource management functions from the programming model. This separation enables various application types to run on YARN in parallel. To achieve fair resource sharing and high resource utilization, YARN provides the capacity scheduler and the fair scheduler. However, the performance impacts of the two schedulers are not clear when mixed applications run on a YARN cluster. Therefore, in this paper, we study four scheduling‐policy combinations (SPCs for short) derived from the two schedulers and then evaluate the four SPCs in extensive scenarios, which consider not only four application types, but also three different queue structures for organizing applications. The experimental results enable YARN managers to comprehend the influences of different SPCs and different queue structures on mixed applications. The results also help them to select a proper SPC and an appropriate queue structure to achieve better application execution performance. Copyright © 2016 John Wiley & Sons, Ltd.     

基于Hadoop的车辆调度算法优化及应用

随着互联网技术的快速发展,各行各业所产生的信息数据也在以指数级的速度增长.传统的车辆调度算法已经不能够很好地解决车辆调度问题中出现的实时性,大规模等问题.因此,本文构建了一种基于Hadoop的动态车辆调度并行智能优化算法.该算法以传统遗传算法为基础,通过改善遗传算法全局优化能力弱和收敛于局部次优解的问题,并利用Hadoop平台的并行计算机制对传统遗传算法进行改进,使其能够有效应对大规模、快速响应的车辆调度.数值计算结果表明：基于Hadoop的车辆调度算法能够有效提升传统调度算法的优化性能,在处理大规模车辆调度问题时具有良好的加速比.     

基于Hadoop的高性能海量数据处理平台研究

海量数据高性能计算蕴藏着巨大的应用价值,但是目前云计算体系只具有海量数据处理能力,而不具有足够的高性能计算能力。将具有超强并行计算能力的CPU与云计算相融合,提出了基于CPU/GPU协同的异构高性能云计算体系结构。以开源Hadoop为基础,采用注释码的形式对MapReduce函数中需要并行的部分进行标记。通过 定制GPU类加载器,将被标记代码转换为CUDA代码并动态编译运行。该平台将GPU的计算能力融合到MapReduce框架中,可高效处理海量数据。     

Hadoop平台下的动态调度算法

目前,云计算环境具有动态、异构和海量多类型任务并发等特征,随着集群规模不断增大、用户QoS不断增多,现有调度算法越来越难以适应动态变化的环境及满足用户的需求。针对Hadoop平台下现有调度器不能根据作业运行状态和资源使用情况进行动态调整的问题,提出了Hadoop下基于作业分类的动态调度算法。该算法在使用朴素贝叶斯分类算法对队列中作业进行分类的过程中,根据各个作业的类型,预先设定类别权值,将队列中的作业分类,并引入效用函数,根据用户提交时的预期完成时间QoS和作业完成情况估算其作业完成时间,实现动态设置作业优先级。实验表明,使用提出的算法不仅能有效减少 作业的分类时间,而且能明显提高 动态性和用户QoS。