面向高性能计算环境的作业优化调度模型的设计与实现

高性能计算环境聚合了多个分布在不同地域、不同组织机构的高性能计算资源,面向用户提供统一的访问入口和使用方式,由系统中间件根据用户作业请求匹配合适的高性能计算资源。随着环境应用编程接口的开放以及作业请求数量的大幅增加,面对高并发作业提交请求时,目前采用的即时调度模型会由于网络等原因导致一定数量的请求处理失败,同时缺乏灵活性。针对此问题,优化了环境作业调度模型,引入作业环境队列,细化了作业系统层状态,增加了作业调度策略可配置性,并基于环境中间件SCE实现了系统原型。经测试,在单核心服务每分钟处理近200个作业提交请求的工作负载下,无因系统和网络原因引起的作业提交出错现象;在共计1 000个作业中,近500个作业提交命令请求在0.3s以内完成,800余个作业提交命令请求在0.5s以内完成。     

云计算中面向SLA的作业分层优先级调度策略

为了满足云计算中服务提供商和服务消费者双方协商的服务等级协议(SLA),提出在云计算环境下采用元调度和本地调度两层框架结构;在每层上采用了多级反馈队列调度算法,设置了基于截止期限、短作业优先等不同优先级的队列,并设计元调度器完成资源的分配和监控。实验仿真结果表明,该调度策略可以满足用户对作业处理时间的需求,保障了云计算SLA。     

分布式环境中的多作业执行调度策略与优化

分布式大数据计算引擎是科研机构、互联网企业和政府部门处理大规模数据必不可少的工具,它们的使用和推广促进了各个领域的快速发展,为社会进步做出了巨大贡献.但是,在多作业处理的情况下,目前主流的大数据计算引擎在资源分配和作业调度方面仍有许多不足之处,它们通常对多作业平均划分内存资源并以先进先出FIFO的方式调度作业,这样简单...     

基于SGE的仿真网格及其作业调度研究

网格引擎是一个构建本地和集群网格的工具,其框架是由四种类型的主机及其对应的守护进程构成.该文主要研究了通过SGE框架构建分布式仿真网格平台的方法,描述了仿真网格平台上执行用户提交的仿真任务的工作流程.随后讨论了基于SGE仿真网格中的资源组织和作业调度,并分析了仿真网格中所使用的作业调度算法,包括确定作业顺序的FIFO算法、优先级算法、等额度和日历算法等;确定队列顺序的负载调整、队列号等算法等.     

大型高能物理计算集群资源管理方法的评测

高能物理数据由物理事例组成,事例之间没有相关性。可以通过大量作业同时处理大量不同的数据文件,从而实现高能物理计算任务的并行化,因此高能物理计算是典型的高吞吐量计算场景。高能所计算集群使用开源的TORQUE/Maui进行资源管理及作业调度,并通过将集群资源划分成不同队列以及限制用户最大运行作业数来保证公平性,然而这也导致了集群整体资源利用率非常低下。SLURM和HTCondor都是近年来流行的开源资源管理系统,前者拥有丰富的作业调度策略,后者非常适合高吞吐量计算,二者都能够替代老旧、缺乏维护的TORQUE/Maui,都是管理计算集群资源的可行方案。在SLURM和HTCondor测试集群上模拟大亚湾实验用户的作业提交行为,对SLURM和HTCondor的资源分配行为和效率进行了测试,并与相同作业在高能物理研究所TORQUE/Maui集群上的实际调度结果进行了对比,分析了SLURM及HTCondor的优势和不足,探讨了使用SLURM或HTCondor管理高能物理研究所计算集群的可行性。     

Hadoop作业调度本地性的研究与优化

作为开源云计算平台的核心技术之一,Map Reduce作业处理框架及其作业调度算法,对整个系统的性能起着至关重要的作用,而数据本地性是衡量作业调度算法好坏的一个重要标准,首先本文介绍和分析了Map Reduce基本原理,Map Reduce作业处理机制和Map Reduce作业调度机制及其在数据本地性方面表现出的优缺点等相关内容。其次,针对原生作业调度算法在数据本地性考虑不周全的问题,结合数据预取技术的可行性与优势,通过引入资源预取技术设计并实现一种基于资源预取的Hadoop Map Reduce作业调度算法,使作业执行效率更高。     

一种基于历史信息的自适应动态网格作业调度方法

目前,国内外围绕着网格中的作业调度算法已做了大量研究,先后提出了很多调度算法.但是,这些算法并不能很好地适应网格的动态性、自治性和分布性等特征.对此,提出了一种动态的网格作业调度方法-基于历史信息的自适应动态网格作业调度方法ASHI.该方法利用每个资源上最近作业的执行信息自适应调整预测模型,然后再根据网格的动态性和实时性等因素,对资源进行反馈选择后将作业提交负载较轻的资源上执行.实验证明,ASHI不但能及时有效地对作业进行调度,而且还可有效提高整个网格的吞吐量和均衡系统的负载.     

一种基于YARN的高优先级作业调度实现方案

提交到YARN上的一个大数据作业会被切分为一个或者多个任务,任务是大数据作业申请资源和执行的基本单位[1]。在某些领域中存在需要对作业紧急度作有效区分使得高紧急度作业优先获得资源的需求,但是在现有的YARN资源调度策略中,对于提交到YARN上的高优先级作业缺乏资源优先分配和高质量的资源保障机制。本文在修改YARN原有资源调度方案的基础上,提出了一种基于YARN的高优先级作业调度实现方案。实验表明,提交到YARN上的高优先级作业执行效率提升了7%左右,证明设计方案行之有效。     

基于Hadoop的三队列作业调度算法

Hadoop集群单队列作业调度会产生短作业等待、资源利用率低的问题;采用多队列调度可兼顾公平、提高执行效率,但会带来手工配置参数、资源互占、算法复杂等问题。针对上述问题,提出三队列作业调度算法,利用区分作业类型、动态调整作业优先级、配置共享资源池、作业抢占等设计,达到平衡作业需求、简化一般作业调度流程、提升并行执行能力的目的。对短作业占比高,各作业占比均衡以及一般作业为主,偶尔出现长、短作业三种情况与先进先出(FIFO)算法进行了对比实验,结果三队列算法的运行时间均比FIFO算法要少。实验结果表明,在短作业聚集时,三队列算法的执行效率提升并不显著;但当各种作业并存且分布均衡时,效果很明显,这符合了算法设计时短作业优先、一般作业简化流程、兼顾长作业的初衷,提高了作业整体执行效率。     

面向云计算的期限约束的MapReduce作业调度方法

提出一种面向异构云计算环境的截止时间约束的MapReduce作业调度方法。使用加权偶图建模MapReduce作业调度问题,将Map任务及Reduce任务与资源槽分为2个节点集合,连接2个节点集合的边的权重为任务在资源槽上的执行时间。进而,使用整数线性规划求解最小加权偶图匹配,从而得到任务到资源槽的调度方案。本文考虑了云计算环境下异构节点任务处理时间的差异性,在线动态评估和调整任务的截止时间,从而提升了MapReduce作业处理的性能。实验结果表明,所提出的方法缩短了作业数据访问的时间,最小化了截止时间冲突的作业数量。     

考虑工件移动时间的柔性作业车间调度问题研究

分析生产车间的实际生产状况,建立了考虑工件移动时间的柔性作业车间调度问题模型,该模型考虑了以往柔性作业车间调度问题模型所没有考虑的工件在加工机器间的移动时间,使柔性作业车间调度问题更贴近实际生产,让调度理论更具现实性。通过对已有的改进遗传算法的遗传操作进行重构,设计出有效求解考虑工件移动时间的柔性作业车间调度问题的改进遗传算法。最后对实际案例进行求解,得到调度甘特图和析取图,通过对甘特图和析取图的分析验证了所建考虑工件移动时间的柔性作业车间调度问题模型的可行性和有效性。     

一种基于流作业的网格作业调度研究

在基于网格环境的一些网格应用中,用户需要提交一种作业类型,该作业可以被分解为逻辑上独立的元作业,这些元作业不存在依赖和通讯关系,并且它们的执行需要大量的数据移动。针对这种作业类型,本文提出了一种基于流作业的网格调度模型。在该模型中,这些独立的元作业像"流"一样自主地流向各个计算节点去执行,各计算节点接收的流量取决于其计算能力,并避免"断流"问题。同时,该模型还分离了作业流和数据流,实现了作业逻辑控制和数据控制的分离,提高了调度的灵活性。本文将该调度模型应用于药物虚拟筛选应用中,该模型能够充分利用计算节点的计算能力。     

一种采用消息模型的多集群作业管理方案设计

文中针对多集群环境资源异构且地域分散、网络环境不可靠以及面向用户需求的特点,提出了一种采用消息模型的多集群作业管理方案。该方案采用全局一局部的层次调度方法,基于发布一订阅的消息模型,根据当前网络环境、用户作业的资源需求、各集群自身负载情况进行综合统一调度管理。实践证明,采用该方案设计实现的多集群作业管理系统实现了多集群环境下的资源监控、资源管理、作业调度、作业控制、数据管理等功能,有效解决了在资源异构及网络环境不可靠条件下的系统稳定性问题,显著提高了多集群系统作业吞吐能力。     

Hadoop平台下计算能力调度算法的改进与实现

在计算能力调度算法中没有全面考虑各资源特征的分配是否满足作业多样的服务要求,提出一种基于优先级的计算能力加权调度算法,根据作业的优先级以及提交时间等因素来计算作业的权重。依据作业的权重对作业队列进行排序并分配空闲的slot给队首的作业,从而避免调度陷入局部最优也能更好地满足作业的多样性服务要求。在搭建的Hadoop平台上进行实验表明,改进后的算法能较均衡地分配系统资源减少一些作业的等待时间,并且运行全部作业的用时有所减少。     

Characterization of Bandwidth-Aware Meta-Schedulers for Co-Allocating Jobs Across Multiple Clusters

In this paper, we present a bandwidth-centric job communication model that captures the interaction and impact of simultaneously co-allocating jobs across multiple clusters. We compare our dynamic model with previous research that utilizes a fixed execution time penalty for co-allocated jobs. We explore the interaction of simultaneously co-allocated jobs and the contention they often create in the network infrastructure of a dedicated computational multi-cluster.We also present several bandwidth-aware co-allocating meta-schedulers. These schedulers take inter-cluster network utilization into account as a means by which to mitigate degraded job run-time performance. We make use of a bandwidth-centric parallel job communication model that captures the time-varying utilization of shared inter-cluster network resources. By doing so, we are able to evaluate the performance of multi-cluster scheduling algorithms that focus not only on node resource allocation, but also on shared inter-cluster network bandwidth.     

Alternative date entry technologies and settings: Impact on worker attitudes and behavior

Changes in technology and the movement of key entry functions into user areas are altering the traditional work environment. These changes can effect worker attitudes and associated behaviors, such as absenteeism and productivity. This study examines the effect of differences in key entry settings and technologies on perceived job characteristics and worker attitudes and behaviors. The results are based upon a study of 350 operators working in 87 key entry environments drawn from 29 organizations. It is found that new technologies and the movement of key entry into user areas affect perceived task characteristics, including task significance, autonomy, and feedback from the job. Job satisfaction, worker motivation, absenteeism, and productivity are also influenced (but to a lesser degree) by changes in key entry technology and setting. The implications of the findings for the design of key entry equipment and jobs are discussed. The conclusion is drawn that designers of key entry technologies and environments will benefit from a knowledge of the dimensions comprising meaningful work.     

Effective ensembles of heuristics for scheduling flexible job shop problem with new job insertion

This study investigates the flexible job shop scheduling problem (FJSP) with new job insertion. FJSP with new job insertion includes two phases: initializing schedules and rescheduling after each new job insertion. Initializing schedules is the standard FJSP problem while rescheduling is an FJSP with different job start time and different machine start time. The time to do rescheduling is the same as the time of new job insertion. Four ensembles of heuristics are proposed for scheduling FJSP with new job insertion. The objectives are to minimize maximum completion time (makespan), to minimize the average of earliness and tardiness (E/T), to minimize maximum machine workload (Mworkload) and total machine workload (Tworkload). Extensive computational experiments are carried out on eight real instances from remanufacturing enterprise. The results and comparisons show the effectiveness of the proposed heuristics for solving FJSP with new job insertion.     

Employee dispositions to job and organization as antecedents and consequences of information systems use

Organizations implement information systems to improve employee productivity and engender favourable organizational outcomes. Although there is evidence of positive outcomes of system use, research has suggested that system use may lead to negative consequences for employees and organizations. There has been limited research that focuses on how employees' use of information systems in the workplace is associated with their positive and negative dispositions to job and organization. We develop and test a model that posits that dispositions to job (ie, job satisfaction, job security, job anxiety, and emotional exhaustion), and organization (ie, organizational commitment and organizational trust) will play a dual role of antecedents and consequences of system use. We conducted 2 longitudinal studies in the context of 2 different systems—a functional system and an enterprise system—and found support for our hypotheses (N = 257 and 181, respectively). We found that preimplementation job and organizational dispositions significantly predicted both lean and rich measures of system use. Further, we found that rich measures of system use (ie, cognitive absorption use and deep structure use) had differential impacts on postimplementation employee dispositions—functional system use had a positive impact and enterprise system use had a negative impact. Overall, our findings offer a comprehensive understanding of system use, and its antecedents and consequences for employees in organizations.     

面向司法专题分析的大数据计算资源调度方法

针对司法专题分析过程中面临的交互式分析类数据处理执行效率低的问题,提出了一种基于任务类型的计算资源调度方法,为任务类型建立计算资源配额管理机制。在类型配额内具备抢占式优先调度权,在类型配额外可以借用其他任务类型的空闲资源。实验与分析表明,该方法能够在兼顾普通大数据处理任务执行效率的前提下显著提升交互式分析类任务的执行效率。