Hadoop平台下基于截止时间限制的动态调度算法的研究

为了满足有截止时间限制的MapReduce作业的需求,提出一种基于截止时间限制的动态调度算法（DCDS）。该算法实时监控作业运行状况,并对作业运行时间进行动态估算,从而确定作业优先级;对于时间紧迫的作业,可通过抢占策略来保证在用户要求的截止时间内完成。实验结果表明,与Hadoop平台现有的调度算法相比,该算法不仅能满足作业截止时间的要求,也提高了系统资源的利用率和吞吐量。     

一种基于两级DAG模型的MapReduce工作流异构调度算法

MapReduce编程模型被广泛应用于大数据处理平台,而一个有效的任务调度算法对模型的运行效率至关重要。将MapReduce工作流的Map和Reduce阶段分别拆解为若干个有先后序限定关系的作业,每个作业再拆解为多个任务。之后基于计算集群的可用资源和任务异构性,构建面向作业和任务的2级有向无环图(DAG)模型,同时提出基于2级优先级排序的异构调度算法2-MRHS。算法的第1阶段进行优先级排序,即对作业和任务分别进行优先权值计算,再汇总得到任务的调度队列;第2阶段进行任务分配,即基于最快完成时间将每个任务所包含的数据块子任务分配给最适合的计算结点。采用大批量随机生成的DAG模型进行实验,结果表明与其他相关算法相比,本文算法有更短的调度长度(makespan)且更加稳定。     

一种Hadoop中基于作业类别和截止时间的调度算法

Hadoop是一种开源可靠的分布式计算框架,而MapReduce是处理超大规模数据集的编程模型.鉴于Ha-doop内置的调度器不能很好地处理类别不同且有截止时间的作业的调度,提出了一种基于作业类别和截止时间的作业调度算法.作业分为CPU密集型和I/O密集型,并根据截止时间设置优先级来实现作业的调度.实验结果表明,该算法在充分利用集群的CPU和磁盘I/O的同时,能满足作业的截止期需求,当同一时间段内截止时间相近时算法达到最优,当某一队列中作业截止时间均比另一种队列短时,算法效率最低.     

一种作业弹性与截止时间感知的作业调度算法

针对采用MapReduce模型的大数据分析作业的调度问题进行深入研究，并分析现有任务调度算法的缺陷，现有算法没有考虑资源分配对于作业截止时间的影响，也未考虑不同类型作业截止时间的敏感性问题。因作业的完成时间随着分配资源的不同而改变，故称之为弹性作业，截止时间敏感性是指不同类型作业对截止时间要求的严格程度不同。针对以上问题，提出一种截止时间感知的弹性作业调度算法（DA）。该算法将作业依据截止时间敏感程度进行分类，在基于作业整体执行时间预测的基础上，通过调控不同的资源分配策略来改变作业完成时间，同时结合用户对于截止时间的需求及作业预执行的收益来提前规划作业的资源分配及调度次序使得整体收益最大化。将算法在仿真拥有210个物理节点的集群中进行实验，实验表明该算法满足了截止时间的限制并使得作业整体收益值平均提高了2.37倍。     

用于Hadoop2.x的MapReduce性能评估模型

基于MapReduce的程序被越来越多地应用于大型数据分析的应用中.Apache Hadoop是最常用的开源MapReduce模型之一.程序运行时间的缩短对于MapReduce程序以及所有数据处理应用而言至关重要,而能够准确估算MapReduce程序的执行时间是优化程序的重要环节.本文定义了一个在Hadoop2.x版本中能够准确估算MapReduce作业负载执行时间的性能模型.该模型包括一个优先级树模型与一个排队网络模型,分别用于展示一个MapReduce作业中不同任务之间的依赖关系及MapReduce作业内的同步约束.最后,实验证明了该模型的可用性.     

云计算中一种多DAG工作流可抢占式调度策略

为解决多用户工作流调度过程中的公平性问题,提高资源利用率,满足不同用户DAG工作流的不同QoS需求,提出了抢占式多DAG工作流动态调度模型。该算法将DAG工作流按照QoS需求进行优先级划分,采用高优先级作业优先占有资源的原则调度作业。相同优先级DAG工作流的任务依据带有启发性信息的slowdown进行资源抢占,进一步提高了作业调度的公平性;对于不同优先级的作业调度,提出了基于阈值的回填算法,该算法在保证作业调度公平的同时提高了资源利用率。     

网络状态感知的MapReduce作业洗牌数据传输调度研究

MapReduce作业在洗牌阶段花费大量时间,因此有效的洗牌数据传输调度可以提高MapReduce的性能。数据中心网络中,常有一些周期性的数据流传输。在考虑已知这些周期性数据流传输的情况下,为MapReduce的洗牌数据传输调度问题建立了优化模型,并设计了一个有效的数据传输调度算法。在网络空闲时间段大小相同的情况下,证明了所提算法是近似比为3/2的近似算法。仿真实验结果表明,该算法能够有效地利用网络资源,减少洗牌数据流的调度长度。     

基于集群拓扑结构的工作流调度研究

针对MapReduce的默认调度策略先进先出(FIFO)在执行任务时考虑本地性调度带来的任务等待时间长、资源利用率不高和没有考虑任务的优先级等问题,提出一种基于集群拓扑结构的工作流实时调度算法。MapReduce在对工作流进行Map处理时,首先根据taskTracker的计算能力和数据大小对map阶段工作流的完成时间进行估计,得到一个完成时间隶属函数,然后再利用集群的拓扑结构,得到taskTracker在集群中的距离隶属函数,根据这两个隶属函数来对集群中的taskTracker在工作流处理时间和数据传输时间进行综合性能评估,这样可以有效地缩短任务的等待时间并提高资源的利用率。同时该算法采用对作业进行优先级划分的方式,满足不同类型作业的需求。大量的实验结果表明:该优化策略在平均完成时间和平均等待时间方面要优于FIFO算法,可以有效提高工作流处理的实时性。     

Hadoop平台中作业调度算法分析与改进研究

针对传统云计算作业调度中简单优先级设置的不足,首先对作业调度进行研究并提出了基于用户服务等级协议(SLA)的作业分级机制。该设计基于Qo S约束的多优先级作业调度算法,在算法中利用云用户作业中的偏好程度来设计优先级值计算函数Priority,在作业调度时可以使较高等级的云用户和具有较高优先级的作业优先得到任务的执行,通过上述方式可以较好地保证云计算环境下的服务质量。     

面向优先级用户的移动边缘计算任务调度策略

随着移动终端处理的数据量及计算规模不断增加,为降低任务处理时延、满足任务的优先级调度需求,结合任务优先级及时延约束,提出了基于任务优先级的改进min-min调度算法（task priority-based min-min,TPMM）。该算法根据任务的处理价值及任务的数据量计算任务的优先级,结合任务截止时间、服务器调度次数制定资源匹配方案,解决了边缘网络中服务器为不同优先级的用户进行计算资源分配的问题。仿真实验结果表明,该算法可以均衡服务器利用率,并有效降低计算处理的时延,提高服务器在任务截止处理时间内完成任务计算的成功率,相比min-min调度算法,TPMM算法最多可降低78.45%的时延,提高80%的计算成功率;相比max-min调度算法,TPMM算法最多可降低80.15%的时延并提高59.7%的计算成功率;相比高优先级（high priority first,HPF）调度算法,TPMM算法最多降低59.49%的时延,提高57.7%的计算成功率。     

异构无线网络中动态优先级接纳控制算法研究

针对在应急情况下的异构网络环境中不同类型业务在群组切换时出现的网络拥塞问题,以及现有研究中较少考虑不同类型用户所进行的业务的重要性和紧急性不同,从而不能合理分配有限的网络资源的情况,提出了一种异构无线网络中动态优先级接纳控制算法。首先,根据用户类型和业务类型对业务设定初始优先级;然后,根据业务的执行紧迫性和业务的剩余价值密度对业务优先级进行动态调整,并提出了一种基于业务优先级的抢占调度算法;最后为避免在业务优先级进行动态调整过程中出现颠簸调度现象,给出了避免颠簸调度的条件。所提算法考虑了实际情况中不同用户类型所进行的业务重要程度的不同,对业务进行了优先级设定,使初始优先级高的业务能够优先得到服务,在此基础上为尽量满足整体用户的用网需求,对业务的优先级进行了动态调整。为验证所提方法的有效性,将基于优先级队列调度算法和基于阻塞率约束的群组切换方法作为对比算法,在MATLAB软件环境下进行仿真分析。结果表明,所提方法相较于对比算法能够在减少业务切换的阻塞率的同时,使总体业务的完成率提高10%左右,证明了该算法在使初始优先级高的业务能够优先得到服务的同时,为初始优先级低的业务提供了网络切换的条件,从而提高了网络资源分配的合理性和公平性。     

Hadoop平台公平调度算法研究与优化

Hadoop Map Reduce框架的公平调度算法以统一的固定配置文件管理计算节点上计算槽的数量,这不能保障集群负载均衡,亦不能满足不同用户的资源需求。针对公平调度算法配置方式的不足,提出一种动态反馈的调度算法。该算法结合公平调度算法预先分配的特性,能够对计算节点上的计算槽进行动态调整。实验结果表明,基于动态反馈的改进算法有效地提高了集群的执行效率。     

采用分级策略和控制消息的一种动态带宽分配

通过对以太无源光网络接入技术和现有各种带宽分配算法存在不足的分析,基于数据服务优先级划分和ONU队列管理机制,提出了一种新的动态带宽分配算法。它基于服务分级策略和控制消息格式来处理一个EPONs多点控制协议中的不同优先级带宽。仿真表明,提出的动态带宽分配算法不仅有较高的链接效率和带宽利用率,而且在资源分配方面效率更高。     

故障诊断算法在MapReduce中的优化实现

针对故障诊断算法特点,给出了MapReduce框架实现故障诊断算法的基本方法。通过对故障诊断算法和MapReduce运算框架的分析,得出诊断算法MapReduce化的基本方法和思路。在算法研究的基础上,针对非迭代诊断算法,采用传统MapReduce框架实现。针对迭代诊断算法,采用添加了传送模块的迭代式MapReduce框架实现。分别以最近邻法和模糊C均值聚类算法为例,给出非迭代和迭代诊断算法MapReduce化的具体实现。实验结果表明,本文所提基本方法可以运用在故障诊断算法中,为诊断算法MapReduce化提供依据,将MapReduce运用到故障诊断算法中可以有效提升故障诊断效率。     

基于改进式贪婪算法的5G网络切片动态资源调度策略

为了解决移动通信网络中资源利用率和用户体验质量的瓶颈问题,5G 引入网络切片来应对用户的巨大资源需求。提出了一种基于改进式贪婪算法的网络切片动态资源调度策略,在切片调度和用户调度阶段,设计了一种两层模型,即切片?用户模型,并且结合改进式贪婪算法,使服务权重值最大的切片和优先级最高的用户组合,完成相应的服务。该方法是将全局资源最优问题简化为规模更小的子问题,通过每一次切片和用户的最佳组合,从而使整个系统的资源和用户的体验质量达到最优。Matlab的仿真结果表明,基于改进式贪婪算法的网络切片动态资源调度策略在系统剩余资源利用率、系统达到平均的QoE水平、系统吞吐量等方面都显优于现行的资源调度策略,能够更好地满足用户的需求。     

车联网数据流的多维服务质量改进异构计算最早完成时间调度算法

针对车联网中数据流分布式处理的调度问题,提出了多维服务质量(QoS)改进异构计算最早完成时间(HEFT)调度算法.首先,分别建立了车联网中数据流的分布式处理任务的带权有向无环图模型和车联网分布式计算资源的七维QoS属性带权无向拓扑结构图模型.其次,改进经典的HEFT调度算法中的列表构造方法为最高层最小后继任务优先列表构造方法; 同时,将车联网分布式计算资源的七维QoS属性进行分组、降维,转化为两维综合属性优先权:计算性能优先权和通信性能优先权,形成了两种不同用户偏好的多维QoS改进HEFT调度算法.最后,通过算例分析表明:两种不同用户偏好的多维QoS改进HEFT调度算法综合性能优于经典的HEFT调度算法和轮询调度算法.     

基于DiffServ模型的调度算法

区分服务(DiffServ)模型中不同队列调度算法对网络性能有不同的影响。该文介绍了DiffServ实现模型,分析比较了目前4种典型队列调度算法的基本原理及性能特点。基于OPNET Modeler构建了采用不同调度算法的DiffServ仿真实现模型,通过对各仿真结果的比较研究,进一步验证了几种算法各自的优劣特性。     

一种多用户MapReduce集群的作业调度算法的设计与实现

随着更多的企业开始使用数据密集型集群计算系统如Hadoop和Dryad实现了更多的应用,多用户间共享MapRe-duce集群这种既减少了建立独立集群的代价,同时又使得多用户间可以共享更多的大数据集资源的需求日益增多。在公平调度算法的基础上,结合槽分配延迟和优先级的技术,本文提出了一种改进算法,可以实现更好的数据本地性,改善整个系统的计算性能如吞吐率、响应时间等;同时为了满足差别化的商业服务,通过对用户设置相应的优先级保证紧急任务的完成。