Hadoop平台中作业调度算法分析与改进研究

针对传统云计算作业调度中简单优先级设置的不足,首先对作业调度进行研究并提出了基于用户服务等级协议(SLA)的作业分级机制。该设计基于Qo S约束的多优先级作业调度算法,在算法中利用云用户作业中的偏好程度来设计优先级值计算函数Priority,在作业调度时可以使较高等级的云用户和具有较高优先级的作业优先得到任务的执行,通过上述方式可以较好地保证云计算环境下的服务质量。     

一种改进的 Hadoop 多用户作业调度方法

针对目前 Hadoop 作业调度方法服务水平不高、资源利用率低的问题,提出了一种改进的 Hadoop 多用户作业调度算法。分析了 Hadoop 现行调度算法存在的不足,提出了基于服务质量（QoS）的作业选择量化和基于遗传算法的任务选择均衡化的方法,最后采用 Hadoop 平台对算法进行了仿真。仿真结果表明,该资源调度方法提高了作业的服务质量,实现了资源的合理调度。     

基于云计算Hadoop异构集群的并行作业调度算法

针对Hadoop异构集群中计算和数据资源的不一致分布所导致的调度性能较低的缺点,设计了一种基于Hadoop集群和改进Late算法的并行作业调度算法;首先,介绍了基于Hadoop框架和Map-Reduce模型的调度原理,然后,在经典的Late调度算法的基础上,对Map任务和Reduce任务的各阶段执行时间进度比例进行存储和更新,为了进一步地提高调度效率,将慢任务迁移到本地化节点或离数据资源较近的物理节点上,并给了基于改进Late算法的作业调度流程;为了验证文中方法,在Hadoop集群系统上测试,设定1个为Jobtracker主控节点和7个为TaskTracker节点,实验结果表明文中方法能实现异构集群的作业调度,且与其它方法比较,具有较低的预测误差和较高的调度效率。     

Hadoop平台下计算能力调度算法的改进与实现

在计算能力调度算法中没有全面考虑各资源特征的分配是否满足作业多样的服务要求,提出一种基于优先级的计算能力加权调度算法,根据作业的优先级以及提交时间等因素来计算作业的权重。依据作业的权重对作业队列进行排序并分配空闲的slot给队首的作业,从而避免调度陷入局部最优也能更好地满足作业的多样性服务要求。在搭建的Hadoop平台上进行实验表明,改进后的算法能较均衡地分配系统资源减少一些作业的等待时间,并且运行全部作业的用时有所减少。     

Hadoop平台下基于加权轮转算法的改进任务调度算法

为提高Hadoop作业调度的效率,增加云平台的吞吐率,提出了一种基于Hadoop云计算平台的作业调度算法。该算法在加权轮转调度算法的基础上,针对MapReduce的运行特点,增加了改进map任务本地性调度的因素,使得作业调度仍然保持了相对的公平性,并通过提高轮转周期内的map任务数据本地性,减少了任务的执行时间。实验结果证明,该调度算法与加权轮转调度算法相比,较好地提高了任务本地执行的比例,缩短了云计算系统内作业的总执行时间。     

Hadoop作业调度本地性的研究与优化

作为开源云计算平台的核心技术之一,Map Reduce作业处理框架及其作业调度算法,对整个系统的性能起着至关重要的作用,而数据本地性是衡量作业调度算法好坏的一个重要标准,首先本文介绍和分析了Map Reduce基本原理,Map Reduce作业处理机制和Map Reduce作业调度机制及其在数据本地性方面表现出的优缺点等相关内容。其次,针对原生作业调度算法在数据本地性考虑不周全的问题,结合数据预取技术的可行性与优势,通过引入资源预取技术设计并实现一种基于资源预取的Hadoop Map Reduce作业调度算法,使作业执行效率更高。     

基于云计算的作业调度算法研究

通过对现有云计算进行系统的研究,设计出一套作业调试算法解决方案,实现云计算作业调试算法,并应用在云计算模型上,通过模拟平台进行实验分析,证明解决方案是可行的。     

云环境下Hadoop平台的作业调度算法

云计算的研究和应用将有一片广阔的前景,详细研究和分析了Hadoop平台架构和核心原理,研究了Hadoop现有的典型作业调度算法,并针对算法存在需要预先配置的问题,提出了基于朴素贝叶斯分类的作业调度算法,通过仿真实验,可以看出改进的算法具备了良好的学习能力,性能良好,可以减轻管理员的负担,提高管理效率,减少人工错误的可能性.     

基于Hadoop的三队列作业调度算法

Hadoop集群单队列作业调度会产生短作业等待、资源利用率低的问题;采用多队列调度可兼顾公平、提高执行效率,但会带来手工配置参数、资源互占、算法复杂等问题。针对上述问题,提出三队列作业调度算法,利用区分作业类型、动态调整作业优先级、配置共享资源池、作业抢占等设计,达到平衡作业需求、简化一般作业调度流程、提升并行执行能力的目的。对短作业占比高,各作业占比均衡以及一般作业为主,偶尔出现长、短作业三种情况与先进先出(FIFO)算法进行了对比实验,结果三队列算法的运行时间均比FIFO算法要少。实验结果表明,在短作业聚集时,三队列算法的执行效率提升并不显著;但当各种作业并存且分布均衡时,效果很明显,这符合了算法设计时短作业优先、一般作业简化流程、兼顾长作业的初衷,提高了作业整体执行效率。     

基于改进属性加权的朴素贝叶斯入侵取证研究

针对传统朴素贝叶斯分类模型在入侵取证中存在的特征项冗余问题,以及没有考虑入侵行为所涉及的数据属性间的差别问题,提出一种基于改进的属性加权朴素贝叶斯分类方法。用一种改进的基于特征冗余度的信息增益算法对特征项集进行优化,并在此优化结果的基础上,提取出其中的特征冗余度判别函数作为权值引入贝叶斯分类算法中,对不同的条件属性赋予不同的权值。经实验验证,该算法能有效地选择特征向量,降低分类干扰,提高检测精度。     

基于自适应功耗管理的高性能计算机作业调度策略的研究

作业调度系统是高性能计算机的核心组件,其目标是在满足性能要求的前提下,使得所有任务消耗的总功耗最低。提出了一种自适应功耗管理策略,该策略采用遗传算法作为功耗调度算法,采用作业队列的能效比作为调度因素,与面向资源效率的传统作业调度算法相比,在确保提升资源利用率、减少资源碎片、提升作业吞吐率、减少饥饿作业的前提下,大幅提升了系统的能效比。实验证明该策略能有效提高整机能效,与传统作业调度策略相比能节约9%以上的能耗。     

基于多维QoS的集群作业调度算法

调度技术是集群作业管理系统的关键技术之一。但是,目前大多数集群作业管理系统采用的调度技术,很少按照应用对系统资源的需求加以详细区分和权衡,无法同时满足不同应用在高吞吐量、高可用性和实时性等方面的要求,造成了资源的闲置和资源因为负载过重而无法正常工作。该文正是注意到了这种不足,根据不同应用的需求和实时收集到的资源信息,引入了多维QoS的概念,并给出了多维QoS的数学模型,提出了一种基于多维QoS的集群作业调度算法JSBMQ,充分提高了系统的资源利用率和平均响应时间,使集群可以提供不问断的高效的计算服务。     

一种快速网格任务调度策略

网格任务调度目标有很多,如用户要求任务轮转时间短、花费代价小,而资源提供者希望资源利用率高等,这些目标相互冲突,因此网格任务调度不仅是一个NP难问题,而且是一个多目标优化问题.本文根据网格环境下任务的时间相关性特点,对传统蚁群算法进行了改进,提出了一种快速网格任务调度算法.该算法不仅解决了网格调度中多目标优化问题,而且依据任务调度历史信息生成蚁群算法的初始信息素分布,提高了蚁群算法的求解速度.     

基于网格计算池模型的作业调度策略研究

在现阶段,网格的计算池模型是一种较实用的网格实现方式,其资源的查找和分配机制也相对简单。文章根据计算池模型的特点,参照织女星网格的体系结构,将基于最短路由转发的资源发现机制与任务调度算法相结合,提出了一种新的网格任务调度策略,并给出了简化模型清晰地描述了任务在此策略下全部的执行过程。     

一种基于SystemC的Job Shop调度问题建模方法

考虑SystemC解决大规模集成电路硬件建模问题的优势,运用事件驱动下进程交互仿真策略,提出了一种基于SystemC仿真平台的生产调度问题建模方法,并将该方法应用于求解经典的Job Shop调度问题。仿真实例表明基于SystemC的仿真建模方法对于求解Job Shop调度问题可以达到令人满意的效果,从而验证该方法应用于实际生产调度问题建模的可行性。     

具有模糊处理时间的网格任务调度免疫算法

目前,网格计算作为一种新的计算范式正在兴起。任务调度是其中的一个重要研究领域。该文以AIS的克隆选择算法为基础,给出了基于人工免疫系统的网格任务调度算法。首先,对网格任务调度问题进行模糊化,并给出了形式化描述,随后用结构化的语言对算法进行了说明,最后通过仿真实验对算法的有效性以及算法参数对性能的影响进行了验证。     

基于粒子群算法和RBF神经网络的云计算资源调度方法研究

为了获得云计算资源调度的多目标优化方案,提出了一种云计算资源的动态调度管理框架;然后给出了本系统的基本架构形式,并对其进行了详细设计;其次,建立了以提高应用性能、保证云应用的服务质量和提高资源利用率为目标的多目标优化模型,并结合最新的RBF神经网络和改进粒子群算法对其求解;最后,在CloudSim平台进行了仿真,实验结果表明提出的框架及算法能有效减少虚拟机迁移次数和物理结点的使用数量,在提高资源利用率的同时,能保证云应用的服务质量。     

基于自适应蚁群算法的作业车间模糊调度研究

在研究不确定生产调度问题的基础上,针对具有模糊加工时间和模糊交货期的调度问题给出了作业车间模糊调度模型,用三角模糊数表示模糊加工时间,梯形模糊数表示模糊交货期,以交货期平均满意度最大作为调度目标.针对模糊调度问题对基本蚁群算法作了改进,并给出了新的状态转移规则,同时采用自适应信息素更新策略使算法能快速跳出局部收敛,进行仿真结果验证了自适应蚁群算法求解作业车间模糊调度的有效性.