Hadoop下基于统计最优的资源调度算法

云计算集群中的资源存在异构和节点稳定性问题.异构资源的计算能力不同会导致较突出的作业任务同步问题,而某个节点的不稳定状态会使运行于该节点的任务大量备份或重新计算.针对上述两问题将严重影响集群作业的执行进度,在Hadoop平台下利用统计方法,提出一种资源调度算法,对计算资源较少的节点和不稳定状态的节点进行标志并降权,让集群尽可能调度资源较好的稳定节点.实验结果表明,该算法能够在一定程度上减少作业的周转时间,提高集群的效率和吞吐量.     

异构环境下改进的LATE调度算法

针对异构环境下LATE算法在选择备份任务及执行节点时的不足,提出一个改进的IR-LATE调度算法。算法通过计算为剩余完成时间最长、最需要备份的慢任务启动备份,并将其按负载不同进行分类,结合轮询算法,将备份任务分配到负载最小且成功/负载比高的节点上执行。实验结果表明,该算法与LATE算法比较,有效的将作业完成时间缩短了30%左右,提高了执行效率,进而促进系统的负载均衡。     

异构资源环境下Hadoop节点能力自适应调度算法

为了解决当前Hadoop集群在异构资源环境下固有的调度分配方法的不足,提出了一种基于节点能力的自适应调度算法NCAS（node capacity adaptive scheduling）。首先,NCAS算法根据节点性能、任务特征计算得到调度因子;然后,由调度因子确定各节点应分得的数据量与任务槽数;最后,将数据和任务多分给快节点同时少分给慢节点。实验结果表明,与传统的调度算法相比,NCAS算法大幅度减少了备份任务的启动数量,明显减少了作业完成时间,提升了任务执行效率。     

基于EDF的分布式系统实时容错调度算法

将分布式系统的任务分配算法与处理器局部调度算法相结合，提出一种主动备份的、基于EDF的分布式系统实时容错调度算法，其特点是主／副版本执行时间可以重叠。给出了该调度算法的任务集可调度的充分条件、任务集可调度所需最小处理器个数的计算方法。模拟结果比较了主动备份容错调度算法与被动备份容错调度算法，结果表明卞动备份算法效率更优。     

基于节点集计算能力差异的Hadoop自适应任务调度算法

针对异构集群任务推测式执行算法存在的任务进度比例固定、落后任务被动选取等问题,提出基于快慢节点集计算能力差异的自适应任务调度算法。该算法量化节点集计算能力差异实现分集调度,并通过节点与任务速率的动态反馈及时更新快慢节点集,提高节点集资源利用率与任务并行度。在两节点集中,利用动态调整任务进度比例判别落后任务,主动选择采用替代执行方式为落后任务执行备份任务的快节点,从而提升任务执行效率。与最长近似结束时间(LATE)算法的实验对比结果表明,该算法在短作业集、混合型作业集、出现节点性能下降的混合型作业集执行时间上比LATE算法分别缩短了5.21%、20.51%、23.86%,启用的备份任务数比LATE算法明显减少。所提算法可使任务主动适应节点差异,在减少备份任务的同时有效提高作业整体执行效率。     

Hadoop平台下改进的LATE调度算法

对Hadoop平台下的MapReduce现有的调度器进行分析研究。针对LATE调度算法在分配节点执行落后任务的备份任务时的不足,结合Hadoop集群的异构性和工作负载的特殊性,在LATE调度算法的基础上提出了一种改进的LATE调度算法。对该算法进行实验和性能分析,表明该算法在完成时间和负载均衡方面有很大改进。     

异构环境下增强的自适应MapReduce调度算法

针对Hadoop默认调度算法和异构环境下LATE调度算法的不足,在SAMR调度算法的基础上提出了一种增强的自适应MapReduce调度算法。该算法记录了每个节点的历史信息,采用K-means聚类算法动态地调整阶段进度值以找到真正需要启动备份的落后任务。实验结果表明,增强自适应的MapReduce调度算法在提高任务执行时间的估算误差以及准确识别慢任务方面具有一定的有效性。     

云计算环境下的PSO可信资源调度

对云计算环境下的资源调度问题进行了研究。针对云计算环境下资源调度的特点,结合节点失效以及任务间的网状结构特点,建立资源调度问题数学模型,运用离散粒子群算法求解该问题。针对模型特点结合云计算服务运营实情,设计算例进行仿真测试。验证表明了所建立模型的合理性及该算法求解的可行性和有效性。     

基于Wi-Fi与Web的云计算资源调度算法研究

为缩短云计算执行时间,改善云计算性能,在一定程度上加强云计算资源节点完成任务成功率,需要对云计算资源进行调度;当前的云计算资源调度算法在进行调度时,通过选择合适的调度参数并利用CloudSim仿真工具,完成对云计算资源的调度;该算法在运行时无法有效地进行平衡负载,导致云计算资源调度的均衡性能较差,存在云计算资源调度结果误差大的问题;为此,提出一种基于Wi-Fi与Web的云计算资源调度算法;该算法首先利用自适应级联滤波算法对云计算资源数据流进行滤波降噪,然后以降噪结果为基础,采用本体论对云计算资源进行预处理操作,最后通过人工蜂群算法完成对云计算资源的调度;实验结果证明,所提算法可以良好地应用于云计算资源调度中,有效提高了云计算资源利用率,具有实用性以及可实践性,为该领域的后续研究发展提供了可靠支撑。     

云计算下的基于萤火虫-遗传算法的资源调度

如何能够最大限度发挥云计算中资源调度效率是目前研究的热点之一.首先建立云计算环境下的资源调度模型,将萤火虫算法中的个体与云计算节点资源进行对应,其次在算法中个体初始化中引入遗传算法优化初始解,对算法中的位置更新设定感觉阀值用来调节个体选择最优路径的概率;最后针对挥发因子的改进使得荧光素的值进行更新.仿真实验表明,该算法能够有效的提高云计算中的资源调度性能,缩短了任务完成的时间,提高系统整体处理能力.     

Bandwidth‐aware divisible task scheduling for cloud computing

Task scheduling is a fundamental issue in achieving high efficiency in cloud computing. However, it is a big challenge for efficient scheduling algorithm design and implementation (as general scheduling problem is NP‐complete). Most existing task‐scheduling methods of cloud computing only consider task resource requirements for CPU and memory, without considering bandwidth requirements. In order to obtain better performance, in this paper, we propose a bandwidth‐aware algorithm for divisible task scheduling in cloud‐computing environments. A nonlinear programming model for the divisible task‐scheduling problem under the bounded multi‐port model is presented. By solving this model, the optimized allocation scheme that determines proper number of tasks assigned to each virtual resource node is obtained. On the basis of the optimized allocation scheme, a heuristic algorithm for divisible load scheduling, called bandwidth‐aware task‐scheduling (BATS) algorithm, is proposed. The performance of algorithm is evaluated using CloudSim toolkit. Experimental result shows that, compared with the fair‐based task‐scheduling algorithm, the bandwidth‐only task‐scheduling algorithm, and the computation‐only task‐scheduling algorithm, the proposed algorithm (BATS) has better performance. Copyright © 2012 John Wiley & Sons, Ltd.     

云环境下周期和非周期混合实时任务双容错调度算法

云环境中的处理机故障已成为云计算不可忽视的问题,容错成为设计和发展云计算系统的关键需求。针对一些容错调度算法在任务调度过程中调度效率低下以及任务类型单一的问题,提出一种处理机和任务主副版本分组的容错调度方法;并给出了副版本可重叠执行的判定方法,以及任务最坏响应时间的计算公式。通过实验和分析表明,和以前算法相比,将处理机分成两组分别执行任务主版本和任务副版本,减少了任务调度所需进行可调度测试的时间,增加了副版本重叠执行的机会,减少了所需的处理机个数,对提高系统处理机的利用率和容错调度的效率具有重要的意义。     

基于动态能量感知的云计算任务调度模型

针对传统云计算任务调度模型出现的计算量大、能耗高、效率低、调配精度差等问题,基于动态能量感知设计了一种新的云计算任务调度模型;以动态能量感知为基础,选取资源分配服务器的中央处理器的使用率、存储器的占用率、控制器的负载率等3个参数,构建三维云计算任务节点投影空间,将上述参数向量投影到空间中;引入动态能量感知建立云计算任务调度模型,采用虚拟技术将多个服务器合并成一台服务器,对调度任务进行需求分析和分类,采用能量感知算法将待调度任务分配给满足调度需求的虚拟资源,将任务调度到服务器资源上,实现任务调度;实验结果表明,基于动态能量感知的云计算任务调度模型在从小任务集和大任务集两个角度都能给有效缩短调度时间,降低调度能耗。     

改进蚁群算法的云计算任务调度方法

针对蚁群算法在云计算任务调度问题求解过程存在的不足,以找到最佳的云计算任务调度方案为目标,提出了一种基于改进蚁群算法的云计算任务调度方法.首先对当前云计算任务调度研究现状进行分析,并对问题进行了具体描述,然后采用蚁群算法对云计算任务调度问题进行求解,并针对标准蚁群算法缺陷进行改进,最后在CloudSim平台对该方法的性能进行测试.结果表明,改进蚁群算法可以找到较好的云计算任务问题调度方案,加快云计算任务完成速度,具有一定的实际应用价值.     

基于IFOA-GA任务调度算法在云计算MapReduce模型中的研究

针对传统的云计算任务调度算法存在效率低、利用率不高的问题,采用改进的果蝇算法（improved fruit fly optimization algorithm,IFOA）和遗传算法（genetic algorithm,GA）融合的算法用于处理任务调度。首先,将任务调度转换为DAG（directed acyclic graph,DAG）并通过Kruskal算法将任务调度顺序进行化简;其次,针对果蝇算法的种群采用正交数组和量化技术进行初始化,对果蝇算法边界进行处理,对探索步长进行动态调整,并使用GA算法对个体选择进行选择处理;最后,将融合后生成的算法IFOA-GA用于仿真平台中的云计算任务调度,相对于IGA、IFOA,IPSO算法在QoS的四个指标对比中具有一定的优势,说明IFOA-GA算法能够有效地提高云计算调度效率。     

基于混合粒子群算法的云计算任务调度研究

任务调度是云计算系统可靠运行的关键,云计算环境中要处理的任务量巨大,考虑到云计算任务调度和QoS的优化问题,提出一种混合粒子群优化算法用于云任务调度。算法中引入遗传算法的交叉和变异思想,并结合随迭代次数变化的变异指数,保证种群进化初期具有较高的全局搜索能力,避免出现"早熟",同时将爬山算法引入粒子群算法,改善局部搜索能力。实验结果显示该算法具有很好的寻优能力,是一种有效的云计算任务调度算法。     

一种满足任务主/次需求的云计算资源划分算法

云计算平台中存在大量的异构资源,当云用户将任务提交给云平台,云调度系统搜索与这些任务需求相匹配的资源时,有可能没有任何资源节点能满足任务的需求,因此需要对这些异构资源进行聚类划分,满足任务的需求.根据实际情况,不妨假设云任务对云资源有主/次需求.文章给出云资源分簇计算能力的定义以及资源均衡划分概念,设计了随机近似和增强内聚性的云资源均衡划分算法.最后,通过模拟实验对算法的有效性进行分析.     

随机任务在云计算平台中能耗的优化管理方法

针对云计算系统在运行过程中由于计算节点空闲而产生大量空闲能耗,以及由于不匹配任务调度而产生大量“奢侈”能耗的能耗浪费问题,提出一种通过任务调度方式的能耗优化管理方法.首先,用排队模型对云计算系统进行建模,分析云计算系统的平均响应时间和平均功率,建立云计算系统的能耗模型.然后提出基于大服务强度和小执行能耗的任务调度策略,分别针对空闲能耗和“奢侈”能耗进行优化控制.基于该调度策略,设计满足性能约束的最小期望执行能耗调度算法ME3PC(minimum expectation execution energy with performance constraints).实验结果表明,该算法在保证执行性能的前提下,可大幅度降低云计算系统的能耗开销.     

面向容器环境的Flink的任务调度优化研究

随着互联网技术的飞速发展,人类正在走向大数据时代与云计算时代。Flink作为最新一代的大数据计算引擎,具有低延迟、高吞吐等优势,受到学术界与工业界的青睐。Flink在云环境下部署时,其默认任务调度由于无法获取容器部署分布信息,会导致负载分配不均衡。针对这一问题,提出一种面向容器环境的Flink任务调度算法FSACE,获取每个结点性能信息与容器在结点上的分布信息,优先选择 空闲资源较多的结点的容器,同时可以避免容器被频繁选中造成负载不均。使用云主机与合成数据集对算法进行评测,评测结果表明,在容器环境下部署时,所提出的算法能更均衡地分配任务,可以提高资源使用率和计算速度。