虚拟盘阵系统中的自适应负载平衡

集群环境中经常采用虚拟盘阵方式来构建其存储系统。虚拟盘阵系统是一种并行系统,负载平衡对其性能影响非常大;同时虚拟盘阵系统一般都是异构的。本文研究了异构盘阵的负载平衡标准,并提出了基于请求的负载重构策略,在负载重构时机上对传统磁盘冷却算法进行了改进。模拟试验表明,该算法对虚拟异构盘阵是有效的。     

基于主机性能度量的异构集群作业调度算法

传统经典作业度算法在集群应用中实现简单、执行效率高,但在异构集群环境下由于缺乏在线节点运行状态动态反馈能力和负载均衡能力,降低了计算资源利用率和系统吞吐率.为解决上述问题,设计了一种在异构集群环境下基于主机性能度量的作业负载均衡调度算法,该算法通过收集集群中在线节点的状态信息和作业响应时间遴选出可信节点集合,计算出各可信节点的HPM值,利用负载均衡运算规则生成候选的作业分配节点集合,最终按照预先设计的优先原则把不同作业分配至各计算节点,并更新各节点运行状态.实验结果表明,在异构集群环境下调度同类型作业时,该算法在总完成时间和负载均衡性能等指标上均优于传统经典算法.     

一种多集群网格的负载均衡算法

网格环境由于其可扩展性、异构性以及大量的传输延迟,使得网格环境下的负载均衡不同于传统的分布式系统。提出了一种动态的分布式负载均衡算法,该算法综合考虑网格站点的处理能力和站点之间的传输延迟,采用即时分配策略来降低作业的执行成本,目标是使系统平均作业响应时间最小化。仿真结果显示该算法显著减少了作业的平均响应时间。     

基于DHT的P2P系统负载均衡的有效算法

基于DHT的P2P系统中,各种因素例如结点异构性和不同的文件访问率等,都可能会影响DHT系统的效率。本文提出一个基于DHT的P2P系统中有效的负载均衡算法。该算法提出一个全分布机制来维护文件访问的历史信息,用来预测未来文件访问频率。设计了一个新的负载均衡算法,当新结点加入时,历史信息和结点异构性一起用来决定最佳负载分配。在系统运行期间如果有过载结点出现也可动态执行负载重分配。该算法不使用虚服务器,减少了维护路由元数据的处理开销。     

异构环境下改进的LATE调度算法

针对异构环境下LATE算法在选择备份任务及执行节点时的不足,提出一个改进的IR-LATE调度算法。算法通过计算为剩余完成时间最长、最需要备份的慢任务启动备份,并将其按负载不同进行分类,结合轮询算法,将备份任务分配到负载最小且成功/负载比高的节点上执行。实验结果表明,该算法与LATE算法比较,有效的将作业完成时间缩短了30%左右,提高了执行效率,进而促进系统的负载均衡。     

异构Beowulf系统负载均衡技术的研究与实现

负载均衡技术是并行计算系统的关键技术之一,其主要思想是将计算任务合理分配到各节点,以避免由于某个节点的计算速度慢而导致的整个系统的性能瓶颈。为了使系统达到更优的结果,提出了一种基于MPICH的负载均衡模型,构建了一个异构Beawulf并行计算系统,并且用一个适合异构环境的矩阵分块相乘算法进行了性能测试。实验结果表明,此算法比使用传统的矩阵相乘算法执行效率更高。从而证明了系统能够把计算任务高效合理地分配到各个节点。     

一种负载均衡的自适应算法

分布式中的负载均衡通过任务迁移来改善系统的负载分布，提高系统的性能与效率。本文提出并详细讨论了一种负载均衡的自适应算法，该算法的突出特点是不去跟踪任务的执行，而着眼于系统整体效率与性能，处已在以太网的环境下实现，证明确定简单，有效，实用。     

异构Beowulf系统负载均衡技术的研究与实现

负载均衡技术是并行计算系统的关键技术之一,其主要思想是将计算任务合理分配到各节点,以避免由于某个节点的计算速度慢而导致的整个系统的性能瓶颈.为了使系统达到更优的结果,提出了一种基于MPICH的负载均衡模型.构建了一个异构Beowulf并行计算系统,并且用-个适合异构环境的矩阵分块相乘算法进行了性能测试.实验结果表明,此算法比使用传统的矩阵相乘算法执行效率更高.从而证明了系统能够把计算任务高效合理地分配到各个节点.     

异构分布式系统的负载均衡调度算法

提出一种异构分布式系统的负载均衡调度算法。对异构系统进行建模,使用染色体建立任务集合调度模型,根据该模型制定适应度函数,将其作为衡量负载均衡的标准,利用该标准对异构系统进行任务调度,并动态设定最大进化代数,以此改进动态遗传算法。实验结果表明,该算法具有较好的负载均衡性能。     

基于TL_Sheduling的异构集群负载均衡算法的研究与应用

异构环境下"集群系统"负载均衡技术的关键是实现进程的跨平台迁移,对于进程的跨平台迁移所带来的困难和开销是巨大的.在传统进程迁移算法基础上,充分考虑节点对提交作业的适应性,提出一种新的TL-Scheduling负载均衡算法,能够控制作业提交到适合它执行的节点上,该算法可以有效提高系统负载均衡和作业执行效率.在其基础上,研究设计了基于XML业务流程模板的卫星作业调度系统,使得作业调度系统更加实用化.     

Improving MapReduce Performance with Partial Speculative Execution

The MapReduce framework has become the de facto standard for big data processing due to its attractive features and abilities. One is that it automatically parallelizes a job into multiple tasks and transparently handles task execution on a large cluster of commodity machines. The increasing heterogeneity of distributed environments may result in a few straggling tasks, which prolong job completion. Speculative execution is proposed to mitigate stragglers. However, the existing speculative execution mechanism could not work efficiently as many speculative tasks are still slower than their original tasks. In this paper, we explore an approach to increase the efficiency of speculative execution, and further improve MapReduce performance. We propose the Partial Speculative Execution (PSE) strategy to make speculative tasks start from the checkpoint. By leveraging the checkpoint of original tasks, PSE can eliminate the costs of re-reading, re-copying, and re-computing the processed data. We implement PSE in Hadoop, and evaluate its performance in terms of job completion time and the efficiency of speculative execution under several kinds of classical workloads. Experimental results show that, in heterogeneous environments with stragglers, PSE completes jobs 56 % faster than that with no speculation and 12 % faster than that with LATE, an improved speculative execution algorithm. In addition, on average PSE can improve the efficiency of speculative execution by 24 % compared to LATE.     

基于粒子群优化的异构多处理器任务调度算法

为提高异构多处理器任务调度的执行效率,充分发挥多处理器并行性能,提出一种基于粒子群优化的异构多处理器任务调度算法——FPSOTTS算法。该算法以求得任务最短完成时间为目标,首先通过建立新的编码方式和粒子更新公式实现粒子搜索空间到离散空间的映射,使连续的粒子群优化算法适用于离散的异构多处理器任务调度问题;同时通过引入禁忌算法进行局部搜索,克服粒子群算法的早熟收敛现象,避免陷入局部最优。实验结果表明,FPSOTTS算法的执行效率优于Min-min算法和遗传算法,有效地降低任务的执行时间。FP-SOTTS算法很好地解决了异构多处理器任务调度问题,并且适合于大规模并行任务调度。     

基于节点集计算能力差异的Hadoop自适应任务调度算法

针对异构集群任务推测式执行算法存在的任务进度比例固定、落后任务被动选取等问题,提出基于快慢节点集计算能力差异的自适应任务调度算法。该算法量化节点集计算能力差异实现分集调度,并通过节点与任务速率的动态反馈及时更新快慢节点集,提高节点集资源利用率与任务并行度。在两节点集中,利用动态调整任务进度比例判别落后任务,主动选择采用替代执行方式为落后任务执行备份任务的快节点,从而提升任务执行效率。与最长近似结束时间(LATE)算法的实验对比结果表明,该算法在短作业集、混合型作业集、出现节点性能下降的混合型作业集执行时间上比LATE算法分别缩短了5.21%、20.51%、23.86%,启用的备份任务数比LATE算法明显减少。所提算法可使任务主动适应节点差异,在减少备份任务的同时有效提高作业整体执行效率。     

异构环境下降低慢任务抖动的调度算法——DPST

为解决在异构计算环境中现有的云计算负载均衡算法存在的慢任务频繁抖动的问题,提出了一种能减低慢任务调度抖动概率的算法--DPST算法。首先通过定义一种异构计算节点中异构任务的能力度量,对执行异构任务的节点处理能力进行了归一化;然后通过引入节点能力预判机制,降低慢任务无效调度的次数;并且利用慢任务和慢节点双队列机制,提高了调度效率。实验结果表明,DPST相对于Hadoop平台在异构环境下任务调度的抖动次数下降了40%以上。由于有效降低了任务调度的抖动次数,在异构环境中DPST算法能明显地缩短任务的平均响应时间并提高系统的吞吐量。     

基于异构CMP的改进蚁群优化任务调度策略

为提高异构CMP任务调度执行效率,充分发挥异构CMP的异构性和并行能力,提出一种基于异构CMP的改进蚁群优化任务调度算法--IACOTS。IACOTS算法首先建立任务调度模型、路径选择规则和信息素更新规则,使蚁群算法能够适用于异构CMP任务调度问题。同时通过采用动态信息素更新、相遇并行搜索策略和引入遗传算法中的变异因子对基本的蚁群算法进行优化,克服蚁群算法搜索时间过长和“早熟”现象。通过仿真实验获得的结果表明,IACOTS算法执行效率优于现有的遗传算法,完成相同的任务需要的迭代次数最少,能有效降低程序执行时间,适用于异构CMP等大规模并行环境的任务调度。     

Adaptive Task Pools: Efficiently Balancing Large Number of Tasks on Shared-address Spaces

Task based approaches with dynamic load balancing are well suited to exploit parallelism in irregular applications. For such applications, the execution time of tasks can often not be predicted due to input dependencies. Therefore, a static task assignment to execution resources usually does not lead to the best performance. Moreover, a dynamic load balancing is also beneficial for heterogeneous execution environments. In this article a new adaptive data structure is proposed for storing and balancing a large number of tasks, allowing an efficient and flexible task management. Dynamically adjusted blocks of tasks can be moved between execution resources, enabling an efficient load balancing with low overhead, which is independent of the actual number of tasks stored. We have integrated the new approach into a runtime system for the execution of task-based applications for shared address spaces. Runtime experiments with several irregular applications with different execution schemes show that the new adaptive runtime system leads to good performance also in such situations where other approaches fail to achieve comparable results.     

DAG Scheduling in Heterogeneous Computing and Grid Environments Using Variable Neighborhood Search Algorithm

DAG scheduling is a process that plans and supervises the execution of interdependent tasks on heterogeneous computing resources. Efficient task scheduling is one of the important factors to improve the performance of heterogeneous computing systems. In this paper, an investigation on implementing Variable Neighborhood Search (VNS) algorithm for scheduling dependent jobs on heterogeneous computing and grid environments is carried out. Hybrid Two PHase VNS (HTPHVNS) DAG scheduling algorithm has been proposed. The performance of the VNS and HTPHVNS algorithm has been evaluated with Genetic Algorithm and Heterogeneous Earliest Finish Time algorithm. Simulation results show that VNS and HTPHVNS algorithm generally perform better than other meta-heuristics methods.     

异构资源环境下Hadoop节点能力自适应调度算法

为了解决当前Hadoop集群在异构资源环境下固有的调度分配方法的不足,提出了一种基于节点能力的自适应调度算法NCAS（node capacity adaptive scheduling）。首先,NCAS算法根据节点性能、任务特征计算得到调度因子;然后,由调度因子确定各节点应分得的数据量与任务槽数;最后,将数据和任务多分给快节点同时少分给慢节点。实验结果表明,与传统的调度算法相比,NCAS算法大幅度减少了备份任务的启动数量,明显减少了作业完成时间,提升了任务执行效率。     

网格环境下一种可调目标的启发式调度策略

针对网格环境下不同类型的任务执行时间相差较大的问题,提出了基于任务平均执行时间的忍耐度的概念,重新构造了启发式规则,体现了任务QoS的要求;并将这种服务质量的需求与任务完成时间相结合,给出了一个可调节的局部目标函数,实现了一种基于任务完成时间和任务服务质量的启发式调度算法OA-Sufferage;最后,给出了服务率(service ratio)的概念和定义,定量地衡量任务得到的服务质量.实验结果表明,该策略优先调度那些等待时间相对于执行时间较大的任务,提高了任务的服务率;而且可以通过调节局部目标函数中的偏好因子(preference factor),追求任务完成时间和QoS的不同目标,更加适合开放复杂的网格环境.     

基于势博弈的异构多智能体系统任务分配和重分配EI北大核心CSCD

针对异构多智能体系统,基于势博弈理论提出一种新的任务分配和重分配算法.考虑任务执行同步性和任务时效性的多重约束,导致异构多智能体系统中各个体任务执行时间受到多种限制,建立一个基于势博弈的算法结构,使系统以分布式方式工作.在此基础上,基于势博弈理论设计任务分配算法,保证在较低复杂度的同时,可以得到近似最大化期望全局效用的良好分配方案,并且随后将所提出的方法推广到任务重分配方案实现故障下的容错.最后,针对攻击任务场景对所提算法进行仿真验证,结果表明,在期望全局效用、容错能力和算法复杂度方面具有全面的性能.