一种动态并行I/O调度新策略的研究

并行I/O已经成为提高分布式计算系统性能的一种重要方式,论文在研究集群计算系统并行I/O数据调度策略的基础上,提出了一种应用于分布式计算系统中的二次调度自主维护负载平衡的动态I/O调度算法(DIO_TSMB),实验结果表明了算法的有效性,最后分析了并行I/O数据调度的发展趋势。     

一种动态并行I／O调度新策略的研究

并行I／O已经成为提高分布式计算系统性能的一种重要方式，论文在研究集群计算系统并行I／O数据调度策略的基础上，提出了一种应用于分布式计算系统中的二次调度自主维护负载平衡的动态I／O调度算法（DIO_TSMB），实验结果表明了算法的有效性，最后分析了并行I／O数据调度的发展趋势。     

基于人工鱼群算法的网格任务调度策略

网格任务调度是一个NP-hard问题,而且是并行与分布式计算中一个必不可少的组成部分,特别是在网格计算环境中任务调度更加复杂。提出了一种基于人工鱼群算法的网络任务调度策略,通过鱼群的觅食、聚群、追尾等方式,实现网格任务的有效调度。     

云计算资源纳什均衡优化分配方法改进

为提高云计算系统资源调度的均衡性,同时最大化资源提供者的利益,构建基于排队理论的云计算资源分配模型。考虑等待队列长度并以此作为资源分配的前提,结合纳什均衡理论分析资源调度策略,提出改进的资源分配算法(MRA),并将其与分布式计算架构Hadoop中的资源分配算法进行比较。实验结果表明,与公平调度算法、先入先出调度算法以及经典随机调度算法相比,MRA算法不仅可以实现用户对资源的公平共享,而且也能满足资源提供者对提高系统响应时间的需求。     

因特网上基于节点角色的计算资源共享平台——RB-CRSP

提出了因特网上基于节点角色的计算资源共享平台——RB-CRSP。设计时充分考虑节点的角色性和功能性,把因特网上的网络资源按照角色划分为服务器端节点、协调节点、工作机节点与客户机节点四类实体,通过配合RB-CRSP的应用编程模式,完成并行分布式计算。分析了RB-CRSP中的自适应资源调度策略,该策略考虑了节点的硬件信息与可信誉机制,实现了平台的负载均衡性;在动态的因特网环境下,利用面向工作机的容错方式保证了平台的可靠性。案例程序选择了典型的并行BenchMark程序：N皇后问题,测试结果表明,RB-CRSP可以方便聚集异构环境下的空闲计算资源,平台的性能与机器硬件条件和可靠性密切相关。     

基于动态负载均衡策略的网格任务调度优化模型和算法

任务调度是一个NP-hard问题,而且是并行与分布式计算中一个必不可少的组成部分,特别是在网格计算环境中任务调度更加复杂。结合免疫克隆算法和模拟退火算法的优点,提出了一种网格任务调度优化模型和算法。仿真实验结果表明,这种调度算法有效地实现了资源的负载均衡,克服了遗传算法容易陷入局部最优的缺点,可以成功地应用于网格任务调度中。     

基于ProActive的容错调度器设计与实现

在分布式计算系统中保证并行应用计算的正确性及提高计算系统中动态资源的利用率是一个重要的研究问题。在原有的基于ProActive的并行计算平台上,引入呼吸通信机制、故障节点发现机制和子任务重新调度机制,设计和实现了一个容错调度系统。实验表明该调度器在部分节点出现故障的情况下,能保证并行计算的正确性,并具有较好的性能。     

独立任务调度的启发式算法

任务调度是一个NP-hard问题,而且是并行与分布式计算中一个必不可少的组成部分,特别是在网格计算环境下任务调度更加复杂。该文提出了满足负载均衡的一个启发式任务调度算法。给出了选择处理机和任务的方法,以提高算法的效率。实验表明该算法是一个高效率的调度算法,并且几乎总是找到了最优调度方案。     

网格原子化作业的二分图调度方法

对于网格系统中计算力调度等问题,结合有向无环作业图DATG和无向节点图UNG,采用并行集APS建立了一种基于二分图的网格调度算法BGS,并在惩罚策略、负载均衡、复活机制的引导下,使系统的调度动态地逐步趋向优化.实验结果表明:该算法能够更加适应网格资源的变化,降低作业负载,提高作业的并行化程度,并能根据系统负载合理地利用节点资源.     

分布式计算环境中的协同分配任务调度仿真系统

协同分配是在分布式计算环境中进行资源分配的一种重要技术,用于把一个应用程序分解为多个子作业,然后将其分配到多个资源上同时处理来满足特定的性能要求。本文提出了一个离散事件驱动的网格资源协同分配仿真系统,实现了对用户、调度器、协同分配器、协同预留器等协同分配相关实体的仿真,实现了FCFS、FPFS、Backfill等主要的协同分配调度算法和策略,可用于资源协同分配相关的分布式计算环境的资源管理和调度算法的仿真和研究。     

A PTS-PGATS based approach for data-intensive scheduling in data grids

Grid computing is the combination of computer resources in a loosely coupled, heterogeneous, and geographically dispersed environment. Grid data are the data used in grid computing, which consists of large-scale data-intensive applications, producing and consuming huge amounts of data, distributed across a large number of machines. Data grid computing composes sets of independent tasks each of which require massive distributed data sets that may each be replicated on different resources. To reduce the completion time of the application and improve the performance of the grid, appropriate computing resources should be selected to execute the tasks and appropriate storage resources selected to serve the files required by the tasks. So the problem can be broken into two sub-problems: selection of storage resources and assignment of tasks to computing resources. This paper proposes a scheduler, which is broken into three parts that can run in parallel and uses both parallel tabu search and a parallel genetic algorithm. Finally, the proposed algorithm is evaluated by comparing it with other related algorithms, which target minimizing makespan. Simulation results show that the proposed approach can be a good choice for scheduling large data grid applications.     

Neural network‐based multi‐agent approach for scheduling in distributed systems

A distributed system consists of a collection of autonomous heterogeneous resources that provide resource sharing and a common platform for running parallel compute‐intensive applications. The different application characteristics combined with the heterogeneity and performance variations of the distributed system make it difficult to find the optimal set of needed resources. When deployed, user applications are usually handled by application domain experts or system administrators who depending on the infrastructure provide a scheduling strategy for selecting the best candidate resource over a set of available resources. However, the provided strategy is usually generic, aimed at handling a wide array of applications and does not take into consideration specific application resource requirements. As such, an intelligent method for selecting the best resources based on expert knowledge is needed. In this paper, we propose a neural network‐based multi‐agent resource selection technique capable of mimicking the services of an expert user. In addition, to cope with the geographical distribution of the underlying system, we employ a multi‐agent coordination mechanism. The proposed neural network‐based scheduling framework combined with the multi‐agent intelligence is a unique approach to efficiently deal with the resource selection problem. Results run on a simulated environment show the efficiency of our proposed method. Several scheduling simulations were conducted to compare the performance of some conventional resource selection methods against the proposed agent‐based neural network technique. The results obtained indicate that the agent‐based approach outperformed the classical algorithms by reducing the amount of time required to search for suitable resources irrespective of the resource size. Copyright © 2016 John Wiley & Sons, Ltd.     

基于OpenCL的累积汇流并行计算

大尺度、高分辨率数字地形数据应用需求的增长,给计算密集型的累积汇流等数字地形分析算法带来了新的挑战。针对CPU/GPU(Graphics Processing Unit)异构计算平台的特点,提出了一种基于OpenCL(Open Computing Language)的多流向累积汇流算法的并行化策略,具有更好的平台独立性和可移植性,简化了CPU/GPU异构平台下的并行应用程序设计。累积汇流并行算法包括时空独立型的流量分配和空间依赖型的累积入流两个过程,均定义为OpenCL内核并交由OpenCL设备并行执行,其中累积入流过程借助流量转移矩阵由递归式转换为迭代式来实现并行计算。与基于流量转移矩阵的并行汇流算法相比,尽管基于单元入度矩阵的并行汇流算法可以降低迭代过程中的计算冗余,但需要采用具有较大延迟的原子操作以及需要更多的迭代次数,在有限的GPU计算资源下,两种算法性能差异不明显。实验结果表明,并行累积汇流算法在NVIDIA GeForce GT 650M GPU上获得了较好的加速比,加速性能随格网尺度增加而有所增加,其中流量分配获得了约50～70倍的加速比,累积入流获得了10～20倍的加速比,展示了利用OpenCL在GPU等并行计算设备上进行大规模数字地形分析的潜在优势。     

Improving job scheduling performance with parallel access to replicas in Data Grid environment

Data Grid has evolved to be the solution for data-intensive applications, such as High Energy Physics (HEP), astrophysics, and computational genomics. These applications usually have large input of data to be analyzed and these input data are widely replicated across Data Grid to improve the performance. The job scheduling performance on traditional computing jobs can be studied using queuing theory. However, with the addition of data transfer, the job scheduling performance is too complex to be modeled. In this research, we study the impact of data transfer on the performance of job scheduling in the Data Grid environment. We have proposed a parallel downloading system that supports replicating data fragments and parallel downloading of replicated data fragments, to improve the job scheduling performance. The performance of the parallel downloading system is compared with non-parallel downloading system, using three scheduling heuristics: Shortest Turnaround Time (STT), Least Relative Load (LRL) and Data Present (DP). Our simulation results show that the proposed parallel download approach greatly improves the Data Grid performance for all three scheduling algorithms, in terms of the geometric mean of job turnaround time. The advantage of parallel downloading system is most evident when the Data Grid has relatively low network bandwidth and relatively high computing power.     

分布式计算平台中任务调度的模拟器研究

提出与描述一个分布式计算平台中任务调度的模拟器,该模拟器可以用来仿真与评测网络计算平台上的主-从模式的并行分布式应用.它采用任务跟踪的方式,周期性的收集任务相关的收据来实现.该模拟器支持多种运行场景、根据应用的需求来控制输入参数;能够完成不同任务调度策略分析与检查点文件共享策略分析.分析了两种类型的任务调度算法在模拟器上的仿真:FCFS(First Come First Served)策略和MinMax(unassigned min-max)策略.模拟与性能结果表明:该模拟器可以仿真因特网上的大规模分布式计算平台的调度策略与检查点策略对通信轮回时间的影响,是一种接近真实世界的仿真结果,方便了程序员的操作.     

基于遗传算法的动态负载平衡研究

在很多应用中都出现负载平衡的问题,但是更重要的是,负载平衡在并行分布式计算系统中起到不同寻常的作用。以工作站机群为代表的网络计算环境是当前并行计算和分布式系统的研究重点之一,解决异构性问题和动态负载平衡是使用机群进行网络并行计算的关键。文章介绍如何使用遗传算法解决动态负载平衡的问题,以及在实现系统中所采用的一些关键性策略、方法和技术。     

动态自由节点滞后的任务调度算法

任务调度是异构计算系统的核心问题之一。调度问题是一个NP完全问题,为获得次优解,出现了很多启发式的算法。分析表调度的典型算法,发现存在一些不足,提出一种新的方法——动态自由节点滞后调度算法,采用动态判断自由节点并对它们滞后调度,让对任务图调度长度影响更大的节点被优先调度,从而缩短调度长度,分析和实验结果表明该算法要优于ETF,MCP和BDCP算法。     

网络集群计算系统中的并行任务调度

基于多处理机并行任务调度模型，探讨网络集群计算系统中的并行任务调度问题，首先证明了一般网络集群计算系统中调度算法的可近似性难度，然后提出了三种不同的启发式算法：最大长度优先调度算法、最大宽度优先调度算法和最大面积优先调度算法；然后根据大量的模拟实验对这些算法以及文献中已提出的调度算法进行了比较分析，结果表明该文的启发式算法比文献中的算法在性能上效果更好。     

面向互联网计算资源共享的自适应调度模型

在面向互联网的计算资源共享平台中,如何把服务器端的子任务均匀地调度给大规模互联网环境下的志愿机运算是一个重要的研究问题。描述了该平台下的一个自适应并行调度模型。调度器处于服务器端与志愿机之间,缓解服务器端的访问瓶颈;服务器端首先根据调度器的负载对子任务进行第一次分派,在调度器端根据下属的志愿机的软硬信息再分配子任务。通过运行典型的BanchMark并行程序,把该调度策略与其他策略进行比较,验证了该调度模型针对粗粒度并行的主从（Master-Slave）风格并行应用可以获得较好的性能。     

基于学习方式对Hadoop作业调度的改进研究

随着并行计算、分布式计算和网格计算技术的发展,云计算作为一种新的模型被提出来,发展极为迅速。Hadoop作为一个开源的云计算系统,得到了广泛的运用。作业调度是Hadoop平台的核心问题之一,通过对Hadoop中已有调度算法的了解和分析后,基于学习的方式,利用过去的节点历史记录和作业属性来不断地改进作业调度;应用了基于特征加权的朴素贝叶斯分类器算法来改进任务的分配调度,并通过实验进行了验证,结果表明它对任务分配调度执行效率有一定的提高。