一种基于流作业的网格作业调度研究

在基于网格环境的一些网格应用中,用户需要提交一种作业类型,该作业可以被分解为逻辑上独立的元作业,这些元作业不存在依赖和通讯关系,并且它们的执行需要大量的数据移动。针对这种作业类型,本文提出了一种基于流作业的网格调度模型。在该模型中,这些独立的元作业像"流"一样自主地流向各个计算节点去执行,各计算节点接收的流量取决于其计算能力,并避免"断流"问题。同时,该模型还分离了作业流和数据流,实现了作业逻辑控制和数据控制的分离,提高了调度的灵活性。本文将该调度模型应用于药物虚拟筛选应用中,该模型能够充分利用计算节点的计算能力。     

基于LT-backfilling算法的集群作业调度系统

在胖节点集群系统中,目前的reservations, backfilling等主流调度算法未能充分考虑单节点过载情况。该文在传统backfilling算法基础上,充分考虑节点当前负载,将预约、回填策略相结合,提出了一种新的LT-backfilling调度算法。设计了基于XML业务流程模板的二层作业调度系统,用户不仅可以提交单个作业,而且可以提交一组具有数据相关性的作业流,使得作业调度系统更加实用化。 LT-backfilling;负载均衡;作业调度;XML;作业流     

面向实时流数据处理的边缘计算资源调度算法

针对边缘计算带宽限制导致的实时流数据处理计算效率低下的问题,提出一种迭代优化算法FFS+IPFS,通过对应用负载的实时监控,实现合理的边缘节点任务部署,支持实时流数据处理任务.首先,利用贪心算法进行全局任务分配,通过贪心的算法得到一个近似最优的结果;然后,基于监控到的实时任务信息,通过迭代优化进行局部调优,使得同一数据...     

作业流的结构化定义方法

作业流，也称作业网络，是相互关联的作业形成的一个偏序集。由于作业间存在着顺序、分支、循环、并行、同步、异步等依赖关系，因此作业流可能非常复杂。如果没有一个良好的定义准则，那么生成的作业流将结构混乱，不利于查错、解析，也不利于可视化显示。该文归纳了作业间的依赖关系，提出了作业流的结构化定义方法。这种方法简单地表达了作业间的多种依赖关系，它也能表达作业流间的层次和嵌套关系。     

基于关联数据本地化的多密码作业流调度算法

针对云密码服务系统中服务请求多样、数据依赖性作业流与非数据依赖性作业流随机交叉并发等问题,为了避免处理节点之间关联数据的交互而带来的系统通信性能开销和数据安全性威胁,设计一种基于关联数据本地化的云密码作业流调度算法。首先通过任务请求密码功能的映射,保障多作业流请求密码功能的正确实现;然后对于具有相同请求密码功能的各任务中不同工作模式交叉问题,在提出任务优先级计算方法以促进多作业流调度公平性的基础上,采用分类调度的方法,在实现关联数据本地化的同时,保障了调度系统的整体性能。仿真结果表明,该算法不仅可以有效减少系统任务完成时间,提高资源利用率和公平性,并且具有良好的稳定性。     

异构分布式系统的负载均衡调度算法

提出一种异构分布式系统的负载均衡调度算法。对异构系统进行建模,使用染色体建立任务集合调度模型,根据该模型制定适应度函数,将其作为衡量负载均衡的标准,利用该标准对异构系统进行任务调度,并动态设定最大进化代数,以此改进动态遗传算法。实验结果表明,该算法具有较好的负载均衡性能。     

计算密集型与数据密集型混合网格作业调度算法

针对计算密集型作业与数据密集型作业混合情况,在一个作业有时间限制的动态环境中,对传统的网格作业调度方法进行扩展,提出了三种网格作业调度启发式算法:Emin min、Ebest、Esufferage。并在一个由多个Cluster组成的、通过高速网络连接的网格模型上,对三种算法进行验证。与Min min算法的比较结果显示：三种算法均优于Min min算法。与ASJS算法比较结果显示：Emin min减少了等待时间与作业的makespan; Esufferage算法以减少作业完成量为代价,减少了作业的等待时间及makespan; Ebest在完成作业数量上与ASJS基本保持一致,但却增加了作业的等待时间与makespan。总体上,Emin min具有比较大的优势。     

异构分布式系统中基于负载均衡的容错调度算法

提出了基于主/从版本的具有容错功能的进程调度算法HDALF和HDLDF,且分别给出两种算法的时间复杂度并对算法的负载均衡性和节点资源利用率作了讨论.与以往容错调度算法不同的是,此算法是在被动进程复制模式下、适合于异构分布式系统的容错调度算法.而以往的研究都是建立在主从版本进程有相等的负载或执行时间相同的模型基础上,或者仅适合于同构分布式系统.实验结果表明,HDALF算法和HDLDF算法的性能比基于同构分布式模型下的两阶段算法更加优越.并且得出了这样的结果：当系统发生故障前后的负载均衡性权值相等时,在负载均衡和处理机资源利用率方面,HDLDF算法都要优于HDALF算法.     

流网络可靠度的计算算法综述

A flow network is usually used to describe real world systems such as telecommunication system,computer system and so on. Given the demand d ,the system reliability is defined as the maximum flow of the network is not less than d. The researchers in the field have presented many algorithms on the reliability evaluation of flow-networks. In this paper ,classfies of flow-networks and the properties of each algorithm ,mainly those algorithms based on MPs and MCs,are summarized.     

分布式系统中有向流的最优调控算法

本文从图论的角度研究了分布式系统中有向流的两个特征，最大流及在给定调节量下的最优控制。获得了明确的结论，并通过相应算法实现求解，本研究对于生产中的物料，电网，电信网信息流控制具有较强的应用价值。     

基于自适应遗传算法的流水车间作业调度

流水车间调度问题是NP完全问题。提出一种新的自适应遗传算法,采用初始种群复合化、适应度相同个体的筛选策略、改进自适应交叉变异概率等方法提高算法性能。通过仿真比较,从最优解出现的代数、最优解的相对误差以及随机若干次试验对算法的影响3个方面证明该算法的优越性。     

网络并行计算系统中基于多处理机任务的资源调度模型

简要描述了网络并行计算系统中任务调度问题和经典的多处理机任务调度研究现状,并将两者结合到一起建立网络并行计算系统中的新型调度模型,较详细地论述了多处理机任务的定义,然后还讨论了该模型求解的近似调度策略及其近似优化问题,给出了其特例Pm｜fix｜Cmax问题的最优调度的时间跨度下界。     

基于云计算Hadoop异构集群的并行作业调度算法

针对Hadoop异构集群中计算和数据资源的不一致分布所导致的调度性能较低的缺点,设计了一种基于Hadoop集群和改进Late算法的并行作业调度算法;首先,介绍了基于Hadoop框架和Map-Reduce模型的调度原理,然后,在经典的Late调度算法的基础上,对Map任务和Reduce任务的各阶段执行时间进度比例进行存储和更新,为了进一步地提高调度效率,将慢任务迁移到本地化节点或离数据资源较近的物理节点上,并给了基于改进Late算法的作业调度流程;为了验证文中方法,在Hadoop集群系统上测试,设定1个为Jobtracker主控节点和7个为TaskTracker节点,实验结果表明文中方法能实现异构集群的作业调度,且与其它方法比较,具有较低的预测误差和较高的调度效率。     

基于网格计算池模型的作业调度策略研究

在现阶段,网格的计算池模型是一种较实用的网格实现方式,其资源的查找和分配机制也相对简单。文章根据计算池模型的特点,参照织女星网格的体系结构,将基于最短路由转发的资源发现机制与任务调度算法相结合,提出了一种新的网格任务调度策略,并给出了简化模型清晰地描述了任务在此策略下全部的执行过程。     

文化框架下多群智能优化算法的云作业调度

作业调度是一种云计算核心技术,为了获得更优的云计算作业调度方案,提出一种文化框架下多群智能优化算法的云作业调度方法;首先构建云作业调度问题的数学模型,然后借助文化算法模型,粒子群算法组成信仰空间,人工鱼群算法组成群体空间,两者之间并行演化,相互促进,对云计算作业调度数学模型进行求解,最后通过仿真实验测试算法的性能;结果表明,本文加快了算法的收敛速度,获得了更优的云计算作业调度方案,大幅度缩短少云计算作业完成时间,具有一定的实用价值.     

基于云计算的作业调度算法研究

通过对现有云计算进行系统的研究,设计出一套作业调试算法解决方案,实现云计算作业调试算法,并应用在云计算模型上,通过模拟平台进行实验分析,证明解决方案是可行的。     

网格计算中一种改进的工作流调度算法

网格计算中如何有效地实现工作流的调度问题是目前的研究热点。文中综合考虑了资源节点的动态负载和服务能力,提出了一种改进的调度算法（AWSA）。该算法首先对任务的优先级进行降序排列,然后依次为它们选择具有最大截止时间约束的服务站点作为其候选资源,最后,依据资源站点的任务分配情况和负载变化趋势,白适应地实现从任务资源请求到站点的映射。仿真实验结果表明,文中方法是有效的,在作业拒绝率和作业调度长度方面,AWSA的性能要优于已有的方法。     

高性能计算与作业调度技术在核电工程领域的应用

介绍了工程计算的主要技术以及高性能计算与作业调度技术在核电工程领域的应用。通过高性能计算集群与作业调度系统的技术实现,将设计和仿真相关的软硬件环境进行统一规划和实施,为设计人员提供高效统一、安全可靠的高性能计算环境和许可证使用平台,实现了软硬件最大程度的共享,从而提高IT投资回报和生产效率。     

分布式计算系统中的算法集成方法

算法集成是研制建设综合性数据处理分析系统的一项重要内容.本文基于临近空间科学实验支持系统研制实践,针对面向科学研究需求的数据处理分析系统的算法集成问题,设计了一种大型分布式系统中集成多种类、多版本、多功能算法的方法,通过构建算法插件,满足了此类科学实验支持系统并行开发、插件化调用、灵活扩展、更新迭代的要求.采用该方法集...     

TD_Max-min:信任驱动的网格任务调度新算法

利用信任机制的概念,对传统的Max-min调度算法进行改进,提出一种信任驱动的网格任务调度算法——TD_Max-min。在相同的假定条件设置下,将其与现有的TD_Min-min算法和TD_Sufferage算法进行仿真和比较研究。结果表明,信任驱动的网格调度算法不仅优于传统的基于时间的调度算法,而且当具有强信任关系的任务数量大于弱信任关系及无信任关系的任务数量时,TD_Max-min算法的调度性能明显优于TD_Min-min算法。